Автор admin 
Індекс дистанційної праці (Remote Labor Index, RLI) показав різке прискорення автоматизації фріланс-роботи: найкращий ШІ-агент на базі моделі Claude Fable 5 вже справляється з 16,1% реальних комерційних проєктів на рівні, прийнятному для платного клієнта. Про це повідомляє The Decoder з посиланням на дослідження Center for AI Safety (CAIS), розроблене спільно зі Scale Labs.
Читайте также: Загадки ранньої історії. Астероїди могли допомогти зародженню життя на Землі — нове дослідження
Що вимірює індекс RLI
RLI відстежує, як часто ШІ-агенти здатні виконати реальні платні фріланс-завдання на рівні якості, який клієнт погодився б оплатити. Бенчмарк охоплює такі напрями, як 3D-моделювання та CAD, архітектура, графічний дизайн, відео й анімація, аудіо, аналіз даних та веброзробка.
Загалом до вибірки увійшли 240 проєктів сукупною вартістю $144 000, зібраних від 358 верифікованих фрілансерів. Результати роботи ШІ оцінюють люди-експерти, порівнюючи їх з еталоном, який створив оплачений професіонал. Ключовий показник — «рівень автоматизації», тобто частка проєктів, де робота штучного інтелекту визнана не гіршою за людську.
Лідер зріс із 2,5% до 16,1% за вісім місяців
На старті бенчмарку найкраща модель автоматизувала лише 2,5% проєктів. Згідно з новими результатами, модель Fable 5 досягла 16,1% — найвищого показника за всю історію тесту. Це приблизно вдвічі більше за Opus 4.8, який показав 8,3%. GPT-5.5 отримав 6,3%. Усі три моделі перевершили результати будь-яких попередньо протестованих систем — попередній лідер, Opus 4.6 на платформі Claude Cowork, зупинився на 4,17%.
Автори дослідження зазначають, що межа можливостей більш ніж учетверилася менш ніж за вісім місяців. Втім, результат Fable 5 має застереження: оцінити вдалося лише 218 із 240 проєктів, оскільки уряд США обмежив доступ до моделі до завершення тестування. Навіть у найгіршому сценарії — якщо вважати всі неоцінені проєкти провальними — показник моделі все одно становив би 14,6%, що вище за будь-яку іншу систему.
Прогрес при цьому не завжди корелює з датою релізу моделі: новіша Gemini 3 Pro у повному рейтингу Scale Labs опинилася майже в самому низу — лише 1,25%, поступившись значно старішим системам.
Де моделі все ще провалюються
Наведені у дослідженні приклади показують межі навіть найкращих моделей. У завданні на дизайн каблучки Fable 5 явно перевершує попередні LLM, але результат все одно виглядає непрофесійно при уважному розгляді. В архітектурному проєкті GPT-5.5 згенерував привабливий рендер за допомогою генератора зображень, хоча реальна 3D-модель залишилася з дефектами.
Читайте также: Загадки ранньої історії. Астероїди могли допомогти зародженню життя на Землі — нове дослідження
Дослідники перевірили, чи можна замінити дороге ручне оцінювання роботою ШІ-суддів — і відповідь виявилася однозначною: моделі штучного інтелекту суттєво завищували бали іншим новим моделям. Для GPT-5.5 оцінка автоматичного судді була завищена майже втричі, для Opus 4.8 — приблизно у 2,5 раза. При цьому порядок моделей у рейтингу автоматичний суддя визначив правильно, хоча самі бали виявилися далекими від реальності.
За поясненням CAIS, справедлива оцінка виконаної роботи вимагає відкриття файлів у профільному професійному софті, коректної роботи з цим софтом і формування судження так, як це зробив би платний клієнт. Саме практичне володіння спеціалізованим ПЗ — найслабше місце сучасних ШІ-агентів, тож і автоматичний суддя натикається на ті самі обмеження, що й ШІ-виконавці. Показовий приклад — фейковий рендер GPT-5.5: щоб викрити підміну, потрібно відкрити 3D-модель і перевірити реальну геометрію об’єкта.
Як влаштоване тестове середовище
Щоб розкрити повний потенціал моделей, дослідники запускають їх у тих самих інструментах, якими щодня користуються розробники, — Claude Code та Codex CLI, в яких доопрацьована можливість напряму керувати графічними програмами. Робоче середовище — віртуальна Linux-машина з понад 30 професійними застосунками, включно з Blender, GIMP та Audacity. На кожен проєкт відводиться до 24 годин обчислювального часу. Також застосовується «цикл критики»: другий ШІ-агент оцінює результат так само прискіпливо, як вимогливий клієнт, після чого перший агент допрацьовує роботу.
Попри прогрес, ШІ досі не досягає професійної якості в більшості проєктів — жоден із трьох наведених у публікації результатів Fable 5 не пройшов би як завершена робота. Проте, за словами авторів дослідження, темпи зростання рівня автоматизації протягом одного року є стрімкими й напряму відображають, наскільки швидко просувається автоматизація дистанційної праці.
Нагадаємо, згідно звіту Gartner, витрати на токени для штучного інтелекту перевищать зарплати розробників вже до 2028 року.
Читайте также: Загадки ранньої історії. Астероїди могли допомогти зародженню життя на Землі — нове дослідження
Підписуйтесь на нас у соцмережах: Telegram | Facebook | LinkedIn