Автор admin 
Дослідники з Шанхайської лабораторії штучного інтелекту представили фреймворк Self-Harness — систему, яка дозволяє ШІ-агентам аналізувати власні помилки та самостійно переписувати правила свого робочого середовища (так званого harness), без участі людей чи сторонніх моделей. Про це пише Venture Beat.
Читайте также: Відповідь на підводну загрозу. Boeing отримав контракт на модернізацію тренажерів для флоту P-8A Poseidon
Кількісні результати показали, що при використанні нової системи продуктивність зросла за всіма показниками, коливаючись від 33% до 60% залежно від конкретної моделі.
Як працюють більшість агентів без Self-Harness
Продуктивність агента залежить не лише від базової моделі, а й від harness — навколишньої системи, яка дає моделі контекст і дозволяє взаємодіяти із середовищем. Саме на цьому рівні виникає більшість типових збоїв: агент може звітувати про успіх, не перевіривши реальний результат — наприклад, запустивши код, але не переконавшись, що тести пройшли без проблем, або ж повторювати невдалу дію знову і знову замість того, щоб змінити підхід. Прикладами популярних harness-систем є SWE-agent, Claude Code, Codex та OpenHands.
Досі такі системи налаштовували вручну, методом спроб і помилок — спираючись більше на інтуїцію інженерів-розробників, ніж на системний зворотний зв’язок, що ставало проблемою на фоні швидкого розвитку нових моделей.
Як працює Self-Harness
Нову систему побудовано як ітеративний цикл із трьох етапів:
- Weakness Mining (пошук слабких місць) — агент аналізує сліди виконання (execution traces) на тренувальних задачах і виявляє повторювані шаблони збоїв: невдалі команди, що повторюються, відсутні файли результатів, погані перевірки залежностей, нескінченне дослідження варіантів чи зациклені виклики інструментів.
- Harness Proposal (пропозиція змін) — агент формулює мінімальні, цілеспрямовані правки до власного harness, прив’язані до конкретно виявлених слабкостей: зміни системного промпту, обробки інструментів чи шаблонів планування.
- Proposal Validation (перевірка пропозицій) — кандидатські правки приймаються лише після регресійного тестування, яке підтверджує, що зміна не зашкодила іншим задачам.
Результати тестування
Дослідники перевірили Self-Harness на бенчмарку Terminal-Bench-2.0, який оцінює виконання задач через термінал: керування артефактами, використання команд, перевірку результатів і відновлення після помилок. Для чистоти експерименту вони почали з мінімального harness на базі DeepAgent SDK — лише системний промпт і базові інструменти роботи з файловою системою та шеллом.
Тест проводили на трьох моделях різних родин:
- MiniMax M2.5 — показник успішності на прихованих задачах зріс із 40,5% до 61,9% (приріст близько 53%)
- Qwen3.5-35B-A3B — з 23,8% до 38,1% (приріст близько 60%)
- GLM-5 — з 42,9% до 57,1% (приріст близько 33%)
Цікаво, що покращення виявилися дуже специфічними для кожної моделі. Наприклад, під базовим harness модель MiniMax M2.5 могла нескінченно досліджувати конфігурації даних, доки середовище виконання не зависало за таймаутом, не створюючи жодного результату. Self-Harness навчив модель раніше створювати та перевіряти потрібні артефакти. Модель Qwen3.5 натомість позбулася звички повторювати неефективні дії — система додала кращу перевірку залежностей та дисципліну повторних спроб після помилок інструментів. А GLM-5 навчилася краще зберігати зміни середовища між сесіями та швидше переходити від дослідження до реалізації.
Читайте также: Квантова революція. Фізики довели можливість опису мікросвіту без уявних чисел
Що це означає для бізнесу
За словами Чжана, головна цінність технології — у створенні автономних агентів, які самостійно адаптуються до змін. Якщо компанія оновить внутрішню документацію, звичайний агент може зламатися через невідповідний контекст, тоді як самонавчальна система проаналізує лог збою, точково оновить власну логіку й продовжить роботу без втручання програмістів.
Водночас Чжан застерігає, що Self-Harness не варто впроваджувати всюди підряд. Найочевидніші сигнали небезпеки — це сфери, де оцінка результату суб’єктивна, відкладена в часі, недетермінована або де помилка коштує надто дорого: медичні рішення, критична інфраструктура безпеки чи юридичні висновки. У дослідженні Self-Harness спрацював саме завдяки строгим, детерміністичним перевіркам — без такої чіткої системи оцінки автоматизація ризикує закріплювати шкідливі зміни замість корисних.
Прихована ціна автоматизації
Заміна ручного інжинірингу автоматизованим перебором варіантів коштує додаткових обчислювальних ресурсів. Self-Harness замінює частину людської роботи на повторювану генерацію пропозицій, паралельну оцінку кандидатів і регресійне тестування — а це означає більше витрачених токенів API, більшу затримку під час оптимізації та додаткову інфраструктуру для запуску оцінювальних задач.
На думку дослідників, поява таких систем не означає, що розробка софту стане повністю безлюдною — натомість змінюється сама суть інженерної професії. Роль інженерів-розробників у компаніях зміститься від ручного патчингу окремих промптів чи викликів інструментів до проєктування систем зворотного зв’язку, які уможливлюють самовдосконалення агента. Простіше кажучи, інженер-розробник перестає просто «налаштовувати промпти» і стає архітектором систем зворотного зв’язку, яка контролюють еволюцію штучного інтелекту на вищому рівні абстракції.
Нагадаємо, що нові агенти Google Deep Research здатні за 60 хвилин виконувати роботу за тиждень.
Читайте также: Політичні розправи, а не релігійні звичаї. Вчені запропонували несподіване пояснення кривавого ритуалу інків
Підписуйтесь на нас у соцмережах: Telegram | Facebook | LinkedIn