Після критики дослідників. Anthropic змінить суперечливі обмеження в Claude Fable 5

Anthropic відмовилася від політики, яка фактично заважала дослідникам використовувати нову мовну модель Claude Fable 5 для створення конкуруючих систем штучного інтелекту. Про це компанія повідомила виданню Wired.

Читайте также: Claude для Windows з’їдає 1,8 ГБ оперативної пам’яті навіть у фоні — і вимкнути це неможливо

У заяві Anthropic зазначила, що змінює механізми захисту в Fable 5, пов’язані з розробкою передових мовних моделей, щоб вони були помітними для користувачів. У компанії також визнали, що обрали неправильний підхід і перепросили за те, що не змогли знайти правильний баланс.

Після виходу Claude Fable 5, побудованої на базі системи Mythos, дослідники помітили незвичну поведінку моделі. Вони з’ясували, що під час виконання певних завдань система тихо перенаправляла запити на менш потужну модель. При цьому про таке обмеження не згадувалося в документації.

Зокрема, модель відмовлялася виконувати або погіршувала результати завдань, пов’язаних із навчанням конкуруючих мовних моделей, налагодженням коду для штучного інтелекту та оптимізацією нейронних архітектур.

Дослідників обурило не лише зниження якості відповідей, а й відсутність прозорості з боку компанії. Крім того, вони зазначали, що витрачали токени та гроші на модель, яка працювала не так, як вони очікували.

Читайте также: Без літію та ризиків. Корейські вчені створили рекордно ефективний водний акумулятор

Anthropic позиціонує себе як більш етичну та дружню до наукової спільноти альтернативу компанії OpenAI, тому дії навколо Fable 5 викликали швидку негативну реакцію.

Науковий співробітник і автор Substack Dean W. Ball заявив у соцмережі X, що погіршення роботи моделі для досліджень у сфері машинного навчання без попередження користувачів виглядає вкрай недружньо та шкодить репутації компанії.

Водночас Anthropic не відмовляється від самих обмежень у Claude Fable 5. Замість цього користувачі бачитимуть повідомлення, якщо компанія вирішить, що модель намагаються використати для створення дуже потужної системи штучного інтелекту. У такому разі сервіс попереджатиме про відмову виконати запит або про перенаправлення його на менш потужну модель.

Читайте также: В лабораторних умовах. Сонячний вітер допоміг пояснити утворення води на Місяці