Брак фантазії чи даних. Дослідники пояснили, чому чатботи постійно вигадують історії про Еліаса Торна

Про це пише видання Gizmodo.

На це явище звернув увагу інженер-програміст Деніел Мей. Згодом дослідники Сіл Гамільтон і Девід Мімно проаналізували близько 20 тисяч історій, створених кількома мовними моделями, серед яких GPT-5.4 Mini, Claude Haiku 4.5 і Gemini 3.1 Flash-Lite.

Читайте также: Наталья Мосейчук Первый Муж Фото: подробности личной жизни и карьеры

Під час аналізу вони виявили значну повторюваність. Лише 11 слів — Lighthouse, Keeper, Baker, Mayor, Clockmaker, Fisherman, Librarian, Conductor, а також імена Mara, Elias та Elara — зустрічалися у 88% усіх створених історій.

Найчастіше моделі використовували образ Еліаса, який працює доглядачем маяка. Такий персонаж з’являвся приблизно у двох третинах усіх історій. Це збіглося зі спостереженнями Мея, який також помітив, що різні чатботи регулярно повертаються до одного й того самого героя.

Спочатку дослідники припустили, що причина може критися в матеріалах, на яких навчалися моделі. Однак вони не знайшли доказів того, що образ«Еліаса-доглядача маяка» надзвичайно часто трапляється в літературі або навчальних даних.

Натомість автори роботи вважають, що проблема може бути пов’язана зі спеціальними наборами даних, які широко використовують лабораторії штучного інтелекту. Одним із прикладів вони називають WildChat — відкритий набір із мільйонів діалогів між людьми та чатботом на базі GPT-3.5.

Читайте также: У Spotify, Apple Music та інших сервісах. Deezer запустив інструмент для виявлення ШІ-музики

Цей набір створювали для дослідження спілкування людей із ботами, але згодом його почали використовувати для навчання багатьох моделей. На думку дослідників, під час налаштування систем безпеки та обмежень, які мають відводити моделі від захищених авторським правом персонажів або дорослого контенту, деякі «безпечні» альтернативи могли отримати надмірну популярність. Однією з них міг стати Еліас-доглядач маяка.

Видання 404 Media повідомило, що ім’я Еліаса Торна почало з’являтися не лише в історіях чатботів. Його знаходили серед персонажів фентезійних книжок, а також як ім’я «виконавця» ембієнт-музики, розміщеної на Amazon.

Також Деніел Мей виявив книги, де Еліас Торн вказаний як автор. Серед них був довідник, який нібито містить інформацію про альтернативні методи лікування раку.

Дослідники зазначають, що ця особливість ще раз демонструє обмеження творчих можливостей сучасного штучного інтелекту. Минулого року інше дослідження показало, що генератори зображень часто створюють варіації невеликої кількості однакових візуальних мотивів незалежно від того, наскільки незвичним є запит користувача.

Читайте также: Агент від Coinbase торгує криптою, дає поради по угодах і не потребує вашої участі