Суть його проста: перед вами слово «червоний», але написане синім чорнилом. Ваше завдання — назвати колір чорнила, ігноруючи значення слова. Звучить легко. Насправді — ні. Мозок читає слова автоматично, і пригнітити цей рефлекс потребує зусиль. Люди справляються — нехай із невеликою затримкою, але справляються, навіть на довгих списках.
Читайте также: Кінець епохи uBlock Origin. Google остаточно відключає старі розширення в Chrome
Дослідники під керівництвом Сукету Пателя вирішили перевірити, як із тим самим тестом впораються великі мовні моделі — GPT, Claude, Gemini. Результати виявились несподіваними.
На коротких списках із п’яти слів все виглядало непогано. GPT-4o показав 91% правильних відповідей, Claude 3.5 Sonnet теж тримався впевнено. Можна було б порадіти і написати статтю про те, що ШІ нарешті навчився концентруватися. Але дослідники подовжили список.
При десяти словах точність GPT-4o впала до 57%. При сорока — до 15%. Claude протримався довше, стабільно пройшов двадцять слів, але на сорока теж склав зброю: 24% правильних відповідей. GPT-5, Claude Opus 4.1 і Gemini 2.5 показали схожу картину. А коли в один список змішали слова, що збігаються за кольором і значенням, і слова, що конфліктують між собою, — точність на конфліктних позиціях впала майже до нуля.
Читайте также: На тлі рекордних прибутків. ШІ став головним поясненням звільнень у технологічній галузі
Що це означає на практиці? Моделі, схоже, просто втрачали нитку. Починали виконувати завдання правильно — називати колір чорнила — а потім поступово зісковзували до того, що їм давалось простіше: читати слово. Первинна інструкція десь губилась по дорозі.
Це не означає, що ШІ погано пише, міркує або програмує. У цих завданнях він справді сильний. Але тест Струпа відкрив дещо інше: здатність утримувати фокус на конкретній меті в умовах конкуруючої інформації — і особливо на великих послідовностях — у мовних моделей влаштована принципово інакше, ніж у людини. Можливо, навіть гірше.
Читайте также: Ні серверам. Жителі США зірвали 75 планів з будівництва дата-центрів за три місяці
