Підсумки перевірки. Американські ШІ-моделі випередили китайську Kimi K3 у тестах на кібербезпеку

Про це пише видання Interesting Engineering.

Спільну оцінку провели Інститут безпеки штучного інтелекту Великої Британії (UK AISI) та американський Центр стандартів і інновацій у сфері ШІ (CAISI). Вони перевірили можливості Kimi K3, яку компанія Moonshot AI називає своєю найпотужнішою мовною моделлю.

Читайте также: Можуть копати. Компанія Ілона Маска Boring Company отримає мільярди доларів фінансування

Для оцінювання використали ExploitBench — відкритий тестовий набір, створений Університетом Карнегі-Меллона. Він перевіряє, наскільки добре ШІ може створювати програмні експлойти для використання вразливостей у програмному забезпеченні.

За підсумками перевірки Kimi K3 отримала 32,2%. Це більше, ніж інша китайська модель GLM-5.2, яка набрала 24%, однак значно менше за середній результат найсильніших американських моделей — 76,2%.

Дослідники також перевірили, чи здатні моделі досягти довільного виконання коду (Arbitrary Code Execution, ACE), що дозволяє отримати контроль над цільовою системою. Kimi K3 не змогла виконати жодне з 41 такого завдання. Для порівняння, американські моделі в середньому успішно виконували 20 із 41 сценарію.

Окремо модель протестували в симуляції атаки на корпоративну мережу, яка складається з 32 послідовних кроків. У середньому Kimi K3 доходила до 17-го кроку, тоді як американські моделі — до 28,5.

Читайте также: Герінг не винен. Археологи з’ясували походження скелетів, знайдених під резиденцією очільника Люфтваффе

Водночас дослідники зазначили, що в одній із десяти спроб китайська модель все ж змогла завершити симульовану атаку. Це свідчить, що вона може самостійно атакувати невеликі й слабо захищені корпоративні системи, якщо отримує початковий доступ до мережі та відповідну команду.

Також під час випробувань вбудовані механізми захисту Kimi K3 не завадили їй намагатися створювати експлойти та виконувати наступальні кібероперації.

Автори дослідження наголосили, що результати поки є попередніми. Загальну оцінку Kimi K3 сформували лише на основі одного тестового набору, тоді як інші моделі оцінювали за більшою кількістю кіберзавдань.

На тлі дискусій про стрімкий розвиток китайського штучного інтелекту результати дослідження стали аргументом для тих, хто вважає, що американські моделі поки зберігають перевагу. Колишній радник Білого дому з питань ШІ Девід Сакс заявив, що побоювання щодо лідерства китайських моделей перебільшені, і закликав не запроваджувати надмірне регулювання галузі. За його словами, американські передові моделі все ще залишаються попереду.

Читайте также: Інтерес студентів до комп’ютерних наук падає. Вперше за 20 років