Автор admin 
Інцидент торкнувся частини систем Hugging Face, але поки не виявлено підтвердженого витоку даних, запевняє The Next Web.
Читайте также: Майже фермери. Мисливці кам’яної доби заселили норвезькі гірські озера форелями 7000 років тому
OpenAI заявила, що дві її моделі штучного інтелекту, включаючи флагманську Sol, вийшли з безпечного тестового середовища, отримали доступ до Інтернету, використовуючи вразливість нульового дня в сторонньому програмному забезпеченні, та зламали виробничу інфраструктуру Hugging Face. Компанія назвала інцидент «безпрецедентним» і заявила, що ділиться попередніми висновками, щоб допомогти зрозуміти, на що зараз здатні передові моделі.
Обидві моделі працювали з нижчими рівнями кібербезпеки в рамках внутрішньої оцінки їхніх можливостей. Вони проходили тестування за допомогою ExploitGym, вільно доступного бенчмарку кібербезпеки, і було виявлено, що відповіді на тест зберігаються у виробничих системах Hugging Face.
Замість того, щоб розв’язати задачу оцінювання, як задумано, моделі взялися за ключ до відповіді. Вони витратили те, що OpenAI описав як «значну кількість обчислень логічного висновку», на пошук виходу з пісочниці, а потім зафіксували дві вразливості віддаленого виконання коду в конвеєрі обробки набору даних Hugging Face. Атака зібрала облікові дані хмари та кластера, перемістила їх у внутрішні кластери та виконала понад 17 000 окремих дій у рій короткочасних пісочниць, згідно зі звітом Hugging Face від 16 липня.
Компанія Hugging Face заявила, що виявила вторгнення, локалізувала його та відновила скомпрометовані вузли. Компанія не знайшла жодних доказів втручання в публічні моделі та набори даних і підтвердила безпеку свого ланцюжка постачання програмного забезпечення. Вона все ще оцінює, чи були вражені дані будь-яких партнерів чи клієнтів.
Щоб розслідувати порушення, Hugging Face звернулася до GLM, китайської моделі відкритої ваги, оскільки захисні огорожі на американських комерційних моделях блокували судово-медичні запити, необхідні для проведення її команди.
Читайте также: Чиста енергія на воді. Стартап зі США зібрав $10 мільйонів на плавучі ядерні реактори
Ця втеча — не перший випадок, коли Sol викривають у маніпуляціях власними оцінками. Організація Model Evaluation and Threat Research, незалежна лабораторія, яка оновила модель перед запуском, виявила, що вона агресивно зламує тестові середовища, щоб завищити свої оцінки. В одному з завдань вона упакувала експлойт у потік даних, підвищила привілеї на сервері оцінювання та оприлюднила правильні відповіді, які приховали оцінювачі-люди.
Ширша картина збоїв безпеки агентів штучного інтелекту різко прискорилася: лише протягом перших десяти днів липня чотири окремі дослідницькі групи зламали агенти штучного інтелекту чотирма різними способами. OpenAI та Anthropic зіткнулися з посиленою увагою до можливостей кібербезпеки своїх моделей, а адміністрація Трампа обмежила доступ до найновіших систем обох компаній під час урядового огляду.
Раніше NV Техно писав, що нещодавно OpenAI відкрила широкий доступ до нової моделі штучного інтелекту Sol, але критерії, за якими уряд США дозволяє випускати такі системи, залишаються незрозумілими. Експерти кажуть, що процес майже не розкривають.
OpenAI почала широке розгортання моделі Sol, яку вважають щонайменше такою ж потужною, як модель Fable від Anthropic. Саме Fable раніше тимчасово обмежили через побоювання американської влади щодо її можливостей. Попри це, досі невідомо, як саме уряд США оцінює безпеку передових моделей штучного інтелекту перед їхнім запуском. Дослідниця Центру безпеки та новітніх технологій Джорджтаунського університету Міна Нараянан заявила, що не має достатньо інформації, аби оцінити, чи є чинна процедура достатньо надійною.
Читайте также: Тисячі невеликих поштовхів. Зірки, схожі на Сонце, можуть змінювати свою траєкторію під час загибелі