Автор admin 
Ще кілька років тому дистиляція LLM вважалась звичайною дослідницькою практикою. Сьогодні ж, вона перетворилась на цілу тіньову економіку, яка загрожує бізнес-моделі, на якій тримаються трильйони доларів інвестицій у штучний інтелект, пише Business Insider.
Читайте также: Звичний процес. Вчені з’ясували, що формування мозку потребує тимчасових розривів ДНК
Суть техніки проста: одну модель навчають на відповідях іншої. Проблема в тому, що межа між допустимим і неприпустимим використанням залишається предметом гострих суперечок — а тим часом чимало ШІ-компаній так чи інакше використовують результати роботи конкурентів на різних етапах розробки власних продуктів.
«Це має бути дуже неприємно»
Ілон Маск під час суду з OpenAI цього року відверто визнав: «Загалом ШІ-компанії дистилюють одна одну». Коли адвокат Сема Альтмана прямо запитав Маска, чи дистилював xAI моделі OpenAI, той відповів, що це поширена практика в індустрії, а на уточнення, чи означає це, що xAI таки цим займався, відповів коротко: «Частково».
Колишня старша продакт-менеджерка Meta Сяоїнь Цюй описала економічну драму такого підходу: компанії наймають найкращих фахівців, спалюють мільярди доларів і будують найновішу модель — лише щоб побачити, як безкоштовні китайські моделі знищують всю їхню маржу. «Це має бути дуже неприємно», — додала вона.
Ринок, схоже, поділяє це занепокоєння: акції ШІ-компаній просіли останніми тижнями після виходу нової китайської моделі GLM-5.2 від Z.ai (колишньої Zhipu AI). Частина дослідників вважає, що модель отримала перевагу саме завдяки дистиляції провідних американських систем. Інженер-розробник чіпів для ШІ в Google Патрік Тульме написав у X прямо: «Так, вони дистилювали Claude і GPT-5.5».
Від наукової статті Google до звинувачень Anthropic
Історія техніки дистиляції почалась цілком мирно. У 2015 році провідні дослідники Google описали метод, за яким лабораторія навчає меншу модель на відповідях власної великої моделі — тобто в межах однієї компанії. Після запуску ChatGPT у 2022 році штучний інтелект перетворився на глобальну гонку, і дистиляція вийшла за межі внутрішнього використання: компанії почали пришвидшувати розробку, спираючись на відповіді моделей конкурентів.
Саме на цьому фоні Anthropic звинуватила Alibaba у зловмисній дистиляції Claude — зокрема у створенні десятків тисяч фейкових акаунтів для масового збору відповідей моделі. Голова політичного напряму компанії Сара Гек написала в листі до провідних американських політиків, що така практика «перевертає економічну логіку, на якій тримається американське лідерство у сфері ШІ», перетворюючи мільярди доларів, вкладені в дослідження, розробку та обчислення, на субсидію для конкурентів.
OpenAI пішла далі й попередила про сценарій, коли дистиляція дозволить створювати моделі, потужніші за будь-яку окрему систему-«вчителя»: комбінуючи відповіді кількох американських моделей одразу, суперники нібито можуть відтворити й навіть перевершити фронтирні можливості.
Чому Китай ставить на дистиляцію
Дослідник Чжан Ци, який раніше працював над великими мовними моделями ByteDance, розповів у подкасті, що багато китайських ШІ-компаній роблять ставку саме на дистиляцію, а не на створення власних якісних навчальних датасетів. Замість того щоб платити експертам-людям за написання детальних пояснень і відповідей, компанії просто просять ChatGPT, Claude чи Gemini згенерувати такий контент — і використовують ці відповіді для навчання власних моделей.
Дослідник Google DeepMind Яо Шунью в іншому подкасті пояснив, що обмежений доступ до передових чипів змусив китайські компанії перетворити дистиляцію на конкурентну перевагу. Він розділив підходи на «тупу дистиляцію» — просте копіювання відповідей чужої моделі — та «розумну дистиляцію», коли кілька моделей генерують, оцінюють і вдосконалюють відповіді одна одної, створюючи якісніші навчальні дані. За словами Яо, саме в другому, складнішому підході китайські лабораторії можуть стати світовими лідерами.
Читайте также: Частка Windows на платформі ПК вперше впала нижче 60% — але статистика викликає сумніви
Втім, подібними практиками грішать і американські гравці. Google, наприклад, платив працівникам Scale AI за створення й доопрацювання відповідей у стилі ChatGPT, щоб наздогнати OpenAI. Багато дослідників не вважають це класичною дистиляцією — але умови використання ШІ-сервісів зазвичай прямо забороняють застосовувати їхні відповіді для створення конкурентних моделей, незалежно від конкретного методу.
Багато хто починає панікувати
Не всі в індустрії погоджуються з тим, де саме проходить межа між легітимним дослідженням і зловживанням. Дослідник Нейтан Ламберт вважає, що первісну, «м’яку» форму дистиляції зараз штучно змішують із набагато агресивнішими практиками. Він побоюється, що широкі обмеження, спричинені «панікою навколо дистиляції», найбільше вдарять по невеликих ШІ-компаніях і академічних дослідниках, для яких цей метод — один із небагатьох доступних способів створювати й вивчати моделі без бюджетів рівня OpenAI чи Anthropic.
Зупинити дистиляцію технічно складно. «Це завжди така собі гра кота та миші», — заявила дослідниця Oxford China Policy Lab Цзилань Цянь. Поки відповіді моделей взагалі доступні у світі, люди, за її словами, так чи інакше знайдуть спосіб їх отримати.
Як Anthropic захищається від дистиляції моделей
Нова загроза змусила Anthropic терміного посилити захист: вона блокує користувачів із Китаю, вимагає закордонні номери телефонів і платіжні дані, а деяких людей взагалі просить підтвердити особу документом державного зразка та живим селфі. У відповідь, за спостереженнями Цянь, китайські розробники побудували цілу мережу посередників — так званих «transfer stations». Ці закордонні проксі-сервіси дозволяють клієнтам обходити перевірки акаунтів, сплачуючи лише близько 10% від офіційної ціни. Частина операторів використовує тисячі фейкових або перевикористаних акаунтів, інші наймають людей у бідніших країнах для проходження ідентифікації. Оскільки всі запити проходять через ці сервіси, оператори збирають промпти й відповіді користувачів — і формують із них цінні датасети, які потім можна перепродавати або використовувати для навчання інших моделей.
Цянь переконана, що жорсткіші обмеження радше зроблять такі обхідні схеми ще прибутковішими: «Історія вчить, що блокування доступу рідко зупиняє наполегливих користувачів. Воно лише підвищує вартість доступу, а це, своєю чергою, створює прибуткові ринки для будь-кого, хто вміє цю вартість знижувати».
Показово, що деякі захисні кроки самої Anthropic вже обернулись проти компанії. За наявними даними, компанія тихо погіршувала якість відповідей моделі на запитання про розробку штучного інтелекту, а після невдоволення розробників частково відкотила цю політику. Видання The Information також повідомляло, що компанія відмовилась від шпигунського софту, яким відстежувала китайських користувачів.
Дослідники зазначають і ширший, непередбачений ефект: посилення обмежень підштовхує частину розробників не відмовлятись від дистиляції, а переходити на дешевші дистильовані моделі з відкритим кодом — тобто саме до того результату, якому фронтирні лабораторії намагаються запобігти.
Нагадаємо, нещодавно Anthropic звинуватила компанію Alibaba у використанні 25 тисяч фейкових акаунтів для копіювання можливостей Claude.
Читайте также: Природні зміни. Температура океанів знижує ризик глобальної посухи, показало дослідження
Підписуйтесь на нас у соцмережах: Telegram | Facebook | LinkedIn