Головне швидше і дешевше. Пам’ять стає ключем у роботі штучного інтелекту

Про це пише видання TechCrunch.

Не менш важливим стає правильне управління цією пам’яттю. Компанії, які навчаться швидко доставляти потрібні дані потрібному агенту, зможуть виконувати ті ж запити з меншими витратами ресурсів. Це може визначити, хто залишиться на ринку, а хто — збанкрутує.

Читайте также: Конкуренція Китаю. Ексінженери SpaceX залучили $50 млн для виробництва оптичних компонентів для дата-центрів

Аналітик напівпровідників Дуг О’Лафлін на своєму Substack обговорює важливість пам’яті разом із Валом Берковічі, головним спеціалістом із ШІ у Weka. Вони зосереджені на чіпах, але це має великий вплив і на програмне забезпечення для ШІ.

Особливо цікаво виглядає приклад з компанією Anthropic і її системою кешування запитів:

«Якщо подивитися на сторінку з цінами на кешування у Anthropic, шість-сім місяців тому вона була дуже простою — „використовуйте кеш, це дешевше“. Тепер це ціла енциклопедія порадами про те, скільки записів у кеш потрібно купувати заздалегідь. Є 5-хвилинні та 1-годинні рівні, нічого довшого. Якщо управляти кешем правильно, можна значно економити, але нові дані можуть витіснити старі з кешу.»

Простими словами, ефективне управління пам’яттю дозволяє швидше обробляти запити і економити ресурси. Чим краще компанії це роблять, тим більш конкурентоспроможними вони стають.

Читайте также: Робот, що булить людей. ШІ-агент розкритикував розробника, який відмовився вносити запропоновані ним зміни

У галузі ще багато можливостей для розвитку. Наприклад, стартап Tensormesh працює над оптимізацією кешу на одному з рівнів технологічного стеку. Також компанії досліджують, як різні типи пам’яті(DRAM, HBM) використовувати в дата-центрах, і як структурувати роботу моделей, щоб ефективно використовувати спільний кеш.

Завдяки цьому використання токенів стає економнішим, моделі працюють ефективніше, а витрати на сервери падають. У майбутньому навіть програми, які зараз здаються невигідними, можуть стати прибутковими.