Hexo Labs відкрила код SIA, фреймворку AI-агента, що навчає сам себе

Агент із самовдосконаленням більше не означає лише кращий промпт.

Досі розробка AI-агентів рухалася двома основними шляхами. У першому розробник або метаагент покращує систему ззовні: промпти, вибір інструментів, логіку повторних спроб і стратегію пошуку. У другому команда донавчає саму модель, використовуючи зворотний зв’язок із завдань. SIA поєднує ці два підходи в одному циклі.

Ключовий термін тут, внутрішнє донавчання моделі. Він означає зміну параметрів нейронної мережі під час навчання. Простіше кажучи, агент отримує не лише кращі інструкції. Сама модель вчиться на повторюваних помилках і результатах. Саме це відрізняє SIA від агентів, які просто переписують промпт або додають ще один крок до робочого процесу.

Три агенти керують циклом покращення.

Згідно з офіційним описом на GitHub, SIA працює через три основні компоненти. Meta Agent читає опис завдання і створює першого цільового агента. Task Specific Agent розв’язує завдання та фіксує свої дії й результати. Feedback Agent переглядає журнали, визначає слабкі місця і вирішує, чи покращувати каркас агента, чи запускати внутрішнє донавчання моделі.

Ця відмінність технічно важлива. Каркас агента визначає, як система шукає рішення, використовує інструменти й перевіряє результати. Внутрішнє донавчання моделі має додавати предметне судження, яке не можна просто вписати в модель промптом. У статті на arXiv автори SIA стверджують, що спільне використання обох важелів перевершило покращення лише каркаса в усіх трьох протестованих доменах.

Результати виглядають сильними, але потребують тверезого вимірювання.

У технічній статті SIA фреймворк оцінили на трьох дуже різних завданнях: класифікації звинувачень за китайськими юридичними текстами, низькорівневій оптимізації GPU-ядра та очищенні даних одноклітинної РНК від шуму. Такий набір дає системі ширшу перевірку, ніж стандартний бенчмарк для чатботів, адже завдання потребують різних типів точності, експериментування та вимірюваного результату.

На папері результати різкі. За словами авторів, SIA поєднав покращення каркаса з внутрішнім донавчанням моделі й перевершив попередній найкращий результат на LawBench на 25,1 відсотка. GPU-ядро працювало на 12,4 відсотка швидше за попередній найкращий результат, а очищення даних РНК від шуму покращилося на 20,4 відсотка. У репозиторії GitHub також зазначено точність Top 1 на LawBench на рівні 70,1 відсотка, прискорення TriMul kernel у 14 разів порівняно з базовим рівнем і показник MSE_norm 0,289 у завданні секвенування одноклітинної РНК.

Заява про «350 разів» є тезою з пресрелізу, а не незалежним вердиктом.

У своєму пресрелізі Hexo Labs заявляє, що SIA у 350 разів пришвидшує шлях до суперінтелекту. До цього варто ставитися обережно. Компанія пов’язує цю заяву з MLE bench від OpenAI, але це не те саме, що незалежний доказ того, що SIA справді наближає AI до суперінтелекту. Публічні матеріали наразі показують більш приземлену річ: SIA пропонує сильний експериментальний фреймворк для вимірюваних завдань розробки.

OpenAI описує MLE bench як бенчмарк для перевірки того, чи можуть AI-агенти виконувати роботу з інженерії машинного навчання: тренувати моделі, готувати дані й проводити експерименти. Він містить 75 змагань Kaggle з машинного навчання і дає агентам значно практичнішу ціль, ніж звичайні бенчмарки у форматі запитань і відповідей.

З європейської перспективи найважливішою є прозорість.

Для європейських розробників і дослідницьких установ головна цінність SIA полягає у відкритості. Репозиторій GitHub показує, що фреймворк використовує ліцензію MIT, написаний на Python і може працювати з власними завданнями, де публічні вхідні дані, приховані дані оцінювання та оцінювач визначаються окремо. Це допомагає дослідникам повторювати експерименти й перевіряти, що саме змінює агент.

Водночас внутрішнє донавчання моделі означає більшу відповідальність. Коли агент може глибше змінювати свою поведінку, система оцінювання має також виявляти, чи система справді стає загалом кращою, чи лише вчиться використовувати одну конкретну метрику. З цієї причини SIA наразі найкраще підходить для наукових та інженерних завдань із чіткими показниками, а не для автономного ухвалення рішень із відкритими цілями.

Технічний зріз.

SIA поєднує покращення каркаса агента і внутрішнє донавчання моделі в одному циклі самовдосконалення.

Система використовує Meta Agent, Task Specific Agent і Feedback Agent.

Тести охоплювали юридичні тексти, оптимізацію GPU-ядра та очищення даних одноклітинної РНК від шуму.

Згідно з репозиторієм GitHub, SIA має відкритий код, ліцензію MIT і розрахований на Python 3.11+.

Гучна заява про «350 разів» походить із пресрелізу Hexo Labs, а не з незалежного аудиту.

SIA може й не бути коротким шляхом до суперінтелекту. Натомість він пропонує щось практичніше і наразі корисніше: спосіб змусити AI-агентів показувати свою роботу, вчитися на ній і виходити на наступне випробування з чимось більшим, ніж просто краща мотиваційна промова.