Hexo Labs udostępnia kod SIA. Agent AI ma uczyć się sam na własnych próbach

Samodoskonalący się agent nie oznacza już tylko lepszego promptu.

Rozwój agentów AI przebiegał dotąd dwiema głównymi drogami. W pierwszej deweloper albo metaagent ulepsza system z zewnątrz: prompty, dobór narzędzi, logikę ponawiania prób i strategię wyszukiwania. W drugiej zespół dostraja sam model na podstawie informacji zwrotnej z zadań. SIA łączy oba podejścia w jednej pętli.

Kluczowe pojęcie, wewnętrzne dostrajanie modelu, oznacza zmianę parametrów sieci neuronowej podczas treningu. Mówiąc prościej, agent nie dostaje wyłącznie lepszych instrukcji. Sam model uczy się na powtarzających się błędach i wynikach. To odróżnia SIA od agentów, które tylko przepisują prompt albo dokładają kolejny krok do przepływu pracy.

Pętlę usprawniania napędzają trzy agenty.

Według oficjalnego opisu na GitHubie SIA działa dzięki trzem głównym komponentom. Meta Agent odczytuje opis zadania i tworzy pierwszego agenta docelowego. Task Specific Agent rozwiązuje zadanie oraz zapisuje swoje działania i wyniki. Feedback Agent analizuje logi, wskazuje słabe punkty i decyduje, czy poprawić rusztowanie agenta, czy uruchomić wewnętrzne dostrajanie modelu.

To rozróżnienie ma znaczenie techniczne. Rusztowanie agenta określa, jak system szuka rozwiązania, korzysta z narzędzi i sprawdza wyniki. Wewnętrzne dostrajanie modelu ma dodawać ocenę domenową, której nie da się po prostu wpisać do modelu promptem. W artykule na arXiv autorzy SIA twierdzą, że łączne użycie obu mechanizmów dało lepsze rezultaty niż samo ulepszanie rusztowania we wszystkich trzech testowanych dziedzinach.

Wyniki wyglądają mocno, ale wymagają trzeźwej oceny.

W pracy technicznej SIA oceniono framework na trzech bardzo różnych zadaniach: klasyfikacji zarzutów na podstawie chińskich tekstów prawnych, niskopoziomowej optymalizacji kerneli GPU oraz odszumianiu danych RNA pojedynczych komórek. Taki dobór daje systemowi szerszy sprawdzian niż standardowy benchmark chatbotów, bo zadania wymagają różnych rodzajów precyzji, eksperymentowania i mierzalnego wyniku.

Na papierze rezultaty są wyraźne. Według autorów SIA połączyła ulepszanie rusztowania z wewnętrznym dostrajaniem modelu i przebiła wcześniejszy stan techniki o 25,1 proc. w LawBench. Kernel GPU działał o 12,4 proc. szybciej niż poprzedni stan techniki, a odszumianie danych RNA poprawiło się o 20,4 proc. Repozytorium na GitHubie podaje także 70,1 proc. trafności Top 1 w LawBench, 14-krotne przyspieszenie kernela TriMul względem punktu odniesienia oraz wynik MSE_norm 0,289 w zadaniu sekwencjonowania RNA pojedynczych komórek.

Twierdzenie o „350 razy” to linia komunikatu prasowego, nie niezależny werdykt.

Hexo Labs podaje w komunikacie prasowym, że SIA przyspiesza drogę do superinteligencji 350 razy. Do tej deklaracji trzeba podchodzić ostrożnie. Firma łączy ją z benchmarkiem MLE bench OpenAI, ale nie jest to równoznaczne z niezależnym dowodem, że SIA rzeczywiście prowadzi AI w stronę superinteligencji. Publicznie dostępne materiały pokazują obecnie coś bardziej przyziemnego: SIA oferuje mocny eksperymentalny framework do mierzalnych zadań rozwojowych.

OpenAI opisuje MLE bench jako benchmark sprawdzający, czy agenci AI potrafią wykonywać prace z zakresu inżynierii uczenia maszynowego: trenować modele, przygotowywać dane i prowadzić eksperymenty. Obejmuje 75 konkursów uczenia maszynowego z Kaggle i daje agentom znacznie bardziej praktyczny cel niż zwykłe benchmarki pytań i odpowiedzi.

Z europejskiej perspektywy najważniejsza jest transparentność.

Dla europejskich deweloperów i instytucji badawczych główna wartość SIA tkwi w otwartości. Repozytorium na GitHubie pokazuje, że framework korzysta z licencji MIT, jest napisany w Pythonie i może być używany z niestandardowymi zadaniami, w których publiczne dane wejściowe, ukryte dane ewaluacyjne oraz ewaluator definiuje się osobno. To pomaga badaczom powtarzać eksperymenty i sprawdzać, co agent faktycznie zmienia.

Jednocześnie wewnętrzne dostrajanie modelu oznacza większą odpowiedzialność. Gdy agent może głębiej zmieniać swoje zachowanie, framework ewaluacyjny musi również wychwycić, czy system staje się ogólnie lepszy, czy tylko uczy się wykorzystywać jedną konkretną metrykę. Z tego powodu SIA obecnie najlepiej pasuje do zadań naukowych i inżynieryjnych z jasnymi miarami, a nie do autonomicznego podejmowania decyzji przy otwartych celach.

Techniczny skrót.

SIA łączy ulepszanie rusztowania agenta i wewnętrzne dostrajanie modelu w jednej pętli samodoskonalenia.

System korzysta z Meta Agenta, Task Specific Agenta i Feedback Agenta.

Testy objęły teksty prawne, optymalizację kerneli GPU oraz odszumianie danych RNA pojedynczych komórek.

Według repozytorium na GitHubie SIA jest projektem open source, ma licencję MIT i powstała z myślą o Pythonie 3.11+.

Duże twierdzenie o „350 razy” pochodzi z komunikatu prasowego Hexo Labs, a nie z niezależnego audytu.

SIA może nie być skrótem do superinteligencji. Oferuje coś bardziej praktycznego i, przynajmniej na razie, bardziej użytecznego: sposób, by agenci AI pokazywali swoją pracę, uczyli się na niej i podchodzili do kolejnego testu z czymś więcej niż tylko lepszą instrukcją motywacyjną.