Hexo Labs otvorio izvorni kod SIA-e, AI agentu koji sam sebe nastavlja učiti
Hexo Labs predstavio je otvoreni okvir za AI agente pod nazivom SIA, odnosno Self Improving Agent. Ne svodi se samo na dotjerivanje promptova i radnih tokova. Njegova je središnja tvrdnja ambicioznija: agent analizira vlastite pokušaje, mijenja metode rada i, kada je potrebno, pokreće interno fino podešavanje modela kako bi sljedeći ciklus odradio bolje.
Agent koji se sam poboljšava više ne znači samo bolji prompt
Razvoj AI agenata dosad je išao dvama glavnim smjerovima. U jednom, razvojni tim ili meta-agent poboljšava sustav izvana: promptove, odabir alata, logiku ponovnih pokušaja i strategiju pretraživanja. U drugom, tim fino podešava sam model koristeći povratne informacije iz zadataka. SIA ta dva pristupa spaja u jednu petlju.
Ključni pojam ovdje je interno fino podešavanje modela, što znači promjenu parametara neuronske mreže tijekom treninga. Jednostavnije rečeno, agent ne dobiva samo bolje upute. Sam model uči iz ponovljenih pogrešaka i rezultata. To SIA-u razlikuje od agenata koji tek prepišu prompt ili dodaju još jedan korak u radni tok.
Tri agenta pokreću petlju poboljšavanja
Prema službenom opisu na GitHubu, SIA radi kroz tri glavne komponente. Meta Agent čita opis zadatka i stvara prvog ciljanog agenta. Task Specific Agent rješava zadatak te bilježi svoje radnje i rezultate. Feedback Agent pregledava zapise, prepoznaje slabosti i odlučuje treba li poboljšati okvir agenta ili pokrenuti interno fino podešavanje modela.
Ta je razlika tehnički važna. Okvir agenta oblikuje način na koji sustav traži rješenje, koristi alate i provjerava rezultate. Interno fino podešavanje modela trebalo bi dodati domensku prosudbu koju nijedan prompt ne može jednostavno upisati u model. U radu objavljenom na arXivu autori SIA-e navode da je kombinacija oba mehanizma nadmašila poboljšavanje samo okvira u sva tri testirana područja.
Rezultati izgledaju snažno, ali traže trezveno mjerenje
Tehnički rad o SIA-i evaluirao je okvir na tri vrlo različita zadatka: klasifikaciji optužbi iz kineskih pravnih tekstova, optimizaciji niskorazinskog GPU kernela i uklanjanju šuma iz podataka jednostanične RNA. Takav odabir sustavu daje širi test od standardnog benchmarka za chatbotove, jer zadaci traže različite vrste preciznosti, eksperimentiranja i mjerljivog izlaza.
Na papiru su rezultati izraženi. Prema autorima, SIA je spojila poboljšavanje okvira s internim finim podešavanjem modela i na LawBenchu nadmašila prethodno najbolje stanje za 25,1 posto. GPU kernel radio je 12,4 posto brže od prethodno najboljeg rezultata, dok je uklanjanje šuma iz RNA podataka poboljšano za 20,4 posto. GitHub repozitorij navodi i 70,1 posto Top 1 točnosti na LawBenchu, 14 puta veće ubrzanje za TriMul kernel u odnosu na baznu vrijednost te MSE_norm rezultat od 0,289 u zadatku sekvenciranja jednostanične RNA.
Tvrdnja o „350 puta” dio je priopćenja, a ne neovisna ocjena
Hexo Labs u priopćenju navodi da SIA put prema superinteligenciji ubrzava 350 puta. To zahtijeva oprez. Tvrtka tvrdnju povezuje s OpenAI-jevim MLE benchom, ali to nije isto što i neovisan dokaz da SIA doista vodi AI prema superinteligenciji. Javno dostupni materijali zasad pokazuju nešto prizemljenije: SIA nudi snažan eksperimentalni okvir za mjerljive razvojne zadatke.
OpenAI opisuje MLE bench kao benchmark za provjeru mogu li AI agenti obavljati poslove inženjeringa strojnog učenja: trenirati modele, pripremati podatke i izvoditi eksperimente. Sadrži 75 Kaggle natjecanja iz strojnog učenja i agentima daje znatno praktičniju metu od uobičajenih benchmarka s pitanjima i odgovorima.
Iz europske perspektive, transparentnost je najvažniji dio
Za europske razvojne timove i istraživačke institucije glavna vrijednost SIA-e leži u otvorenosti. GitHub repozitorij pokazuje da okvir koristi MIT licencu, napisan je u Pythonu i može se rabiti s prilagođenim zadacima u kojima su javni ulazi, skriveni evaluacijski podaci i evaluator definirani odvojeno. To istraživačima pomaže ponoviti eksperimente i provjeriti što agent doista mijenja.
Istodobno, interno fino podešavanje modela nosi veću odgovornost. Kada agent može dublje mijenjati svoje ponašanje, evaluacijski okvir mora uhvatiti i postaje li sustav općenito bolji ili samo uči iskorištavati jednu konkretnu metriku. Zbog toga SIA trenutačno najbolje pristaje znanstvenim i inženjerskim zadacima s jasnim mjerama, a ne autonomnom odlučivanju s otvorenim ciljevima.
Tehnički pregled
SIA u jednoj petlji samopoboljšavanja kombinira poboljšavanje okvira agenta i interno fino podešavanje modela.
Sustav koristi Meta Agenta, Task Specific Agenta i Feedback Agenta.
Testovi su obuhvatili pravne tekstove, optimizaciju GPU kernela i uklanjanje šuma iz podataka jednostanične RNA.
Prema GitHub repozitoriju, SIA je otvorenog koda, pod MIT licencom i razvijena za Python 3.11+.
Velika tvrdnja o „350 puta” dolazi iz priopćenja Hexo Labsa, a ne iz neovisne revizije.
SIA možda nije prečac do superinteligencije. Ono što nudi praktičnije je i zasad korisnije: način da AI agenti pokažu svoj rad, uče iz njega i na sljedeći test dođu s nečim više od bolje motivacijske poruke.
