Hexo Labs otvorio izvorni kod SIA okvira i prepustio AI agentu da uči sam od sebe
Hexo Labs je predstavio open source okvir za AI agente pod imenom SIA, odnosno Self Improving Agent. On ne doteruje samo promptove i tokove rada. Njegova glavna tvrdnja je ambicioznija: agent analizira sopstvene pokušaje, menja način rada i, kada je potrebno, pokreće interno fino podešavanje modela kako bi naredni ciklus obavio bolje.
Samopoboljšavajući agent više ne znači samo bolji prompt
Razvoj AI agenata do sada je išao uglavnom u dva pravca. U jednom, programer ili meta agent unapređuje sistem spolja: promptove, izbor alata, logiku ponovnih pokušaja i strategiju pretrage. U drugom, tim fino podešava sam model koristeći povratne informacije iz zadatka. SIA spaja ta dva pristupa u jednu petlju.
Ključni pojam ovde je interno fino podešavanje modela, što znači promenu parametara neuronske mreže tokom treninga. Jednostavnije rečeno, agent ne dobija samo bolja uputstva. Sam model uči iz ponovljenih grešaka i rezultata. To razlikuje SIA od agenata koji samo prepišu prompt ili dodaju još jedan korak u tok rada.
Tri agenta pokreću petlju unapređenja
Prema zvaničnom opisu na GitHubu, SIA radi kroz tri glavne komponente. Meta Agent čita opis zadatka i pravi prvog ciljnog agenta. Task Specific Agent rešava zadatak i beleži svoje poteze i rezultate. Feedback Agent pregledava logove, prepoznaje slabosti i odlučuje da li treba unaprediti agent scaffold ili pokrenuti interno fino podešavanje modela.
Ta razlika je tehnički važna. Agent scaffold oblikuje način na koji sistem traži rešenje, koristi alate i proverava rezultate. Interno fino podešavanje modela trebalo bi da doda domensko rasuđivanje koje nijedan prompt ne može jednostavno da upiše u model. U radu objavljenom na arXivu, autori SIA navode da je zajednička upotreba oba mehanizma nadmašila unapređenje samo kroz scaffold u sva tri testirana domena.
Rezultati deluju snažno, ali traže trezveno merenje
Tehnički rad o SIA okviru ocenio je sistem na tri veoma različita zadatka: klasifikaciji optužbi iz kineskih pravnih tekstova, optimizaciji niskonivojskog GPU kernela i uklanjanju šuma iz podataka RNK pojedinačnih ćelija. Takav izbor daje sistemu širi test od standardnog chatbot benčmarka, jer zadaci traže različite vrste preciznosti, eksperimentisanja i merljivog izlaza.
Na papiru, rezultati su izraženi. Prema autorima, SIA je spojio unapređenje scaffolda sa internim finim podešavanjem modela i nadmašio prethodno stanje tehnike za 25,1 odsto na LawBenchu. GPU kernel je radio 12,4 odsto brže od prethodnog stanja tehnike, dok je uklanjanje šuma iz RNK podataka poboljšano za 20,4 odsto. GitHub repozitorijum takođe navodi 70,1 odsto Top 1 tačnosti na LawBenchu, ubrzanje od 14 puta za TriMul kernel u odnosu na početnu osnovu i MSE_norm rezultat od 0,289 u zadatku sekvenciranja RNK pojedinačnih ćelija.
Tvrdnja o „350 puta” je poruka iz saopštenja, ne nezavisna presuda
Hexo Labs u svom saopštenju tvrdi da SIA ubrzava put ka superinteligenciji 350 puta. To treba primiti s oprezom. Kompanija tu tvrdnju povezuje sa OpenAI MLE benchom, ali to nije isto što i nezavisan dokaz da SIA zaista vodi AI ka superinteligenciji. Javno dostupni materijali za sada pokazuju nešto čvršće utemeljeno: SIA nudi snažan eksperimentalni okvir za merljive razvojne zadatke.
OpenAI opisuje MLE bench kao benčmark za proveru da li AI agenti mogu da obavljaju poslove inženjeringa mašinskog učenja: treniranje modela, pripremu podataka i izvođenje eksperimenata. On sadrži 75 Kaggle takmičenja iz mašinskog učenja i agentima daje znatno praktičniji cilj od uobičajenih benčmarka pitanja i odgovora.
Iz evropskog ugla, transparentnost je najvažniji deo
Za evropske programere i istraživačke institucije glavna vrednost SIA okvira leži u otvorenosti. GitHub repozitorijum pokazuje da okvir koristi MIT licencu, da je napisan u Pythonu i da se može koristiti sa prilagođenim zadacima u kojima su javni ulazi, skriveni podaci za evaluaciju i evaluator definisani odvojeno. To pomaže istraživačima da ponove eksperimente i provere šta agent zaista menja.
Istovremeno, interno fino podešavanje modela donosi veću odgovornost. Kada agent može dublje da menja svoje ponašanje, evaluacioni okvir mora da uhvati i da li sistem zaista postaje opšte bolji ili samo uči da iskoristi jednu konkretnu metriku. Zbog toga se SIA trenutno najbolje uklapa u naučne i inženjerske zadatke sa jasnim merilima, a ne u autonomno odlučivanje sa otvorenim ciljevima.
Tehnički pregled
SIA spaja unapređenje agent scaffolda i interno fino podešavanje modela u jednu petlju samopoboljšavanja.
Sistem koristi Meta Agent, Task Specific Agent i Feedback Agent.
Testovi su obuhvatili pravne tekstove, optimizaciju GPU kernela i uklanjanje šuma iz podataka RNK pojedinačnih ćelija.
Prema GitHub repozitorijumu, SIA je open source, koristi MIT licencu i napravljen je za Python 3.11+.
Velika tvrdnja o „350 puta” dolazi iz saopštenja Hexo Labsa, a ne iz nezavisne provere.
SIA možda nije prečica do superinteligencije. Ono što nudi jeste praktičnije i, za sada, korisnije: način da AI agenti pokažu svoj rad, uče iz njega i na sledeći test izađu sa nečim više od bolje motivacione poruke.
