Hexo Labs åpner SIA-kildekoden og lar en AI-agent lære seg selv videre
Hexo Labs har presentert et åpen kildekode-rammeverk for AI-agenter kalt SIA, eller Self Improving Agent. Det nøyer seg ikke med å finpusse prompter og arbeidsflyter. Hovedpåstanden er mer ambisiøs: Agenten analyserer sine egne forsøk, endrer arbeidsmetodene og starter ved behov intern finjustering av modellen for å håndtere neste runde bedre.
En selvforbedrende agent handler ikke lenger bare om en bedre prompt.
Utviklingen av AI-agenter har så langt fulgt to hovedspor. I det ene forbedrer en utvikler eller metaagent systemet utenfra: prompter, valg av verktøy, logikk for nye forsøk og søkestrategi. I det andre finjusterer et team selve modellen ved hjelp av tilbakemeldinger fra oppgaver. SIA samler disse to tilnærmingene i én sløyfe.
Nøkkelbegrepet her er intern modellfinjustering. Det betyr at parametrene i det nevrale nettverket endres under trening. Enklere sagt får agenten ikke bare bedre instrukser. Selve modellen lærer av gjentatte feil og resultater. Det skiller SIA fra agenter som bare skriver om en prompt eller legger til enda et steg i arbeidsflyten.
Tre agenter driver forbedringssløyfen.
Ifølge den offisielle beskrivelsen på GitHub arbeider SIA gjennom tre hovedkomponenter. Meta Agent leser oppgavebeskrivelsen og lager den første målagenten. Task Specific Agent løser oppgaven og logger handlinger og resultater. Feedback Agent går gjennom loggene, finner svakheter og avgjør om agentstrukturen skal forbedres, eller om intern modellfinjustering skal utløses.
Skillet er teknisk viktig. Agentstrukturen former hvordan systemet søker etter en løsning, bruker verktøy og kontrollerer resultater. Intern modellfinjustering skal tilføre domeneforståelse som ingen prompt enkelt kan skrive inn i modellen. I arXiv-artikkelen skriver SIA-forfatterne at kombinasjonen av begge grep slo forbedring av agentstrukturen alene i alle de tre testede domenene.
Resultatene ser sterke ut, men de må måles nøkternt.
Den tekniske SIA-artikkelen evaluerte rammeverket på tre svært ulike oppgaver: klassifisering av tiltaler fra kinesiske juridiske tekster, optimalisering av GPU-kjerner på lavt nivå og støyfjerning i enkeltcelle-RNA-data. Utvalget gir systemet en bredere test enn en standard chatbot-benchmark, fordi oppgavene krever ulike former for presisjon, eksperimentering og målbare resultater.
På papiret er resultatene tydelige. Ifølge forfatterne kombinerte SIA forbedring av agentstrukturen med intern modellfinjustering og slo tidligere beste kjente resultat med 25,1 prosent på LawBench. GPU-kjernen kjørte 12,4 prosent raskere enn tidligere beste kjente resultat, mens støyfjerningen i RNA-data ble forbedret med 20,4 prosent. GitHub-repositoriet oppgir også 70,1 prosent Top 1-nøyaktighet på LawBench, 14 ganger hastighetsøkning for TriMul-kjernen mot basislinjen og en MSE_norm-score på 0,289 i oppgaven med enkeltcelle-RNA-sekvensering.
Påstanden om «350 ganger» er en presselinje, ikke en uavhengig konklusjon.
Hexo Labs sier i pressemeldingen at SIA øker hastigheten på veien mot superintelligens med 350 ganger. Det bør behandles med varsomhet. Selskapet knytter påstanden til OpenAIs MLE-benchmark, men det er ikke det samme som uavhengig dokumentasjon på at SIA faktisk fører AI mot superintelligens. Det offentlige materialet viser foreløpig noe mer jordnært: SIA er et sterkt eksperimentelt rammeverk for målbare utviklingsoppgaver.
OpenAI beskriver MLE-bench som en benchmark for å teste om AI-agenter kan utføre maskinlæringsarbeid: trene modeller, klargjøre data og kjøre eksperimenter. Den omfatter 75 Kaggle-konkurranser innen maskinlæring og gir agentene et langt mer praktisk mål enn vanlige spørsmål-og-svar-benchmarker.
Fra et europeisk ståsted er åpenheten det viktigste.
For europeiske utviklere og forskningsinstitusjoner ligger SIAs viktigste verdi i åpenheten. GitHub-repositoriet viser at rammeverket bruker en MIT-lisens, er skrevet i Python og kan brukes med egendefinerte oppgaver der offentlige inndata, skjulte evalueringsdata og evaluator defineres separat. Det hjelper forskere med å gjenta eksperimenter og kontrollere hva agenten faktisk endrer.
Samtidig gir intern modellfinjustering større ansvar. Når en agent kan endre adferden sin mer grunnleggende, må evalueringsrammeverket også fange opp om systemet faktisk blir generelt bedre, eller bare lærer å utnytte én bestemt måleverdi. Derfor passer SIA foreløpig best til vitenskapelige og tekniske oppgaver med klare mål, ikke til autonom beslutningstaking med åpne mål.
Teknisk oversikt.
SIA kombinerer forbedring av agentstruktur og intern modellfinjustering i én selvforbedrende sløyfe.
Systemet bruker en Meta Agent, en Task Specific Agent og en Feedback Agent.
Testene omfattet juridiske tekster, optimalisering av GPU-kjerner og støyfjerning i enkeltcelle-RNA-data.
Ifølge GitHub-repositoriet er SIA åpen kildekode, MIT-lisensiert og bygget for Python 3.11+.
Den store påstanden om «350 ganger» kommer fra Hexo Labs’ pressemelding, ikke fra en uavhengig revisjon.
SIA er kanskje ingen snarvei til superintelligens. Det rammeverket faktisk tilbyr, er mer praktisk og foreløpig mer nyttig: en måte å få AI-agenter til å vise arbeidet sitt, lære av det og møte neste test med noe mer enn en bedre pep-talk.
