Hexo Labs öppnar källkoden till SIA, en AI-agent som tränar sig själv vidare
Hexo Labs har presenterat SIA, Self Improving Agent, ett AI-agentramverk med öppen källkod. Det handlar inte bara om att putsa prompter och arbetsflöden. Kärnpåståendet är mer långtgående: agenten analyserar sina egna försök, ändrar sina arbetsmetoder och startar vid behov intern finjustering av modellen för att klara nästa cykel bättre.
En självförbättrande agent betyder inte längre bara en bättre prompt.
Utvecklingen av AI-agenter har hittills följt två huvudspår. I det ena förbättrar en utvecklare eller meta-agent systemet utifrån: prompter, val av verktyg, logik för nya försök och sökstrategi. I det andra finjusterar ett team själva modellen med hjälp av återkoppling från uppgifter. SIA kombinerar de två metoderna i en och samma loop.
Nyckelbegreppet här är intern modellfinjustering. Det innebär att neuronnätets parametrar ändras under träning. Enklare uttryckt får agenten inte bara bättre instruktioner. Själva modellen lär av upprepade misstag och resultat. Det skiljer SIA från agenter som enbart skriver om en prompt eller lägger till ytterligare ett steg i arbetsflödet.
Tre agenter driver förbättringsloopen.
Enligt den officiella beskrivningen på GitHub arbetar SIA genom tre huvudkomponenter. Meta Agent läser uppgiftsbeskrivningen och skapar den första målagenten. Task Specific Agent löser uppgiften och loggar sina åtgärder och resultat. Feedback Agent granskar loggarna, identifierar svagheter och avgör om agentskelettet ska förbättras eller om intern modellfinjustering ska startas.
Den skillnaden är tekniskt viktig. Agentskelettet formar hur systemet söker efter en lösning, använder verktyg och kontrollerar resultat. Intern modellfinjustering ska tillföra domänomdöme som ingen prompt enkelt kan skriva in i modellen. I arXiv-artikeln skriver SIA:s författare att kombinationen av båda reglagen slog enbart förbättring av skelettet i alla tre testade domäner.
Resultaten ser starka ut, men kräver nykter mätning.
Den tekniska SIA-artikeln utvärderade ramverket på tre mycket olika uppgifter: klassificering av åtalspunkter från kinesiska juridiska texter, optimering av GPU-kärnor på låg nivå och brusreducering av RNA-data från enskilda celler. Urvalet ger systemet ett bredare test än ett vanligt chatbotriktmärke, eftersom uppgifterna kräver olika typer av precision, experimenterande och mätbara resultat.
På papperet är resultaten tydliga. Enligt författarna kombinerade SIA förbättring av agentskelettet med intern modellfinjustering och slog tidigare state of the art med 25,1 procent på LawBench. GPU-kärnan kördes 12,4 procent snabbare än tidigare state of the art, medan brusreduceringen av RNA-data förbättrades med 20,4 procent. GitHub-arkivet anger också 70,1 procents Top 1-träffsäkerhet på LawBench, en 14 gånger högre hastighet för TriMul-kärnan jämfört med baslinjen och ett MSE_norm-resultat på 0,289 i uppgiften för RNA-sekvensering av enskilda celler.
Påståendet om ”350 gånger” är en pressformulering, inte ett oberoende utlåtande.
Hexo Labs säger i sitt pressmeddelande att SIA snabbar upp vägen mot superintelligens med 350 gånger. Det bör tolkas med försiktighet. Bolaget kopplar påståendet till OpenAI:s MLE bench, men det är inte samma sak som ett oberoende bevis för att SIA faktiskt för AI mot superintelligens. Det offentliga materialet visar för närvarande något mer jordnära: SIA erbjuder ett starkt experimentellt ramverk för mätbara utvecklingsuppgifter.
OpenAI beskriver MLE bench som ett riktmärke för att testa om AI-agenter kan utföra maskininlärningstekniskt arbete: träna modeller, förbereda data och köra experiment. Det omfattar 75 Kaggle-tävlingar inom maskininlärning och ger agenter ett betydligt mer praktiskt mål än vanliga riktmärken för frågor och svar.
Ur europeiskt perspektiv är transparensen den viktigaste delen.
För europeiska utvecklare och forskningsinstitutioner ligger SIA:s största värde i öppenheten. GitHub-arkivet visar att ramverket använder en MIT-licens, är skrivet i Python och kan användas med egna uppgifter där offentliga indata, dolda utvärderingsdata och utvärderaren definieras separat. Det hjälper forskare att upprepa experiment och granska vad agenten faktiskt ändrar.
Samtidigt innebär intern modellfinjustering större ansvar. När en agent kan förändra sitt beteende på djupare nivå måste utvärderingsramverket också fånga om systemet blir generellt bättre eller bara lär sig att utnyttja ett enskilt mått. Därför passar SIA i nuläget bäst för vetenskapliga och tekniska uppgifter med tydliga mått, inte för autonomt beslutsfattande med öppna mål.
Teknisk överblick.
SIA kombinerar förbättring av agentskelett och intern modellfinjustering i en självförbättrande loop.
Systemet använder Meta Agent, Task Specific Agent och Feedback Agent.
Testerna omfattade juridiska texter, optimering av GPU-kärnor och brusreducering av RNA-data från enskilda celler.
Enligt GitHub-arkivet har SIA öppen källkod, MIT-licens och är byggt för Python 3.11+.
Det stora påståendet om ”350 gånger” kommer från Hexo Labs pressmeddelande, inte från en oberoende granskning.
SIA behöver inte vara en genväg till superintelligens. Det ramverket faktiskt erbjuder är mer praktiskt och för tillfället mer användbart: ett sätt att få AI-agenter att visa sitt arbete, lära av det och möta nästa test med mer än bara en bättre pepptext.
