Hexo Labs åbner SIA-kildekode og lader en AI-agent lære videre på egen hånd
Hexo Labs har præsenteret SIA, eller Self Improving Agent, som et open source-framework til AI-agenter. Det nøjes ikke med at finpudse prompts og workflows. Den centrale påstand er mere ambitiøs: Agenten analyserer sine egne forsøg, ændrer sine arbejdsmetoder og starter ved behov intern finjustering af modellen, så den kan klare næste cyklus bedre.
En selvforbedrende agent betyder ikke længere blot en bedre prompt
Udviklingen af AI-agenter har hidtil fulgt to hovedspor. I det ene forbedrer en udvikler eller meta-agent systemet udefra: prompts, valg af værktøjer, retry-logik og søgestrategi. I det andet finjusterer et team selve modellen ved hjælp af feedback fra opgaver. SIA samler de to tilgange i én løkke.
Nøglebegrebet er intern modelfinjustering, som betyder, at det neurale netværks parametre ændres under træning. Sagt mere enkelt får agenten ikke kun bedre instruktioner. Selve modellen lærer af gentagne fejl og resultater. Det adskiller SIA fra agenter, der blot omskriver en prompt eller tilføjer endnu et trin til workflowet.
Tre agenter driver forbedringsløkken
Ifølge den officielle beskrivelse på GitHub arbejder SIA gennem tre hovedkomponenter. Meta Agent læser opgavebeskrivelsen og opretter den første målagent. Task Specific Agent løser opgaven og registrerer sine handlinger og resultater. Feedback Agent gennemgår logfilerne, finder svagheder og afgør, om agentens scaffold skal forbedres, eller om intern modelfinjustering skal sættes i gang.
Den skelnen er teknisk vigtig. Agentens scaffold former, hvordan systemet søger efter en løsning, bruger værktøjer og kontrollerer resultater. Intern modelfinjustering skal tilføre domænevurdering, som ingen prompt uden videre kan skrive ind i modellen. I arXiv-artiklen skriver SIA's forfattere, at brugen af begge greb samtidig slog forbedringer kun af scaffoldet i alle tre testede domæner.
Resultaterne ser stærke ud, men kræver nøgtern måling
Den tekniske artikel om SIA evaluerede frameworket på tre meget forskellige opgaver: klassificering af anklagepunkter fra kinesiske juridiske tekster, optimering af low-level GPU-kerner og støjreduktion af enkeltcelle-RNA-data. Det giver systemet en bredere test end en standardbenchmark for chatbots, fordi opgaverne kræver forskellige former for præcision, eksperimenter og målbare output.
På papiret er resultaterne markante. Ifølge forfatterne kombinerede SIA scaffold-forbedring med intern modelfinjustering og slog den tidligere state of the art med 25,1 procent på LawBench. GPU-kernen kørte 12,4 procent hurtigere end den tidligere state of the art, mens støjreduktion af RNA-data blev forbedret med 20,4 procent. GitHub-repositoriet angiver også 70,1 procent Top 1-nøjagtighed på LawBench, en hastighedsforøgelse på 14 gange for TriMul-kernen i forhold til baseline og en MSE_norm-score på 0,289 i opgaven med enkeltcelle-RNA-sekventering.
Påstanden om “350 gange” er en presseformulering, ikke en uafhængig vurdering
Hexo Labs skriver i sin pressemeddelelse, at SIA gør vejen mod superintelligens 350 gange hurtigere. Det bør læses med forbehold. Selskabet knytter påstanden til OpenAI's MLE-benchmark, men det er ikke det samme som et uafhængigt bevis for, at SIA faktisk bringer AI tættere på superintelligens. Det offentlige materiale viser foreløbig noget mere jordnært: SIA tilbyder et stærkt eksperimentelt framework til målbare udviklingsopgaver.
OpenAI beskriver MLE-bench som en benchmark til at teste, om AI-agenter kan udføre machine learning engineering: træne modeller, forberede data og gennemføre eksperimenter. Den omfatter 75 Kaggle-konkurrencer i machine learning og giver agenter et langt mere praktisk mål end almindelige spørgsmål og svar-benchmarks.
Set fra Europa er gennemsigtighed den vigtigste del
For europæiske udviklere og forskningsinstitutioner ligger SIA's primære værdi i åbenheden. GitHub-repositoriet viser, at frameworket bruger en MIT-licens, er skrevet i Python og kan anvendes med specialopgaver, hvor offentlige input, skjulte evalueringsdata og evaluator defineres hver for sig. Det hjælper forskere med at gentage eksperimenter og kontrollere, hvad agenten faktisk ændrer.
Samtidig giver intern modelfinjustering et større ansvar. Når en agent kan ændre sin adfærd mere grundlæggende, skal evalueringsrammen også kunne opfange, om systemet bliver generelt bedre eller blot lærer at udnytte én bestemt målemetode. Derfor passer SIA foreløbig bedst til videnskabelige og tekniske opgaver med klare mål, ikke til autonom beslutningstagning med åbne målsætninger.
Teknisk overblik
SIA kombinerer forbedring af agentens scaffold og intern modelfinjustering i én selvforbedringsløkke.
Systemet bruger en Meta Agent, en Task Specific Agent og en Feedback Agent.
Testene omfattede juridiske tekster, optimering af GPU-kerner og støjreduktion af enkeltcelle-RNA-data.
Ifølge GitHub-repositoriet er SIA open source, MIT-licenseret og bygget til Python 3.11+.
Den store påstand om “350 gange” kommer fra Hexo Labs' pressemeddelelse, ikke fra en uafhængig audit.
SIA er måske ikke en genvej til superintelligens. Det, frameworket tilbyder, er mere praktisk og foreløbig mere brugbart: en måde at få AI-agenter til at vise deres arbejde, lære af det og møde næste test med mere end blot en bedre peptalk.
