Hexo Labs opent broncode van SIA, een AI-agent die zichzelf blijft trainen

Een zelfverbeterende agent betekent niet langer alleen een betere prompt

De ontwikkeling van AI-agents heeft tot nu toe vooral twee routes gevolgd. In de ene verbetert een ontwikkelaar of meta-agent het systeem van buitenaf: prompts, toolkeuzes, retry-logica en zoekstrategie. In de andere route finetunet een team het model zelf met taakfeedback. SIA brengt beide benaderingen samen in één lus.

De kernterm is hier interne model-finetuning. Daarmee veranderen tijdens training de parameters van het neurale netwerk. Simpeler gezegd krijgt de agent niet alleen betere instructies. Het model zelf leert van herhaalde fouten en resultaten. Dat onderscheidt SIA van agents die alleen een prompt herschrijven of een extra stap aan de workflow toevoegen.

Drie agents sturen de verbeterlus

Volgens de officiële GitHub-beschrijving werkt SIA met drie hoofdcomponenten. De Meta Agent leest de taakomschrijving en maakt de eerste doelagent. De Task Specific Agent lost de taak op en legt zijn acties en resultaten vast. De Feedback Agent beoordeelt de logs, wijst zwakke plekken aan en beslist of het agentscaffold moet worden verbeterd of dat interne model-finetuning nodig is.

Dat onderscheid is technisch belangrijk. Het agentscaffold bepaalt hoe het systeem naar een oplossing zoekt, tools gebruikt en resultaten controleert. Interne model-finetuning moet domeinoordeel toevoegen dat niet simpelweg via een prompt in het model is te schrijven. In het arXiv-paper stellen de auteurs van SIA dat het combineren van beide hefbomen in alle drie geteste domeinen beter presteerde dan alleen verbetering van het scaffold.

De resultaten ogen sterk, maar vragen om nuchtere meting

Het technische paper over SIA evalueerde het framework op drie zeer verschillende taken: classificatie van aanklachten uit Chinese juridische teksten, optimalisatie van low-level GPU-kernels en denoising van single-cell-RNA-data. Die keuze levert een bredere test op dan een standaard chatbotbenchmark, omdat de taken verschillende vormen van precisie, experimenteren en meetbare output vereisen.

Op papier zijn de resultaten scherp. Volgens de auteurs combineerde SIA scaffoldverbetering met interne model-finetuning en versloeg het de vorige state-of-the-art op LawBench met 25,1 procent. De GPU-kernel draaide 12,4 procent sneller dan de vorige state-of-the-art, terwijl denoising van RNA-data met 20,4 procent verbeterde. De GitHub-repository noemt ook een Top 1-accuracy van 70,1 procent op LawBench, een versnelling met een factor 14 voor de TriMul-kernel ten opzichte van de baseline en een MSE_norm-score van 0,289 in de taak voor single-cell-RNA-sequencing.

De claim van '350 keer' is een persregel, geen onafhankelijk oordeel

Hexo Labs stelt in zijn persbericht dat SIA de weg naar superintelligentie 350 keer versnelt. Daar is voorzichtigheid bij nodig. Het bedrijf koppelt die claim aan OpenAI’s MLE-bench, maar dat is niet hetzelfde als onafhankelijk bewijs dat SIA AI daadwerkelijk richting superintelligentie brengt. Het publieke materiaal laat op dit moment iets concreters zien: SIA biedt een sterk experimenteel framework voor meetbare ontwikkeltaken.

OpenAI omschrijft MLE-bench als een benchmark om te testen of AI-agents machine-learning-engineeringwerk kunnen uitvoeren: modellen trainen, data voorbereiden en experimenten draaien. De benchmark bevat 75 Kaggle-competities voor machine learning en geeft agents een veel praktischer doel dan gewone vraag-en-antwoordbenchmarks.

Voor Europa is transparantie het belangrijkst

Voor Europese ontwikkelaars en onderzoeksinstellingen ligt de belangrijkste waarde van SIA in de openheid. De GitHub-repository laat zien dat het framework een MIT-licentie gebruikt, in Python is geschreven en kan worden ingezet met maatwerktaken waarbij publieke inputs, verborgen evaluatiedata en de evaluator apart worden gedefinieerd. Dat helpt onderzoekers experimenten te herhalen en te controleren wat de agent daadwerkelijk verandert.

Tegelijk brengt interne model-finetuning meer verantwoordelijkheid mee. Als een agent zijn gedrag dieper kan aanpassen, moet het evaluatiekader ook kunnen vaststellen of het systeem algemeen beter wordt of vooral leert één specifieke metric uit te buiten. Daarom past SIA op dit moment het best bij wetenschappelijke en technische taken met duidelijke maatstaven, niet bij autonome besluitvorming met open doelen.

Technisch overzicht

SIA combineert verbetering van het agentscaffold en interne model-finetuning in één zelfverbeterende lus.

Het systeem gebruikt een Meta Agent, een Task Specific Agent en een Feedback Agent.

De tests besloegen juridische teksten, optimalisatie van GPU-kernels en denoising van single-cell-RNA-data.

Volgens de GitHub-repository is SIA open source, heeft het een MIT-licentie en is het gebouwd voor Python 3.11+.

De grote claim van '350 keer' komt uit het persbericht van Hexo Labs, niet uit een onafhankelijke audit.

SIA is mogelijk geen kortere route naar superintelligentie. Wat het wel biedt, is praktischer en voorlopig nuttiger: een manier om AI-agents hun werk te laten tonen, ervan te laten leren en de volgende test in te laten gaan met meer dan alleen een betere peptalk.