Hexo Labs apre il codice di SIA, l’agente AI che continua ad addestrarsi

Un agente che migliora da solo non significa più soltanto un prompt migliore.

Finora lo sviluppo degli agenti AI ha seguito due strade principali. Nella prima, uno sviluppatore o un meta-agente migliora il sistema dall’esterno: prompt, scelta degli strumenti, logica dei nuovi tentativi e strategia di ricerca. Nella seconda, un team esegue il fine tuning del modello usando il feedback dei compiti. SIA combina questi due approcci in un unico ciclo.

Il termine chiave è fine tuning interno del modello, cioè la modifica dei parametri della rete neurale durante l’addestramento. Detto in modo più semplice, l’agente non riceve soltanto istruzioni migliori. È il modello stesso a imparare da errori ripetuti e risultati. Questo distingue SIA dagli agenti che si limitano a riscrivere un prompt o ad aggiungere un passaggio al flusso di lavoro.

Tre agenti guidano il ciclo di miglioramento.

Secondo la descrizione ufficiale su GitHub, SIA opera attraverso tre componenti principali. Il Meta Agent legge la descrizione del compito e crea il primo agente target. Il Task Specific Agent risolve il compito e registra azioni e risultati. Il Feedback Agent esamina i log, individua i punti deboli e decide se migliorare l’architettura dell’agente o attivare il fine tuning interno del modello.

La distinzione è rilevante sul piano tecnico. L’architettura dell’agente definisce come il sistema cerca una soluzione, usa gli strumenti e verifica i risultati. Il fine tuning interno del modello dovrebbe aggiungere una capacità di giudizio sul dominio che nessun prompt può semplicemente scrivere nel modello. Nel paper pubblicato su arXiv, gli autori di SIA affermano che l’uso combinato di entrambe le leve ha superato il solo miglioramento dell’architettura in tutti e tre i domini testati.

I risultati appaiono solidi, ma richiedono una misurazione prudente.

Il paper tecnico di SIA ha valutato il framework su tre compiti molto diversi: classificazione dei capi d’accusa da testi giuridici cinesi, ottimizzazione di kernel GPU di basso livello e denoising di dati RNA a singola cellula. Questa scelta offre al sistema un banco di prova più ampio rispetto a un benchmark standard per chatbot, perché le attività richiedono tipi diversi di precisione, sperimentazione e output misurabile.

Sulla carta, i risultati sono netti. Secondo gli autori, SIA ha combinato il miglioramento dell’architettura con il fine tuning interno del modello e ha superato il precedente stato dell’arte del 25,1 percento su LawBench. Il kernel GPU ha funzionato il 12,4 percento più velocemente rispetto al precedente stato dell’arte, mentre il denoising dei dati RNA è migliorato del 20,4 percento. Il repository GitHub indica anche un’accuratezza Top 1 del 70,1 percento su LawBench, un’accelerazione di 14 volte per il kernel TriMul rispetto alla baseline e un punteggio MSE_norm di 0,289 nel compito di sequenziamento RNA a singola cellula.

La dichiarazione delle “350 volte” è una formula da comunicato, non un verdetto indipendente.

Nel suo comunicato stampa, Hexo Labs sostiene che SIA acceleri di 350 volte il percorso verso la superintelligenza. È un’affermazione da trattare con cautela. L’azienda collega il dato a MLE bench di OpenAI, ma questo non equivale a una prova indipendente che SIA porti davvero l’AI verso la superintelligenza. Il materiale pubblico mostra al momento qualcosa di più concreto: SIA offre un solido framework sperimentale per attività di sviluppo misurabili.

OpenAI descrive MLE bench come un benchmark pensato per verificare se gli agenti AI siano in grado di svolgere lavoro di ingegneria del machine learning: addestrare modelli, preparare dati ed eseguire esperimenti. Include 75 competizioni Kaggle di machine learning e assegna agli agenti un obiettivo molto più pratico rispetto ai normali benchmark a domande e risposte.

Dall’Europa, la trasparenza è l’aspetto più importante.

Per sviluppatori e istituzioni di ricerca europei, il valore principale di SIA sta nell’apertura. Il repository GitHub indica che il framework usa una licenza MIT, è scritto in Python e può essere impiegato con compiti personalizzati nei quali input pubblici, dati di valutazione nascosti e valutatore sono definiti separatamente. Questo aiuta i ricercatori a ripetere gli esperimenti e a verificare che cosa l’agente modifichi davvero.

Allo stesso tempo, il fine tuning interno del modello comporta una responsabilità maggiore. Quando un agente può modificare più in profondità il proprio comportamento, il framework di valutazione deve anche rilevare se il sistema stia diventando davvero più capace in generale o se stia semplicemente imparando a sfruttare una metrica specifica. Per questo motivo, oggi SIA si adatta soprattutto a compiti scientifici e ingegneristici con misure chiare, non a processi decisionali autonomi con obiettivi aperti.

Scheda tecnica.

SIA combina il miglioramento dell’architettura dell’agente e il fine tuning interno del modello in un unico ciclo di auto-miglioramento.

Il sistema utilizza un Meta Agent, un Task Specific Agent e un Feedback Agent.

I test hanno riguardato testi giuridici, ottimizzazione di kernel GPU e denoising di dati RNA a singola cellula.

Secondo il repository GitHub, SIA è open source, ha licenza MIT ed è sviluppato per Python 3.11+.

La grande affermazione delle “350 volte” arriva dal comunicato stampa di Hexo Labs, non da un audit indipendente.

SIA potrebbe non essere una scorciatoia verso la superintelligenza. Ciò che offre è più pratico e, per ora, più utile: un modo per far sì che gli agenti AI mostrino il proprio lavoro, imparino da esso e affrontino la prova successiva con qualcosa in più di un incoraggiamento formulato meglio.