Hexo Labs atvėrė SIA išeities kodą ir leidžia DI agentui mokytis savarankiškai

Savarankiškai tobulėjantis agentas nebereiškia vien geresnės užklausos.

DI agentų kūrimas iki šiol judėjo dviem pagrindinėmis kryptimis. Vienu atveju kūrėjas arba metaagentas tobulina sistemą iš išorės: užklausas, įrankių pasirinkimą, pakartotinių bandymų logiką ir paieškos strategiją. Kitu atveju komanda papildomai moko patį modelį, remdamasi užduočių grįžtamuoju ryšiu. SIA šiuos du metodus sujungia į vieną ciklą.

Svarbiausias terminas čia yra vidinis modelio papildomas mokymas. Tai reiškia neuroninio tinklo parametrų keitimą mokymo metu. Paprasčiau tariant, agentas gauna ne tik geresnes instrukcijas. Pats modelis mokosi iš pasikartojančių klaidų ir rezultatų. Tai SIA atskiria nuo agentų, kurie tik perrašo užklausą arba prie darbo eigos prideda dar vieną žingsnį.

Tobulėjimo ciklą valdo trys agentai.

Remiantis oficialiu GitHub aprašymu, SIA veikia per tris pagrindinius komponentus. Meta Agent perskaito užduoties aprašą ir sukuria pirmąjį tikslinį agentą. Task Specific Agent sprendžia užduotį ir fiksuoja savo veiksmus bei rezultatus. Feedback Agent peržiūri žurnalus, nustato silpnąsias vietas ir nusprendžia, ar tobulinti agento karkasą, ar paleisti vidinį modelio papildomą mokymą.

Techniniu požiūriu ši skirtis svarbi. Agento karkasas formuoja tai, kaip sistema ieško sprendimo, naudoja įrankius ir tikrina rezultatus. Vidinis modelio papildomas mokymas turėtų suteikti srities vertinimo gebėjimų, kurių paprasta užklausa negali tiesiog įrašyti į modelį. arXiv publikacijoje SIA autoriai teigia, kad abiejų svertų naudojimas kartu pranoko vien karkaso tobulinimą visose trijose išbandytose srityse.

Rezultatai atrodo stiprūs, bet juos reikia vertinti santūriai.

SIA techniniame straipsnyje sistema įvertinta pagal tris labai skirtingas užduotis: kaltinimų klasifikavimą iš Kinijos teisinių tekstų, žemo lygio GPU branduolio optimizavimą ir vienaląsčių RNR duomenų triukšmo mažinimą. Toks pasirinkimas sistemai suteikia platesnį bandymą nei įprastas pokalbių roboto etalonas, nes užduotims reikia skirtingo tikslumo, eksperimentavimo ir pamatuojamo rezultato.

Popieriuje rezultatai ryškūs. Autorių teigimu, SIA sujungė karkaso tobulinimą su vidiniu modelio papildomu mokymu ir LawBench ankstesnį geriausią lygį aplenkė 25,1 proc. GPU branduolys veikė 12,4 proc. greičiau nei ankstesnis geriausias rezultatas, o RNR duomenų triukšmo mažinimas pagerėjo 20,4 proc. GitHub saugykloje taip pat nurodomas 70,1 proc. Top 1 tikslumas LawBench teste, 14 kartų didesnė TriMul branduolio sparta, palyginti su bazine versija, ir 0,289 MSE_norm rodiklis vienaląsčių RNR sekoskaitos užduotyje.

Teiginys apie „350 kartų“ yra pranešimo spaudai formuluotė, o ne nepriklausoma išvada.

Hexo Labs savo pranešime spaudai teigia, kad SIA 350 kartų paspartina kelią superintelekto link. Į tai reikėtų žiūrėti atsargiai. Bendrovė šį teiginį sieja su OpenAI MLE bench, tačiau tai nėra tas pats, kas nepriklausomas įrodymas, kad SIA iš tiesų veda DI superintelekto link. Viešai prieinama medžiaga kol kas rodo labiau apčiuopiamą dalyką: SIA siūlo stiprią eksperimentinę sistemą pamatuojamoms kūrimo užduotims.

OpenAI MLE bench apibūdina kaip etaloną, skirtą tikrinti, ar DI agentai gali atlikti mašininio mokymosi inžinerijos darbus: mokyti modelius, rengti duomenis ir vykdyti eksperimentus. Jį sudaro 75 Kaggle mašininio mokymosi konkursai, todėl agentams jis pateikia gerokai praktiškesnį tikslą nei įprasti klausimų ir atsakymų etalonai.

Europoje svarbiausia dalis yra skaidrumas.

Europos kūrėjams ir tyrimų institucijoms didžiausia SIA vertė yra atvirumas. GitHub saugykla rodo, kad sistema naudoja MIT licenciją, parašyta Python kalba ir gali būti taikoma individualioms užduotims, kai vieši įvesties duomenys, paslėpti vertinimo duomenys ir vertintojas apibrėžiami atskirai. Tai padeda tyrėjams kartoti eksperimentus ir tikrinti, ką agentas iš tikrųjų pakeičia.

Kartu vidinis modelio papildomas mokymas reiškia didesnę atsakomybę. Kai agentas gali giliau keisti savo elgseną, vertinimo sistema taip pat turi užfiksuoti, ar sistema apskritai gerėja, ar tik mokosi išnaudoti vieną konkretų rodiklį. Dėl šios priežasties SIA šiuo metu geriausiai tinka mokslinėms ir inžinerinėms užduotims su aiškiais matavimo kriterijais, o ne autonominiam sprendimų priėmimui su atvirais tikslais.

Techninis vaizdas trumpai.

SIA viename savarankiško tobulėjimo cikle sujungia agento karkaso tobulinimą ir vidinį modelio papildomą mokymą.

Sistema naudoja Meta Agent, Task Specific Agent ir Feedback Agent.

Bandymuose nagrinėti teisiniai tekstai, GPU branduolio optimizavimas ir vienaląsčių RNR duomenų triukšmo mažinimas.

GitHub saugyklos duomenimis, SIA yra atvirojo kodo, naudoja MIT licenciją ir sukurta Python 3.11+ aplinkai.

Didelis teiginys apie „350 kartų“ pateiktas Hexo Labs pranešime spaudai, o ne nepriklausomame audite.

SIA gali ir nebūti trumpesnis kelias į superintelektą. Tačiau ji siūlo praktiškesnį ir kol kas naudingesnį dalyką: būdą priversti DI agentus parodyti savo darbą, iš jo mokytis ir į kitą bandymą ateiti turint daugiau nei tik geriau suformuluotą padrąsinimą.