Hexo Labs, kendini geliştiren yapay zeka ajanı SIA’nın kaynak kodunu açtı

Kendini geliştiren ajan artık yalnızca daha iyi bir komut anlamına gelmiyor

Yapay zeka ajanlarının geliştirilmesi bugüne kadar iki ana yoldan ilerledi. İlkinde bir geliştirici ya da meta ajan, sistemi dışarıdan iyileştiriyor: komutlar, araç seçimleri, yeniden deneme mantığı ve arama stratejisi. Diğerinde ise ekip, görev geri bildirimlerini kullanarak modelin kendisine ince ayar yapıyor. SIA bu iki yaklaşımı tek bir döngüde birleştiriyor.

Buradaki kilit kavram olan dahili model ince ayarı, eğitim sırasında sinir ağının parametrelerinin değiştirilmesi anlamına geliyor. Daha basit ifadeyle ajan yalnızca daha iyi talimatlar almıyor. Modelin kendisi, tekrarlanan hatalardan ve sonuçlardan öğreniyor. Bu yönüyle SIA, yalnızca komutu yeniden yazan ya da iş akışına yeni bir adım ekleyen ajanlardan ayrılıyor.

İyileştirme döngüsünü üç ajan yürütüyor

Resmi GitHub açıklamasına göre SIA üç ana bileşenle çalışıyor. Meta Agent görev tanımını okuyor ve ilk hedef ajanı oluşturuyor. Task Specific Agent görevi çözüyor, eylemlerini ve sonuçlarını kaydediyor. Feedback Agent ise kayıtları inceliyor, zayıf noktaları belirliyor ve ajan iskeletinin mi iyileştirileceğine yoksa dahili model ince ayarının mı başlatılacağına karar veriyor.

Bu ayrım teknik açıdan önemli. Ajan iskeleti, sistemin çözüm arama biçimini, araçları nasıl kullandığını ve sonuçları nasıl kontrol ettiğini şekillendiriyor. Dahili model ince ayarının ise hiçbir komutun modele doğrudan yazamayacağı alan muhakemesini eklemesi bekleniyor. arXiv makalesinde SIA’nın yazarları, iki aracı birlikte kullanmanın test edilen üç alanın tamamında yalnızca iskelet iyileştirmesinden daha iyi sonuç verdiğini belirtiyor.

Sonuçlar güçlü görünüyor, ancak temkinli ölçüm gerekiyor

SIA teknik makalesi, çerçeveyi birbirinden oldukça farklı üç görevde değerlendirdi: Çin hukuk metinlerinden suçlama sınıflandırması, düşük seviyeli GPU çekirdeği optimizasyonu ve tek hücreli RNA verisinde gürültü giderme. Bu seçim, sisteme standart bir sohbet botu kıyaslamasından daha geniş bir test alanı sağlıyor. Çünkü görevler farklı türde hassasiyet, deney yapma ve ölçülebilir çıktı gerektiriyor.

Kağıt üzerinde sonuçlar dikkat çekici. Yazarlara göre SIA, iskelet iyileştirmesini dahili model ince ayarıyla birleştirerek LawBench’te önceki en iyi sonucu yüzde 25,1 geride bıraktı. GPU çekirdeği önceki en iyi sonuca göre yüzde 12,4 daha hızlı çalıştı, RNA verisinde gürültü giderme ise yüzde 20,4 iyileşti. GitHub deposunda ayrıca LawBench için yüzde 70,1 Top 1 doğruluk, TriMul çekirdeği için baz çizgiye karşı 14 kat hızlanma ve tek hücreli RNA dizileme görevinde 0,289 MSE_norm skoru yer alıyor.

“350 kat” iddiası bir basın açıklaması ifadesi, bağımsız hüküm değil

Hexo Labs, basın açıklamasında SIA’nın süper zekaya giden yolu 350 kat hızlandırdığını söylüyor. Bu iddiaya temkinli yaklaşmak gerekiyor. Şirket bu iddiayı OpenAI’ın MLE bench çalışmasına bağlıyor, ancak bu SIA’nın yapay zekayı gerçekten süper zekaya yaklaştırdığına dair bağımsız kanıtla aynı şey değil. Mevcut kamuya açık materyal daha ayakları yere basan bir tablo gösteriyor: SIA, ölçülebilir geliştirme görevleri için güçlü bir deneysel çerçeve sunuyor.

OpenAI, MLE bench’i yapay zeka ajanlarının makine öğrenimi mühendisliği işlerini yapıp yapamadığını test eden bir kıyaslama olarak tanımlıyor: model eğitme, veri hazırlama ve deney yürütme. Bu kıyaslama 75 Kaggle makine öğrenimi yarışması içeriyor ve ajanlara sıradan soru cevap kıyaslamalarından çok daha pratik bir hedef veriyor.

Avrupa açısından en önemli başlık şeffaflık

Avrupalı geliştiriciler ve araştırma kurumları için SIA’nın ana değeri açıklığında yatıyor. GitHub deposu, çerçevenin MIT lisansı kullandığını, Python ile yazıldığını ve kamuya açık girdiler, gizli değerlendirme verileri ile değerlendiricinin ayrı ayrı tanımlandığı özel görevlerle kullanılabildiğini gösteriyor. Bu, araştırmacıların deneyleri tekrarlamasına ve ajanın gerçekte neyi değiştirdiğini kontrol etmesine yardımcı oluyor.

Bununla birlikte dahili model ince ayarı daha büyük sorumluluk getiriyor. Bir ajan davranışını daha derinden değiştirebildiğinde, değerlendirme çerçevesinin de sistemin genel olarak mı iyileştiğini, yoksa yalnızca belirli bir metriği istismar etmeyi mi öğrendiğini yakalaması gerekiyor. Bu nedenle SIA şu aşamada açık uçlu hedeflere sahip otonom karar verme alanlarından çok, ölçütleri net bilimsel ve mühendislik görevlerine daha uygun görünüyor.

Teknik özet

SIA, ajan iskeleti iyileştirmesini ve dahili model ince ayarını tek bir kendini geliştirme döngüsünde birleştiriyor.

Sistem Meta Agent, Task Specific Agent ve Feedback Agent kullanıyor.

Testler hukuk metinlerini, GPU çekirdeği optimizasyonunu ve tek hücreli RNA verisinde gürültü gidermeyi kapsadı.

GitHub deposuna göre SIA açık kaynaklı, MIT lisanslı ve Python 3.11+ için geliştirilmiş durumda.

Büyük “350 kat” iddiası Hexo Labs’in basın açıklamasından geliyor, bağımsız bir denetimden değil.

SIA süper zekaya giden kestirme yol olmayabilir. Ancak sunduğu şey daha pratik ve şimdilik daha kullanışlı: yapay zeka ajanlarının ne yaptığını göstermesini, bundan öğrenmesini ve bir sonraki teste yalnızca daha iyi bir motivasyon konuşmasından fazlasıyla çıkmasını sağlayan bir yol.