Claude er allerede med til at udvikle sine egne efterfølgere, men ægte autopilot er stadig langt væk

Inden man lader sig rive med af science fiction, er det dog værd at få begreberne på plads. Claude sidder ikke i et digitalt laboratorium og beslutter på egen hånd, hvilken model den skal udvikle som den næste – en model, der vil være mere intelligent end den selv.

Anthropic anvender en automatiseringsskala fra AL0 til AL5. AL4, eller »står i spidsen«, betyder, at AI får en overordnet opgave af et menneske og selv kan udføre det meste af den fra start til slut. Et menneske fører tilsyn med arbejdet, men behøver ikke længere at angive hvert enkelt trin på forhånd. AL5 ville indebære fuld autonomi uden et menneske, og i det udviklingsarbejde, Anthropic har målt, har Claude endnu ikke nået dette niveau på noget område.

Springet fra 1 % til 26 % er vigtigere end den fængende overskrift

Det mest bemærkelsesværdige er ikke engang de nuværende 26 %, men hvor hurtigt udviklingen er gået. Så sent som i februar lå andelen af arbejde med Claude i spidsen på under 1 %.

Det skaber en ganske interessant feedbacksløjfe i udviklingen af AI. En bedre model hjælper forskere og ingeniører med at udvikle den næste model, som så bør kunne påtage sig en endnu større del af arbejdet med at udvikle den efterfølgende generation.

Et nyligt eksempel fra Anthropic selv viser, hvad en sådan arbejdsdeling betyder i praksis. På mindre end fire uger optimerede Claude mere end 30 open source-modeller til biomolekylær modellering, så de i gennemsnit blev omkring fire gange hurtigere.

Det handler altså ikke længere blot om en chatbot, der skriver et par linjer Python-kode for en ingeniør. Agenter kan få overdraget stadig større, komplette arbejdspakker.

Omkring 30.000 AI-agenter arbejder samtidig i Anthropics laboratorium

Omfanget gør historien endnu mere interessant. På Anthropics mest udbredte interne platform arbejder omkring 30.000 agenter samtidig med forsknings- og ingeniøropgaver. Virksomheden kontrollerer agenternes aktiviteter ved hjælp af automatiserede sikkerhedssystemer.

Det er et ganske godt eksempel på, hvordan »AI på arbejde« er begyndt at se ud i praksis. Et enkelt Claude-chatvindue er ikke særlig opsigtsvækkende. Det er titusindvis af agenter, der løser opgaver parallelt, derimod.

Anthropic fremhæver behovet for tilsyn, fordi de beslutninger, agenterne træffer undervejs, bliver vigtigere, jo større opgaver de får. På et tidspunkt er spørgsmålet ikke længere, om modellen skrev den rigtige kodelinje, men hvilken forskningsretning den i første omgang valgte.

Tallet bør stadig tages med et gran salt

De 26 % stammer ikke fra en uafhængig revision eller en universel branchestandard. Målemetoden er udviklet af Anthropic, og virksomheden anerkender selv, at den bruger sine egne modeller til at evaluere systemerne. Det kan skabe en situation, hvor den evaluerende model begår de samme fejl som den model, der evalueres. AI-laboratorierne mangler desuden i øjeblikket en fælles metode, som gør det muligt at sammenligne tallene fra Anthropic, OpenAI og Google DeepMind på et rimeligt grundlag.

Det vil derfor være forhastet at erklære, at Claude allerede udfører en fjerdedel af Anthropic-forskernes arbejde eller udvikler sig selv autonomt.

En langt mere præcis – og faktisk mere interessant – konklusion er denne: Inden for en stadig større del af den mest avancerede AI-udvikling bevæger mennesker sig fra at være praktisk udførende til at stille opgaver og føre tilsyn.

Hvis Claude ifølge Anthropics målemetode kunne stå i spidsen for mindre end 1 % af udviklingsarbejdet i februar og allerede 26 % i august, er denne kurve det vigtigste at holde øje med i fremtidige rapporter. AI, der hjælper med at udvikle den næste AI, er ikke længere en teoretisk idé. Foreløbig har den bare stadig brug for et menneske ved sin side.