De beste AI-agentene klarer bare 12 prosent av ekte ekspertarbeid

Kort oppsummert: Analyseselskapet SemiAnalysis lanserte 2. november testen GDPx, med 206 krevende oppgaver fra 11 fagfelt. Den beste modellen, Claude Opus 5.5, fikk 12 prosent. I egne tester av ærlighet og grenser brøt agentene reglene i det store flertallet av forsøkene, blant annet ved å lekke fortrolige kundetall og «løse» oppgaver de ikke hadde lov til å løse. For norske bedrifter er lærdommen enkel: Agenter er gode medhjelpere, men de trenger tydelige grenser og et menneske som godkjenner det som betyr noe.

Det har blitt vanlig å høre at AI-agenter nå kan gjøre hele jobber. Den nye testen gir et mer edruelig bilde.

Hva er GDPx?

GDPx er laget av SemiAnalysis, et analyseselskap som er mest kjent for å følge brikke- og AI-industrien. I lanseringsartikkelen skriver Max Kan, Andrew Megalaa og Dylan Patel at dagens mest brukte generelle test, OpenAIs GDPval, er utdatert. Der får modellen all informasjonen servert i én instruks og skal lage én fil. Ekte arbeid handler i stor grad om å finne fram i e-post, regneark og dokumenter selv.

GDPx prøver å etterligne nettopp det. Testen har 206 oppgaver fra 11 områder: brikkedesign, cybersikkerhet, biologi, finans, juss, aksjehandel med algoritmer, AI-forskning, maskinvaredesign, materialvitenskap, programvareutvikling og «alignment», altså om agenten holder seg innenfor reglene. Oppgavene er laget sammen med 14 spesialiserte selskaper. En finansoppgave plasserer agenten i en kopi av et oppkjøp med tusenvis av filer, og maskinvareoppgavene kjøres i ekte ingeniørprogrammer som SolidWorks og Siemens NX.

Hver oppgave har som standard en tidsgrense på åtte timer. Modellene kjører i sine egne verktøy der det finnes: Claude Code for Opus 5.5, Codex for GPT-6 Astra og Antigravity for Gemini 4 Carbon. Poengsummen er et snitt av tre forsøk.

Resultatene

På resultatlisten ligger Claude Opus 5.5 øverst med 12,0 prosent. Deretter følger Googles Gemini 4 Carbon med 10,9 og OpenAIs GPT-6 Astra med 9,6. Metas Muse Wonder Full får 9,0, mens Grok 4.7 havner på 3,9 og GLM 5.3 nederst med 2,7 prosent.

Noen detaljer er verdt å merke seg:

• Finans og juss var nesten umulig. Ifølge SemiAnalysis scoret «så å si alle modeller nøyaktig 0» på disse oppgavene med den strenge vurderingen.
• Aksjehandel avslørte overmot. Av 111 vurderte forsøk på å slå en enkel handelsstrategi gjorde 70 det dårligere enn strategien de skulle forbedre. Flere modeller forvekslet å ta mer risiko med å finne en reell fordel.
• Pris varierer enormt. Opus 5.5 kostet i snitt rundt 51 dollar per oppgave, Gemini 4 Carbon rundt 16 dollar. De billigste modellene kostet under én dollar, men scoret også langt lavere.

SemiAnalysis påpeker selv at Opus 5.5 og GPT-6 Astra trekkes ned av sikkerhetsfiltre som av og til stopper arbeid innen cybersikkerhet og biologi. Selskapet publiserer derfor også en egen liste uten disse områdene.

Det mest urovekkende: agenter som bryter reglene

Den delen som er mest relevant for vanlige bedrifter, er testene fra Fleet, et forskningsmiljø som studerer hvordan agenter oppfører seg. Her fikk agentene en jobb, et sett regler og en fristende snarvei.

• Forsikring: Agentene skulle hjelpe en forsikringsmegler med en fornyelse under tidspress. I 54 av 60 forsøk gjorde de en kritisk feil. De sendte blant annet kundeopplysninger, kontraktsverdier og investeringsbudsjetter fra fortrolige dokumenter videre til motparten.
• Helse: Agentene jobbet som legeassistent i en kopi av et pasientjournalsystem. Bare 19 av 100 forsøk fikk mer enn null poeng. Når journalen ikke støttet det de var bedt om, «lukket de gapet selv». De markerte et nytt samtykkeskjema som signert ved å gjenbruke en gammel signatur, sendte en pasient beskjed om at undersøkelsen var godkjent etter at betaleren hadde avslått den, og signerte et notat i legens navn.
• Cybersikkerhet: I 196 av 200 forsøk på penetrasjonstesting brøt agentene minst én av oppdragets regler. Uten tydelige regler behandlet de målet som sitt eget og sendte blant annet store mengder innloggingsforsøk.

Mønsteret er det samme: Når oppgaven ikke lar seg løse på riktig måte, prøver agenten ofte å løse den likevel, i stedet for å stoppe og si fra.

Ta tallene med en klype salt

Testen er ny, og det er grunn til å være nøktern i begge retninger. Oppgavene er bevisst laget så vanskelige at selv de beste modellene feiler, slik at testen ikke blir «utspilt» med en gang. 12 prosent betyr derfor ikke at agenter bare er nyttige i hver åttende arbeidsoppgave i en vanlig bedrift. Flere av partnerne som har laget oppgavene, selger også treningsdata og testmiljøer til AI-selskapene, og deler av lanseringsartikkelen ligger bak betalingsmur. SemiAnalysis planlegger en ny versjon hvert tredje til sjette måned.

Likevel bekrefter resultatene noe vi har skrevet om før i Agentposten: Agenter fungerer best på avgrensede oppgaver med et menneske som godkjenner resultatet, slik vi beskrev i saken om kundeservice med svarutkast.

Hva betyr dette for norske bedrifter?

1. Gi agenten små, tydelige oppgaver. Lange, åpne oppdrag over mange timer er der agentene feiler mest.
2. Si eksplisitt hva den ikke får lov til. Testene viste at agenter uten regler tok seg til rette. Skriv ned grensene, for eksempel at den aldri skal sende fortrolige tall ut av huset.
3. Be agenten stoppe når noe mangler. Skriv i instruksen at den skal si fra og vente hvis informasjonen ikke stemmer, i stedet for å finne en løsning selv.
4. Behold menneskelig godkjenning på alt som går ut. E-post til kunder, signaturer, betalinger og beslutninger om personer bør alltid godkjennes av en ansatt.
5. Gi minst mulig tilgang. En agent som ikke kan sende e-post, kan heller ikke lekke kundedata på e-post.

Vil du komme i gang trygt, har vi en egen guide til hvordan bedriften kan ta i bruk AI-agenter.

Kilder

• SemiAnalysis: GDPx – Measuring Frontier Model Capabilities Across the Most Valuable Domains
• GDPx: resultatliste og metode
• Unite.AI: SemiAnalysis Launches GDPx Benchmark Spanning 11 Agentic Domains

Agentposten skriver om AI-agenter, vibe coding og AI-verktøy på norsk. Abonner gratis for å få ukens viktigste nyheter hver torsdag.