Ugrás a tartalomra
Neural Daily

KutatásHír

METR: 3,6 havonta duplázódik az AI agentek horizontja

🇬🇧 Read this article in English →

A METR negyedéves jelentése szerint a frontier modellek time horizonja kb. 3,6 havonta duplázódik. A kódolási feladatokon a modellek már többnyire hozzák vagy verik a képzett embereket, ítélőképességben viszont elmaradnak a szakértőktől.

· 3 perc olvasás

A METR 2026. novemberi infografikája az AI-képességek méréséről: múlt, jelen, jövő és módszertani változások
Kép: METR · CC BY · Forrás

Mit mért a METR?

A METR független értékelő szervezet november 20-án kiadta a negyedik negyedéves jelentését arról, mennyire gyorsítják az AI modellek az AI-kutatást (METR). A mérés az Opus 5.5-ig és a GPT-6 Astráig terjed. A time horizon azt mutatja, milyen hosszú (emberi szakértő által ennyi idő alatt megoldott) feladatot old meg egy modell 50%-os eséllyel (METR: time horizons).

A fő számok

  • A régi TH1.1 és az új, nehezebb TH2 feladatsoron együtt a time horizon kb. 3,61 havonta (110 nap) duplázódik, 95%-os konfidenciaintervallum: 2,08 és 4,94 hónap között. Ez közel van a korábbi 105 napos trendhez.
  • Naiv extrapolációval a modellek 2027 júliusában érnék el a feladatsor leghosszabb, 200 órás küszöbét.
  • A TH2 ellenőrizhető részhalmazán rövidebb a duplázási idő, ami utalhat friss gyorsulásra, de a METR szerint más magyarázat is lehet.
  • Al Zimmermann többhónapos programozóversenyein a legerősebb modellek (Fable 5.1, Opus 5.5, GPT-6 Astra) medián helyezése az emberi mezőny 96. és 98. percentilise között van.

Hol erősek, hol gyengék?

A saját kódolási és optimalizálási feladataikon a modellek többnyire hozzák vagy felülmúlják a képzett embereket. A METR sokszor nem is talált olyan embert a baseline-hoz, aki jobb lett volna a frontier modelleknél. Ahol sok szakértő próbálkozott ugyanazzal a feladattal, ott a modellek nagyon magas percentilisre kerültek, de nem a csúcsra.

Két gyenge pontot találtak. A modellek rosszabbul teljesítenek azokon a feladatokon, amelyeket drágább RL tréningkörnyezetté alakítani, bár ezeken is hasonló ütemben javulnak. A METR becslése szerint a feladat "életciklus-költségének" duplázása nagyjából felezi a modell time horizonját. A másik: ahol nincs egyértelmű empirikus visszajelzés, ott az agentek ítélőképessége gyengébb a szakértőkénél.

Miért fontos?

A METR fő következtetése, hogy a mostani nyilvános adatok alapján nem zárható ki a drasztikus AI-kutatási gyorsulás a következő pár évben, vagyis olyan tempó, amelyet az emberek már nem tudnak érdemben követni. Közben a mérés is egyre nehezebb, mert a modellek kinövik a feladatsorokat. Ez illeszkedik az OpenAI múlt heti adataihoz, amelyek szerint az agentek már a 2 és 4 órás kutatási feladatok felét viszik (OpenAI: az agentek már a kutatási feladatok felét viszik).

Gyakorlati olvasat: kódolási és optimalizálási munkában az agent már komoly, sokórás feladatot is elvisz, de ahol ízlés vagy döntés kell visszajelzés nélkül, ott továbbra is az emberi review a szűk keresztmetszet.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek