Ugrás a tartalomra
Neural Daily

KutatásHír

Harness adapterek: kevesebb tool call, jobb Qwen3.8-27B

🇬🇧 Read this article in English →

A Hugging Face nyílt receptet adott ki arra, hogyan lehet egy modellt RL-lel tanított LoRA adapterrel a saját agent harnesshez igazítani. A Qwen3.8-27B így SWE-bench Pro-n akár 24 pontot javult, feleannyi tool calllal.

· 4 perc olvasás

Hugging Face Harness Adapters borítókép: LoRA adapterek a Hermes, pi és opencode harnesshez, Qwen3.8-27B
Kép: Hugging Face · Sajtókép · Forrás

Mi jelent meg?

A Hugging Face november 20-án publikálta a harness adapterek bővített receptjét (Hugging Face blog). Az ötlet egyszerű: a modell súlyait befagyasztják, minden agent harnesshez pedig külön LoRA adaptert tanítanak megerősítéses tanulással (RL), magában a harnessben futtatva. A kísérleti alapmodell a Qwen3.8-27B volt, a három harness a pi, az OpenCode, illetve a Hermes Agent.

Miért kell ez? Az általános modellek átlagos teljesítményre vannak hangolva, nem egy konkrét harness és feladattípus párosára. A szerzők szerint ezen a ponton pontosság és token marad az asztalon.

  • Harnessenként egy LoRA adapter (rank 32), RL a harness eredeti, változatlan agent loopjában.
  • A tréning a TRL AsyncGRPOTrainer, az OpenEnv és a Harbor stackre épül, a datasetek, a tanítás és a rolloutok Hugging Face Jobsban futnak.
  • A három adaptert egy super adapterré is összefűzték, amely mindhárom harness alatt változtatás nélkül fut.
  • Az adapterek, a GGUF-ok, az RL taskok, illetve a safeagents plugin nyilvánosak a Hubon.

Mennyit hoz?

A saját harnessében mindhárom adapter veri az alapmodellt mindkét benchmarkon (pass@1, thinking kikapcsolva, SWE-bench Pro esetén az 51 legnehezebb feladaton):

  • pi: SWE-bench Pro 40,0% → 64,0%, Terminal-Bench 2.1 40,0% → 56,5%.
  • Hermes Agent: SWE-bench Pro 29,4% → 43,1%, Terminal-Bench 2.1 44,7% → 58,8%.
  • OpenCode: SWE-bench Pro 35,3% → 51,0%, Terminal-Bench 2.1 47,6% → 52,4%.

A hatékonyság még látványosabb. Azokon a feladatokon, amelyeket az alapmodell és az adapter is megold, 53–72%-kal kevesebb tool call jut egy feladatra. A blog példájában pi alatt az átlagos tokenhasználat kb. 2,9K-ról 1,5K-ra esik: a modell kevesebbet gondolkodik, kevesebb eszközt hív, és gyakrabban talál elsőre.

Super adapter, thinking módban is

A három LoRA súlyfrissítése szinte merőleges egymásra (koszinusz-hasonlóság kb. 0,01–0,02), így jól összefűzhetők. A csapat a rank mentén konkatenálta őket (PEFT combination_type="cat", rank 96), fél súllyal. Thinking nélkül a super adapter mind a hat harness–benchmark párosításban jobb az alapmodellnél (átlagos pass@1 39,5% → 49,0%), a saját specialistájánál viszont többnyire gyengébb, leginkább pi alatt.

Thinking módban, amellyel nem is tanították, ez lett a legerősebb mért modell: az azonos thinking beállítású alapmodellhez képest átlagban 55,5% → 63,5%, SWE-bench Pro-n Hermes alatt +16, OpenCode alatt +20 pont. A szerzők gyakorlati szabálya: ha egyetlen harnesst használsz thinking nélkül, maradj a specialistánál.

Hogyan készült a tanítóadat?

Az 1127 jelölt feladatból 858 ment át az openenv validate ellenőrzésein. Ezután jött a nehézségi szűrő: csak azok a taskok maradtak, amelyeket az alapmodell néha megold, néha nem, mert GRPO-nál a mindig vagy soha nem sikerülő feladat nem ad tanulási jelet. A harness-hub/agentic-coding-envs dataset 871 feladatot tartalmaz 35 repóból (SWE-smith, SWE-Gym, Tasksmith), ebből 171 kvalifikált. A végső mixben 750 saját és 300 Termgrade feladat szerepelt.

Egy adaptert két NVIDIA B200 GPU-n tanítottak, az egyiken a vLLM szerver, a másikon a tréning futott. A safeagents a három futás alatt 1,3 millió tool callból 647-et blokkolt.

Hol a határ?

  • Átvitel: a pi adapter OpenCode alatt is hozza az OpenCode specialista szintjét Terminal-Bench 2.1-en, Hermes alatt a nyereség kb. kétharmadát.
  • Más terep: 300 AutomationBench feladaton, saját agent looppal az adapterek a zajon belül maradnak az alapmodellhez képest, a Hermes adapter kicsit gyengébb (17,7% vs 23,0%).
  • Nyitott kérdés: thinking nélkül a tanított modell rövid, gondolkodásszerű szöveget ír a tool callok elé. A szerzők szerint ez nem érvényteleníti az eredményt, de hibrid thinking modelleken külön vizsgálatot igényel.

Mit jelent ez nekünk?

Ha egy open-weight modellt egy konkrét agent harnessben futtatsz, egy viszonylag olcsó LoRA nagyot dobhat a pontosságon, közben a tokenköltség is csökken. A recept nyílt, saját repókból generált taskokkal is reprodukálható. A Google Harness² a másik irányból közelít: ott a harnesst hangolják, nem a súlyokat. A két megközelítés jól kiegészíti egymást.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek