Tímy AI agentov vykazujú obmedzené zlepšenie kvality

Výskumníci z Vals AI testovali dva populárne modely, GPT-6 Sol a Claude Opus 5.5, na benchmarku nazvanom ‘Vibe Code Bench’, aby zistili, ako dobre fungujú v pároch v porovnaní s jednotlivými výkonmi pri rôznych úrovniach námahy.

Štúdia zahŕňala porovnanie jednotlivých agentov a tímov zložených z týchto modelov v štyroch kľúčových oblastiach. V jednom teste mal GPT-6 Sol štatisticky významnú výhodu pri práci v tíme so strednou schopnosťou uvažovania, keď dosiahol o 7,3 bodu viac ako jeho jediný agent. Tento nárast sa však neprejavil pri maximálnej úrovni úsilia.

Zistenia naznačujú, že investovanie do AI tímov nemusí byť vo väčšine prípadov výhodné, najmä vzhľadom na dodatočné náklady spojené s prevádzkou viacerých agentov súčasne. To platí najmä vtedy, keď modely už prinášajú výsledky tak rýchlo, ako len môžu. Údaje zo štúdie ukazujú, že tímové zostavy síce prinášajú určité výhody, ale často prichádzajú s vysokou cenou bez rovnakého zlepšenia kvality.

Anthropic vykonal vlastné experimenty s Opus 5,5 a zistil rovnaký trend: pridanie ďalších agentov neviedlo k výraznému zlepšeniu výkonu. V skutočnosti skóre mierne stúplo len po dvadsiatich štyroch hodinách, keď bolo na palube viac ako desať agentov. Väčšie tímy však dosiahli kľúčové míľniky rýchlejšie – ale za cenu vyššieho využitia tokenov počas testov.

Štúdia tiež zdôrazňuje, že to, ako dobre AI tím vykonáva svoju prácu, závisí do veľkej miery od úlohy, ktorú má vykonávať. Výskumník OpenAI Noam Brown v rozhovore poukázal na to, že niektoré úlohy ako webový výskum a matematika možno efektívne rozdeliť medzi viacerých agentov, čo vedie k výraznému zrýchleniu bez obetovania kvality. No zložitejšie úlohy, ako je písanie románu, tento prístup nepomáha – ako Brown povedal, nasadiť 10 000 agentov by bolo rovnako zbytočné ako priradiť 10 000 ľudí na túto úlohu.