LLM preberajú rozhodovacie úlohy: Jev a rise of local AI models

Objavil sa nový typ veľkého jazykového modelu (LLM), ktorý je špeciálne navrhnutý na rozhodovanie, nie na generovanie textu. Tento posun zamerania predstavuje významný odklon od tradičných aplikácií LLM, kde sú modely poverené vytváraním písomných odpovedí alebo zapájaním sa do konverzácie. Namiesto toho tieto rozhodovacie modely využívajú vstupné dáta na rýchlu a efektívnu klasifikáciu a kategorizáciu obsahu.

Model, o ktorom je reč, sa volá Jev, ktorý bol vydaný len pred niekoľkými týždňami. Podľa vývojárov je Jev ultra-rýchle a mimoriadne lacné riešenie pre úlohy, ktoré vyžadujú klasifikáciu a kategorizáciu. Na rozdiel od tradičných LLM Jev nedokáže vytvoriť písaný text – ani jednu vetu. Jeho výstup pozostáva výlučne z čísel s pohyblivou desatinnou čiarkou, ktoré slúžia ako odpovede na otázky áno/nie určené používateľom alebo na požiadavky typu bodovania.

Simon Willison poskytuje stručné zhrnutie toho, čo robí Jev takým zaujímavým: ‘Je to ako mať LLM ako porotcu.’ Tento výstižný opis zdôrazňuje jedinečnú schopnosť modelu robiť rozhodnutia na základe vstupných dát. Myšlienka sa zjavne ujala, keďže mnohí vývojári experimentujú so svojimi vlastnými modelmi rozhodovania a zdieľajú svoje zistenia online.

Kev a Nimble sú dva pozoruhodné príklady týchto lokálnych AI modelov. Nimble je obzvlášť pozoruhodný, pretože je dostatočne malý na to, aby bežal lokálne bez potreby významných výpočtových zdrojov. V skutočnosti bol Nimble nedávno pridaný ako podporovaný model v Ollame, čo ho robí ešte dostupnejším pre vývojárov, ktorí chcú experimentovať s rozhodovacími LLM.

Ak sa vám podarilo úspešne integrovať jeden z týchto lokálnych AI modelov do vášho projektu a chceli by ste sa podeliť o svoje skúsenosti, radi si o tom vypočujeme. Prosím, pošlite svoj príbeh cez našu linku na tipy.