Objavovanie miestnej AI: cesta objavovania a frustrácie

Lokálna umelá inteligencia (AI) je nový trend, ktorý umožňuje používateľom spúšťať výkonné modely na vlastných zariadeniach namiesto spoliehania sa na cloudové služby. Tento prístup ponúka lepšie súkromie a kontrolu nad osobnými údajmi, čo môže byť veľkým lákadlom pre tých, ktorí váhajú zveriť citlivé informácie cloudu.

Koncept lokálnej AI získal v poslednom čase značnú pozornosť, pričom technologickí giganti ako Apple zdôrazňujú jeho výhody pre Mac desktopy. Nové počítače RTX Spark s Windows sú tiež navrhnuté tak, aby využívali schopnosti agentickej AI, s kapacitou až 128GB RAM a rôznymi špecializovanými modelmi.

Prevádzka lokálnej AI na osobných zariadeniach môže byť vzrušujúca aj ohromujúca vzhľadom na obrovské množstvo dostupných modelov a ich rôzne parametre. Modely s miliardami parametrov ponúkajú pokročilejšie možnosti, ale vyžadujú značné výpočtové zdroje a úložný priestor.

Autor sa pustil do experimentu s použitím M5 Ultra Mac Studio, ktorý sa môže pochváliť 256GB jednotnej pamäte. To umožňuje lokálne spúšťať komplexné AI modely bez obáv o tokenové náklady spojené s cloudovými službami.

Jedným z takýchto modelov je Hermes Agent, desktopová aplikácia pre AI agentov kompatibilná s macOS, Windows a Linuxom. Je zadarmo na použitie pri práci s lokálnymi LLM (veľkými jazykovými modelmi), čo z nej robí atraktívnu možnosť pre tých, ktorí hľadajú súkromnejší prístup k AI.

Autor si vybral model Qwen 3.8 Flash Next, ktorý sa môže pochváliť 125 miliardami parametrov a vyžaduje približne 105GB úložného priestoru. Toto rozhodnutie umožnila dostatočná pamäťová kapacita M5 Ultra Mac Studio.

Použitím jednoduchého onboardingového rozhrania a výberu modelu od Hermes autor rýchlo začal pracovať s vybraným modelom. Ovládanie cez Telegram bota sa ukázalo byť relatívne jednoduché.

Jednou z prvých úloh pridelených lokálnej AI bolo generovanie denného ranného brífingu pomocou e-mailových a kalendárových dát. Hoci tento počiatočný pokus zlyhal, pretože macOS bol počas plánovaného času neaktívny, ďalšie pokusy boli úspešné, keď bol problém vyriešený.

Autor potom použil Hermes na reorganizáciu svojej Steam knižnice podľa žánrov, využívajúc jeho schopnosť pristupovať k nainštalovaným hrám cez Steam klienta. Tento proces si vyžadoval registráciu Steam webového API kľúča a udelenie oprávnení AI vykonávať akcie v mene používateľa.

Analýza dát je ďalšou oblasťou, kde sa lokálna AI ukázala ako užitočná, pričom autor ju využíva na spracovanie finančných záznamov a tvorbu tabuľky na porovnávanie špecifikácií pre nový notebook. Tieto úlohy sú obzvlášť atraktívne vďaka svojej citlivosti a potrebe kontroly nad osobnými údajmi.

Autor sa v súčasnosti zameriava na automatizáciu benchmarkových testov pre notebooky, čo môže byť pri manuálnom vykonávaní neuveriteľne časovo náročný proces. Hoci pokrok je pomalý, potenciálne výhody automatizácie robia túto snahu hodnou.

Počas celej tejto cesty zostáva autor opatrný a ostražitý, pokiaľ ide o možnosti a obmedzenia lokálnej AI. Zdôrazňuje, že tieto modely nie sú magickými asistentmi, ale skôr nástrojmi na zvýšenie ľudskej produktivity a rozhodovania.

Cieľom autora je preskúmať celý rozsah možností, ktoré ponúka lokálna AI, bez toho, aby sa na ňu príliš spoliehal alebo očakával príliš veľa. Týmto spôsobom sa snaží poskytnúť vyvážený pohľad na túto vznikajúcu technológiu.

Napriek počiatočným frustráciám z výberu modelu a vykonávania úloh zostáva autor optimistický ohľadom potenciálnych prínosov lokálnej AI pre osobnú produktivitu a správu dát.