DeepMind predstavuje EmbeddingGemma 2, ktorá mapuje päť modalít do jedného priestoru

Google DeepMind predstavil svoj najnovší AI model, EmbeddingGemma 2, ktorý mapuje päť rôznych modalít – text, kód, obrázky, video a audio – do jedného 768-rozmerného priestoru vkladania. Tento otvorený model sa môže pochváliť pôsobivými 740 miliónmi parametrov a je navrhnutý na beženie na spotrebiteľskom hardvéri. Vydanie EmbeddingGemma 2 nadväzuje na úspech jej predchodcu, ktorý od svojho uvedenia v roku 2025 zaznamenal viac ako 20 miliónov stiahnutí ako ľahká možnosť pre vkladanie textu na spotrebiteľských zariadeniach.

Nový model predstavili výskumní inžinieri Google DeepMind, Sahil Dua a Henrique Schechter Vera, v príspevku na oficiálnom blogu Google. Podľa spoločnosti je EmbeddingGemma 2 najvýkonnejším modelom pre multimodálne embeddingy priamo na zariadení a je postavený na rovnakej technológii ako jeho Gemini Embedding modely. Možnosti tohto modelu sú obrovské, napríklad získavanie konkrétnych videoklipov s hlasovými poznámkami alebo vyhľadávanie hodín zvukových nahrávok pomocou textu.

EmbeddingGemma 2 je založená na architektúre Gemma 4, ktorá kombinuje textový model s 270 miliónmi parametrov s 170-miliónovým vizuálnym enkodérom a 300-miliónovým audio enkodérom. Tento modulárny dizajn umožňuje vývojárom selektívne načítať parametre pre rôzne modality, napríklad načítať len textovú a kódovú konfiguráciu alebo plné multimodálne nastavenie z toho istého kontrolného bodu. Zdieľaný vektorový priestor naprieč všetkými modalitami umožňuje efektívne spracovanie viacerých vstupov súčasne.

Modelová karta uvádza komplexnú sadu funkcií, vrátane 24-vrstvovej architektúry s pozornosťou na skupinové a viacnásobné dotazy, slovníka s 262 144 tokenmi, stredného poolingu a projekčnej vrstvy s 512 až 768 rozmermi. Všetky modality zdieľajú 8 192 tokenov v kontextovom okne, čo je štyrikrát väčšie ako u predchodcu. Každá modalita spotrebúva tento rozpočet pevnou rýchlosťou: 280 tokenov na obrázok, 140 tokenov na video snímku a 25 tokenov za sekundu zvuku.

Modelová karta tiež uvádza výsledky benchmarkov pre EmbeddingGemma 2, ktoré ukazujú, že dosahuje viacjazyčný textový výkon svojho predchodcu a zvyšuje skóre MTEB kódu o 9,92 bodu na 78,68. Výsledky s plnou presnosťou uvádzajú pôsobivé skóre v rôznych úlohách, vrátane 61,36 na MTEB viacjazyčný (v2), 64,64 na MIEB lite a 69,54 na vyhľadávanie zvuku v MSEB. Google tvrdí, že EmbeddingGemma 2 prekonáva niektoré špecializované modely viac než dvojnásobne.

Jednou z kľúčových vlastností EmbeddingGemma 2 je Matryoshka Representation Learning, ktorá umožňuje vývojárom skrátiť výstupné vektory z natívnych 768 rozmerov na 512, 256 alebo 128. To znižuje požiadavky na vektorové ukladanie až šesťnásobne a udržiava kvalitu s minimálnym dopadom až do 256 rozmerov. Použitie 128 rozmerov však môže ohroziť výkon pri multimodálnych vyhľadávacích úlohách.

Modelová karta uvádza, že EmbeddingGemma 2 neprešla zarovnaním po trénovaní, doladením bezpečnosti ani moderovaním na úrovni výstupu, ale jej predtrénovacie dáta boli filtrované na materiál o sexuálnom zneužívaní detí v rôznych fázach a automatizované filtrovanie osobných a iných citlivých údajov. Trénovacie dáta zahŕňali webové dokumenty, kód, obrázky, video, audio a spárované vzorky naprieč modalitou vo viac ako 140 jazykoch až do januára 2025.

Google varuje, že hoci model podporuje viac ako 100 jazykov, výkon nemusí byť medzi nimi rovnaký a vynechanie odporúčaných predpon úloh na textových vstupoch znižuje presnosť vkladania. Spoločnosť tiež odporúča vývojárom, aby dodržiavali politiku zakázaného používania Gemma a zaviedli bezpečnostné opatrenia na úrovni aplikácií, ako je filtrovanie vyhľadávania a testovanie spravodlivosti.

Výkon priamo na zariadení je kľúčovým aspektom EmbeddingGemma 2, pričom Google uvádza, že vyžaduje približne 191 megabajtov aktívnej RAM pre textové váhy a približne 567 megabajtov pre plný multimodálny model. Váhy sú dostupné na Hugging Face a Kaggle, s verziami optimalizovanými priamo na zariadení cez komunitu LiteRT na Hugging Face. Model beží cez rôzne frameworky, vrátane transformerov, sentence-transformers 6.1.0 alebo novšie, MLX, vLLM, llama.cpp, SGLang, Ollama a LMStudio.

Google AI Edge MediaPipe a LiteRT zabezpečujú nasadzovanie naprieč platformami, pričom MediaPipe Decision Task API podporuje klasifikáciu a smerovanie v reálnom čase v multimodálnom kontexte. Ukážky vrátane Instant Media Search a Video Moments Finder sú dostupné v aplikácii Google AI Edge Gallery, kde ukazujú možnosti EmbeddingGemma 2. Model je tiež spárovaný s Gemma 4 na kontextové uvažovanie v aplikácii Google AI Edge Foresight.

Dostupnosť v Gemini Enterprise Agent Platform Model Garden bude čoskoro, podľa Google. Vďaka svojmu pôsobivému výkonu a všestrannosti predstavuje EmbeddingGemma 2 významný míľnik v multimodálnych embeddingoch a má ďalekosiahle dôsledky pre nástroje na analýzu dát a aplikácie generované AI.