DeepSeek open-source DeepInfer, jeho vysokovýkonný inferenčný engine

·

DeepSeek sprístupnil svoj vysoko výkonný inferenčný engine DeepInfer pod licenciou Apache 2.0 na GitHube. Tento krok poskytuje vzácny pohľad do vnútorného fungovania výrobného stacku laboratória Frontier. Engine je špeciálne navrhnutý pre veľkoplošné produkčné služby a poháňa vlastné modely DeepSeek.

Podporovaný model je momentálne obmedzený na DeepSeek-V4.1-Flash, ktorý má kontextové okno 1 milión tokenov na modelovú kartu. Tento rámec môže bežať na grafických kartách NVIDIA SM100 (Blackwell) aj Huawei Ascend 950, pričom benchmarky používajú 4 GPU na predvyplnenie a 64 na dekódovanie.

Podľa DeepSeek dosahuje výkon DeepInfer na produkčnej úrovni. Spoločnosť uvádza, že jeden klaster obsluhuje pôsobivých 155 biliónov tokenov denne. Táto úroveň výkonu sa dosahuje kombináciou optimalizovaných algoritmov a efektívneho využitia hardvéru.

Engine skladá jadrá DeepSeek: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect a vlastné TileLang jadrá. Nad nimi sa nachádza päť systémových myšlienok, ktoré prispievajú k vysokovýkonným schopnostiam frameworku.

Jednou z kľúčových vlastností je paralelizmus, dosiahnutý pomocou paralelizmu pozorných dát a expert-paralelného vyvažovania záťaže (EPLB). Vrstvy MoE používajú expertný paralelizmus, zatiaľ čo dekódovanie beží v EP64 až EP128 v rámci superuzla. Prefill používa najmenší EP, ktorý pamäť umožňuje, typicky medzi EP2 a EP8.

DeepInfer tiež využíva DSpark, techniku špekulatívneho dekódovania s plánovanou dôverou. Táto metóda navrhuje 5 tokenov na krok a predpovedá mieru akceptácie každého draftového tokenu pomocou Confidence Head. Plánovač potom overuje iba najhodnotnejšiu predponu, čím zníži počet overených draftových tokenov približne o 30 % (z 5,00 na 3,2 na 4,4).

Ďalším dôležitým aspektom je SWA obmedzené opakovanie, ktoré vypočíta len posledných 128 tokenov stavu pozornosti v posuvnom okne pri zásahu do cache. To spôsobuje, že náklady na výpočet sú konštantné bez ohľadu na dĺžku kontextu a takmer polovica celkového prefill výpočtu vo vrstvách dekodéra.

Asynchrónne plánovanie, determinizmus a štruktúrovaný výstup sú tiež kľúčové vlastnosti DeepInfer. Dávkové plánovanie CPU sa prekrýva s vykonávaním GPU, čím sa zabezpečuje, že GPU nikdy neprestáva fungovať medzi krokmi. Dávkovo invariantné inferovanie a deterministické vzorkovanie sú dostupné iba na NVIDIA, zatiaľ čo štruktúrované výstupy podporujú regex, JSON schému a EBNF gramatiky.

DeepSeek zverejňuje Pareto krivky pre DeepSeek-V4.1-Flash pri 131 072 kontextoch. Prefill bežal na 4 GPU SM100; dekódovanie bežalo na 64. Nižšie uvedené údaje sú čítané z týchto grafov a sú samohlásené. Dekódovanie dosahuje maximálne viac ako 25 000 tokenov/s/GPU pri 256 požiadavkách na rank (EP64DP64, nextn=3, 75% akceptácia).

Pri nižších veľkostiach dávok sa priepustnosť blíži k 100 tokenom/s na používateľa. Pri 8 požiadavkách rýchlosť na používateľa prekročí 300 tokenov/s. Prefill dosahuje približne 60 000 necacheovaných tokenov/s/GPU pri 4 096 tokenoch na rank a blíži sa k 90 000 pri 65 536 tokenoch pri približne 730 ms na krok.

Dynamické overovanie DSpark pridáva malú režijnú záťaž 4 % až 7 % pri približne 60 sekvenciách na rank. Pri väčších veľkostiach dávok (16 sekvencií na rank) je približne o 1,5 % pomalšie ako pevné overenie s 5 tokenmi.

Diskusia

Zatiaľ žiadne správy. Napíšte ako prvý.