Dell Pro Max with GB10 a lokálna AI

Od Dell Slovakia sme mali v Total.js zapožičané zaujímavé malé železo Dell Pro Max with GB10 s Nvidia Blackwell GPU, ktoré bolo priamo vytvorené na lokálnu AI. Naša verzia mala až 128 GB LPDDR5x unified memory, takže nebol problém natiahnúť do RAMky väčšie lokálne OLLAMA modely s 122b (122 miliárd parametrov).

Výhody

• 128 GB ram
• 20 CPU jadier
• Webový server
• Databázový server
• Edge dátový uzol
• Lokálna analytika
• Cache a integračná vrstva
• Kontrola kvality
• AI ako nadstavba

Ja som tento počítač používal hlavne ako lokálny server - toto je proste najväčšia benefita tohto zariadenia. Mal som nainštalovaný Docker a v ňom mi bežal PostgreSQL, Qdrant, Node.js Visual Programming Interface - Total.js Flow a lokálne AI. Nižšie uvádzam screenshot:

Na aké účely sme ho používali s AI?

• Vyťažovanie textov
• OCR
• Kódovanie a asistované programovanie
• Analýza dát v databáze
• Klasifikácia obsahu
• Automatizácia interných procesov
• Vyhľadávanie v interných znalostiach
• Analýza logov a incidentov
• Preklad a úprava textov
• Generovanie textov
• Embedding

Tých použiteľných prípadov je oveľa viacej, no my sme sa primárne hrali len s vyššie uvedenými funkcionalitami.

Rýchlosť

Tento počítač som používal len na jazykové modely (LLM) za pomoci OLLAMA. Rýchlosť bola veľmi pomalá aj pri menších modeloch, avšak napr. na parsovanie alebo vyťažovanie textov som nepotreboval výsledky ASAP, takže mi bolo jedno či čakanie na výsledok trvá 10 alebo 30 sekúnd. Na väčšinu vecí mi stačili malé modely ako qwen3.5 s 9b parametrov. S Llama-cpp by to šlo rýchlejšie, ale za cenu menšej pohodlnosti. V porovnaní s OpenAI API a modelom o4-mini je OLLAMA na tomto hardvéri približne dvojnásobne pomalšia, ale v podstate "zadarmo".

Čo sa týka pocitovej rýchlosti, pri použití napríklad Open WebUI pôsobí odozva výrazne rýchlejšie. V thinking móde sa totiž výstup priebežne streamuje, takže používateľ môže začať čítať odpoveď prakticky okamžite. Pri použití API môže byť pocit z odozvy pomalší, najmä ak aplikácia čaká na vygenerovanie celej odpovede pred jej zobrazením. Zase treba brať v úvahu, že thinking mód je veľmi pomalý.

Záver

Tento počítač som si obľúbil ako malý výkonný lokálny server, kde dokáže bezproblémov bežať lokálna AI a zároveň databáza s webovým serverom. Nebál by som sa ho použiť na prevádzku u zákazníka, ktorý potrebuje všetko prevádzkovať lokálne na miestach, kde napr. nie je internet. Výkonu a RÁMky to má na rozdávanie, takže to bezproblémov unesie lokálnu AI a niekoľko Node.js appiek s databázou v jednom. Veľkou výhodou je možnosť prepojiť dve zariadenia DELL Pro Max GB10 do jedného výpočtového celku, ktorý funguje ako cluster. Ak by sa jednalo "o kritickú infraštruktúru", tak by som jednoznačne išiel do DELLu kvôli "Next Business Day" záruky.

Ešte raz ďakujeme za zapožičanie:

• (1) Martin Maštalír (generálny riaditeľ Dell Technologies na Slovensku)
• (2) Dalibor Šlosár (Account Executive Dell Technologies)
• (3) Ja, Peter Širka (CTO v Total.js)