Ollama doma: jaký hardware potřebuješ pro lokální LLM

Před pár měsíci jsem si na svůj domácí server nainstaloval Ollama a spustil první lokální model. Byl to Mistral 7B, chvíli jsem čekal, pak se objevil první token — a od té chvíle jsem věděl, že se vracet ke cloudovým API nechci. Žádná telemetrie, žádné limity, žádné měsíční poplatky. Data zůstávají doma. Ale aby to celé fungovalo slušně, potřebuješ vědět, co hardware reálně zvládne — a co ne.

Co lokální LLM vlastně potřebuje: RAM, VRAM a kvantizace

Klíčový parametr není výkon procesoru, ale VRAM grafické karty. Jak upozorňuje průvodce hardwarem od promptquorum.com, i levná karta za 600 dolarů jako RTX 4070 Ti předčí v rychlosti inference CPU za dvojnásobek ceny. GPU prostě dominuje.

Základní pravidlo zní takto: velikost modelu v VRAM se odvíjí od počtu parametrů a zvoleného formátu. Přesná čísla podle enterprise průvodce od hyperion-consulting.io:

Model	Kvantizace	VRAM
Phi-4-mini 3.8B	Q4_K_M	~3 GB
Mistral / Llama 3.1 7B	Q4_K_M	~5 GB
Qwen 2.5 14B	Q4_K_M	~9 GB
Qwen 2.5 Coder 32B	Q4_K_M	~20 GB
Llama 3.3 70B	Q4_K_M	~40 GB

Kvantizace je tvůj nejlepší kamarád. Technika Q4_K_M sníží paměťové nároky zhruba na polovinu oproti plné přesnosti, přičemž kvalita odpovědí klesne jen minimálně. Q2 se vyhni — tam už je degradace znatelná. Q5_K_M je skvělý kompromis, pokud ti VRAM stačí.

Důležité: k samotné velikosti modelu vždy přičti systémovou režii a kontext. Průvodce na promptquorum.com doporučuje kupovat kartu s alespoň 25 % rezervou nad velikost modelu. Jinak narážíš na swapy do systémové RAM, které dramaticky zpomalí generování.

Tři realistické sestavy: od pohovky k pracovní stanici

Pojďme konkrétně. Na základě toho, co v roce 2026 reálně funguje, rozlišuju tři kategorie:

Kategorie 1: Začátečník s omezeným rozpočtem (~35 000 Kč)

RTX 4070 Ti (12 GB VRAM), procesor Intel i7-13700, 16 GB RAM. Tato sestava pohodlně zvládne modely do velikosti 13B — tedy Mistral 7B, Llama 3.3 8B nebo Phi-4 14B v Q4_K_M. Rychlost generování u 7B modelů? Očekávej 60–90 tokenů za sekundu, což je pro běžné použití naprosto příjemné tempo. Takhle jsem začínal i já.

Kategorie 2: Solidní domácí server (~55 000 Kč)

RTX 4080 (16 GB VRAM), Intel i7-14700K, 32 GB RAM. Tady se otevírají 13–30B modely naplno. Qwen 2.5 14B v Q4_K_M běží svižně, DeepSeek R1 Distill 14B si poradíš bez problémů. Jak uvádí srovnění konfigurací na promptquorum.com, tato střední kategorie nabízí nejlepší poměr výkonu a ceny pro většinu domácích uživatelů.

Kategorie 3: Serious hardware (~90 000+ Kč)

RTX 4090 (24 GB VRAM) nebo dvě karty RTX 3090 (celkem 48 GB). Na RTX 4090 dosáhneš u Mistral Nemo 12B v Q4_K_M rychlosti 65–85 tokenů/s, u Qwen 2.5 7B dokonce 90–120 tokenů/s. Dvě RTX 3090 zvládnou Llama 3.3 70B v Q4_K_M — Ollama automaticky rozdělí vrstvy modelu mezi obě karty. Pozor ale na napájení: RTX 4090 samo o sobě odebírá až 575 W, potřebuješ zdroj minimálně 1 200 W a slušné chlazení.

A co Apple Silicon?

Pokud máš Mac s M-čipem, jsi v jiné situaci — unified memory znamená, že GPU i CPU sdílí stejnou RAM, takže celá paměť je dostupná pro model. Na M3 Max s 64 GB RAM zvládneš Llama 3.3 70B Q4_K_M rychlostí 12–18 tokenů/s, na M4 Max se 128 GB RAM až 22–30 tokenů/s. Žádné ovladače, žádná konfigurace — Ollama funguje hned po instalaci.

Jak to rozjet: Ollama krok za krokem

Instalace Ollamy je opravdu snadná. Na macOS nebo Linuxu stačí:

curl -fsSL https://ollama.com/install.sh | sh

Na Windows stáhneš instalátor přímo ze stránky. Pak spustíš první model — já doporučuju začít s Mistral 7B nebo Phi-4-mini:

ollama run mistral
# nebo pro slabší hardware
ollama run phi4-mini

Ollama automaticky stáhne model ve vhodné kvantizaci a spustí lokální API na portu 11434, které je kompatibilní s OpenAI formátem. To znamená, že můžeš přepínat mezi lokálním modelem a cloudovým API bez změny kódu v aplikaci — stačí změnit endpoint URL.

Pár praktických tipů z vlastní zkušenosti, které potvrzuje i průvodce od kunalganglani.com:

• Nechej nejpoužívanější model načtený v paměti — studený start přidává 5–15 sekund čekání.
• Různé modely na různé úkoly: rychlý 7B na autocomplete a rychlé dotazy, 14B na konverzaci, 70B jen na složité reasoning úlohy.
• Q4_K_M jako výchozí kvantizace pro většinu scénářů.

Výhled: lokální AI je tady a funguje

V roce 2026 není lokální LLM žádná laboratoř pro nadšence — je to praktická, funkční alternativa ke cloudovým službám. Modely jako Llama 4 Scout, Qwen 3.5 72B nebo Mistral 7B dosahují výsledků srovnatelných s GPT-4o mini na většině běžných úloh, tvoje data nikam neodcházejí a po počáteční investici do hardware nemáš žádné průběžné náklady za API.

Moje doporučení? Nezačínej s přemýšlením o 70B modelech. Vezmi kartu s alespoň 8 GB VRAM, nainstaluj Ollamu, spusť Mistral 7B a jednoduše to vyzkoušej. Teprve pak uvidíš, jestli potřebuješ víc. A jestli tě zajímá komunita — r/LocalLLaMA je aktivní a ochotná poradit s čímkoli.

Jaký model jsi zkoušel doma ty — a na jakém hardwaru? Napiš mi do komentářů.