Ollama doma: jaký hardware potřebuješ na lokální LLM

Před rokem jsem si říkal, že spustit vlastní AI model doma je záležitost pro serverové nadšence s rackovým stojanem ve sklepě. Dnes mi Ollama běží na domácím mini PC vedle routeru a obsluhuje dotazy, aniž by cokoliv odesílala do cloudu. V roce 2026 je to reálná možnost pro každého, kdo má slušný počítač a chuť si trochu pohrát. Pojďme si říct, co přesně potřebuješ — bez zbytečného nadhodnocování ani zbytečného strašení.

Proč lokální LLM a co to vlastně znamená

Lokální LLM (Large Language Model) je jazykový model — třeba Llama, Mistral nebo Phi — který běží přímo na tvém hardwaru, ne na vzdálených serverech OpenAI nebo Googlu. Žádná data neodcházejí ven, žádné API limity, žádné měsíční předplatné. Zaplatíš jednou za hardware a pak provoz stojí prakticky nula.

Ollama je v tom světě to, čím je Docker pro kontejnery — jeden nástroj, který zvládne stažení modelu, kvantizaci, detekci GPU i obsluhu REST API. Instalace na Linuxu je doslova jeden příkaz:

curl -fsSL https://ollama.ai/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8b "Vysvětli mi, jak funguje MQTT protokol"

Ollama pak vystaví API na portu 11434, včetně OpenAI-kompatibilního endpointu — takže pokud máš existující projekt postavený na OpenAI SDK, změníš jen base URL a jedeme dál.

Hardware: kde je skutečná hranice

Tady je ta klíčová věc, kterou jsem se musel naučit: lokální inference je memory-bound. Neřeší se tolik výkon procesoru jako to, kolik paměti máš k dispozici — RAM pro CPU inference, nebo VRAM pro GPU akceleraci. Platí přitom jednoduchá orientační hodnota: přibližně 0,6 GB na miliardu parametrů při kvantizaci Q4_K_M, plus rezerva na kontext.

Co to znamená v praxi? Podle přehledu na SitePoint:

Model	Parametry	Min RAM/VRAM (Q4_K_M)	Doporučené VRAM
Phi-4 Mini	3,8B	~3 GB	jakékoliv moderní GPU
Mistral / Llama 3.1	7–8B	~5–6 GB	8 GB (RTX 3060 / RTX 4070)
Phi-4	14B	~9 GB	12 GB+ (RTX 3090, RTX 4080)
Qwen 3 32B	32B	~20 GB	RTX 3090 24GB
Llama 3.3	70B	~40 GB	2× RTX 3090 nebo A100

Minimální konfigurace pro začátečníka jsou 8 GB RAM a jakýkoliv moderní procesor — na tom ti 3B–7B model poběží tempem 2–5 tokenů za sekundu. To je pomalé, ale funkční. Jakmile přidáš GPU s 8 GB VRAM (třeba RTX 3060), skočíš na 20–40 tokenů za sekundu u 7B modelu, což už je zcela příjemná rychlost pro každodenní použití.

Já osobně jsem začínal na RTX 3070 s 8 GB VRAM. Mistral 7B v Q4_K_M kvantizaci mi tam bez problémů seděl a odpovídal rychle. Teprve když jsem chtěl Phi-4 (14B), musel jsem přemýšlet jinak.

Apple Silicon — speciální kategorie

Pokud máš Mac s Apple Silicon čipem, máš oproti diskrétním GPU jednu zásadní výhodu: unified memory. GPU přistupuje ke všem systémovým RAM, ne jen k vyhrazenému VRAM. M3 Max se 64 GB unified memory tak zvládne Llama 3.3 70B Q4 tempem 12–18 tokenů za sekundu, M4 Max se 128 GB pak 22–30 tokenů za sekundu. To jsou čísla, která by na diskrétní consumer GPU vyžadovala propojení dvou karet.

Podle benchmarků je RTX 4090 stále výrazně rychlejší pro menší modely (Qwen 2.5 7B tam dělá 90–120 tokenů za sekundu), ale pro velké 70B modely Apple Silicon překvapivě konkuruje — a navíc to celé běží v notebooku.

Jaký model vybrat a jak začít

Teď k těm modelům — co vlastně stáhnout? Podle aktuálních srovnění platí v roce 2026 toto:

• Phi-4 Mini (3,8B) — jediná rozumná volba, pokud máš jen 8 GB RAM a žádné GPU. Malý, ale překvapivě schopný na reasoning tasky.
• Mistral 7B — rychlý, spolehlivý v instruction-following, skvělý jako první model na GPU s 8 GB VRAM.
• Llama 3.1 8B — nejlepší all-round volba pro 7–8B třídu, obrovský ekosystém fine-tunů a komunita.
• Qwen 3 7B — vede v code generation benchmarcích u malých modelů, silný v multilingválních úlohách.
• Phi-4 (14B) — pokud máš 12 GB VRAM, tohle je zlatý střed mezi výkonem a nároky.

Moje doporučení pro start domácího home serveru: nainstaluj Ollama, stáhni llama3.1:8b a zkus to. Teprve pak řeš, jestli chceš větší model nebo rychlejší hardware. Nezačínej od hardwaru — začni od use case.

Praktická poznámka k nastavení: defaultní kvantizace Q4_K_M je dobrý kompromis mezi pamětí a kvalitou. Pokud máš dost VRAM, Q8_0 dá znatelně lepší výsledky u reasoning tasků. A pokud plánuješ model využívat průběžně, nech ho načtený v paměti — cold start přidává 5–15 sekund ke každému dotazu.

Ollama navíc podporuje automatické rozdělení modelu přes více GPU. Pokud máš dvě karty — třeba 2× RTX 3090 (celkem 48 GB VRAM) — Llama 3.3 70B se na ně automaticky rozprostře bez jakéhokoliv manuálního nastavení. To je věc, která mě osobně nadchla: žádná konfigurace, prostě to funguje.

Co z toho plyne pro domácí nasazení

Lokální LLM v roce 2026 přestaly být hračkou pro technologické nadšence a staly se praktickým nástrojem. Jak ukazují různé přehledy, software dozrál, modely jsou genuinely dobré a hardware je dostupný. Co bylo ještě před dvěma lety třídenní projekt vyžadující hluboké systémové znalosti, je dnes záležitost odpoledne.

Pro home automation kontext to znamená: vlastní AI asistent, který odpovídá na dotazy o domácnosti, pomáhá psát automation scripty pro Home Assistant, nebo analyzuje logy z tvého systému — a to vše offline, bez odesílání dat do cloudu.

Začneš na skromném hardwaru, pak organicky upgradeuješ podle toho, co ti chybí. Já jsem od RTX 3070 přešel na RTX 4080 právě proto, aby se mi vešel Phi-4 14B — a byl to krok, který jsem nepotřeboval plánovat předem.

Jaký use case pro lokální LLM tě láká nejvíc? Osobní coding asistent, zpracování dokumentů, nebo třeba integrace přímo do Home Assistanta?