AI halucinace: proč si AI vymýšlí a jak to omezit

AI halucinace je odpověď, kterou si jazykový model vymyslel, ale podá ji sebevědomě jako fakt. Neexistující zdroj, špatné číslo, vymyšlený paragraf. Úplně ji neodstraní nic, ve firmě ji ale výrazně omezíte: AI odpovídá z vašich zdrojů, výstup kontroluje kód a u důležitých kroků rozhoduje člověk.

Co je AI halucinace?

Halucinace není chyba v klasickém smyslu. Model nespadne a nevypíše hlášku. Odpoví plynule, gramaticky správně a sebevědomě. Jen to není pravda.

Typické příklady ve firmě:

• Vymyšlený zdroj. Odkaz na článek, zákon nebo studii, která neexistuje.
• Špatné číslo. Částka, datum nebo IČO, které v dokumentu není, ale „sedí“ do věty.
• Vymyšlená vlastnost. AI zákazníkovi slíbí funkci produktu nebo podmínku, kterou nemáte.
• Domyšlený obsah. Shrnutí smlouvy s bodem, který v ní není.

Nejzrádnější je, že vymyšlená odpověď zní stejně jistě jako správná. Podle tónu ji nepoznáte. Krátkou definici najdete ve slovníku pojmů.

Proč AI halucinuje?

Jazykový model nehledá pravdu. Hledá nejpravděpodobnější pokračování textu. Když mu chybí údaje, doplní je něčím, co zní věrohodně. Výzkumníci z OpenAI to v roce 2025 popsali takto:

Podle nich je část problému v tom, jak se modely hodnotí: odpověď se vyplácí víc než „nevím“. Pro firmu z toho plynou tři praktické věci. Model halucinuje nejvíc tam, kde nemá vaše údaje. Halucinuje u přesných detailů, jako jsou čísla, jména a data. A halucinuje víc, když ho nutíte odpovídat vždy.

Kde je halucinace ve firmě levná a kde drahá?

Rozhoduje jediná otázka: jde výstup AI dál bez kontroly? Podle toho víte, kolik kontrol je potřeba.

Čím níž v tabulce, tím víc kontrol a tím méně samostatnosti AI dostane. U posledních dvou řádků nesmí výstup jít dál bez kontroly kódem nebo člověkem.

Jak halucinace ve firmě omezit?

Neexistuje jeden trik. Funguje kombinace vrstev, kde každá zachytí, co propustila předchozí:

Jak RAG funguje, vysvětluje slovník u pojmu RAG. Na kontrolu výstupů, které se nedají ověřit pravidlem, se dá použít i druhý model jako recenzent. Jak to děláme u kódu, popisujeme v článku LLM as a judge: AI recenzent.

Příklad: faktury v našem vlastním účetnictví

V našem vlastním účetnictví čte AI faktury z e-mailů a zapisuje je do účetního systému. Model vytahuje pole: dodavatele, IČO, částku, DPH a splatnost. Dodavatele nepárujeme podle názvu, který AI přečetla, ale přes IČO, které je jednoznačné.

Zbytek faktur kontroluje člověk. Jak vybírat mezi OCR a systémem s kontrolami, je v článku Vytěžování faktur: OCR, nebo systém?

Je vaše AI řešení chráněné proti halucinacím?

Zaškrtněte, co už máte:

Kdy AI na danou práci nepoužít

• Chyba stojí hodně a výstup se nedá ověřit. Třeba výklad zákona bez člověka, který ho zkontroluje.
• Odpověď musí být vždy stejná. Výpočet, který umí udělat pevné pravidlo, nemá dělat model.
• Nemáte zdroje. Pokud firma nemá sepsaný ceník, podmínky nebo postup, AI si je domyslí.

Takovou práci raději necháme pevnému softwaru a AI použijeme jen tam, kde je potřeba číst volný text.

Chcete AI, která si nevymýšlí vaším jménem?

Napište nám, kterou práci chcete dát AI a kde by chyba byla drahá. Ozveme se do dvou pracovních dnů s pár otázkami k vaší práci. Pak dostanete seznam: co bude hotové a jak si to ověříte.

Jak stavíme AI agenty s kontrolami, popisujeme na stránce AI agent pro firmu na míru. Pokud se chcete nejdřív pobavit, domluvte si úvodní hovor na 15 minut.

Časté otázky

Co je AI halucinace jednoduše?

Odpověď, kterou si AI vymyslela, ale podá ji sebevědomě jako fakt. Neexistující zdroj, špatné číslo, vymyšlený paragraf nebo funkce produktu, kterou nemáte.

Proč AI halucinuje?

Jazykový model nehledá pravdu, ale nejpravděpodobnější pokračování textu. Když mu chybí údaje, doplní je něčím, co zní věrohodně. Navíc ho trénink často odměňuje za odpověď víc než za přiznání, že neví.

Dají se AI halucinace úplně odstranit?

Ne. Novější modely halucinují méně, ale nikdo neumí zaručit nulu. Ve firmě se dají výrazně omezit: AI odpovídá z vašich zdrojů, výstup kontroluje kód a u důležitých kroků rozhoduje člověk.

Pomůže RAG proti halucinacím?

Pomůže, protože AI odpovídá z vašich dokumentů, ne z paměti. Halucinace ale úplně neodstraní: model může zdroj špatně přečíst nebo doplnit, co v něm není. Proto se vyplatí i kontrola, jestli odpověď ve zdroji opravdu stojí.

Kde je AI halucinace ve firmě nejnebezpečnější?

Všude, kde výstup jde dál bez kontroly: čísla ve fakturách a nabídkách, odpovědi zákazníkům, smlouvy, daně a právní otázky. U návrhů a nápadů, které si člověk stejně přečte, je halucinace levná.