AI halucinácia je odpoveď, ktorú si jazykový model vymyslel, ale podá ju sebavedome ako fakt. Neexistujúci zdroj, zlé číslo, vymyslený paragraf. Úplne ju neodstráni nič, vo firme ju však výrazne obmedzíte: AI odpovedá z vašich zdrojov, výstup kontroluje kód a pri dôležitých krokoch rozhoduje človek.
Čo je AI halucinácia?
Halucinácia nie je chyba v klasickom zmysle. Model nespadne a nevypíše hlásenie. Odpovie plynulo, gramaticky správne a sebavedome. Len to nie je pravda.
Typické príklady vo firme:
Vymyslený zdroj. Odkaz na článok, zákon alebo štúdiu, ktorá neexistuje.
Zlé číslo. Suma, dátum alebo IČO, ktoré v dokumente nie je, ale „sedí“ do vety.
Vymyslená vlastnosť. AI zákazníkovi sľúbi funkciu produktu alebo podmienku, ktorú nemáte.
Domyslený obsah. Zhrnutie zmluvy s bodom, ktorý v nej nie je.
Najzradnejšie na tom je, že vymyslená odpoveď znie rovnako isto ako správna. Podľa tónu ju nespoznáte. Krátku definíciu nájdete v slovníku pojmov.
Prečo AI halucinuje?
Jazykový model nehľadá pravdu. Hľadá najpravdepodobnejšie pokračovanie textu. Keď mu chýbajú údaje, doplní ich niečím, čo znie vierohodne. Výskumníci z OpenAI to v roku 2025 opísali takto:
Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty.
Podľa nich je časť problému v tom, ako sa modely hodnotia: odpoveď sa vypláca viac než „neviem“. Pre firmu z toho plynú tri praktické veci. Model halucinuje najviac tam, kde nemá vaše údaje. Halucinuje pri presných detailoch, ako sú čísla, mená a dátumy. A halucinuje viac, keď ho nútite odpovedať vždy.
Kde je halucinácia vo firme lacná a kde drahá?
Rozhoduje jediná otázka: ide výstup AI ďalej bez kontroly? Podľa toho viete, koľko kontrol treba.
Použitie
Čo spôsobí halucinácia
Cena chyby
Nápady, osnova, prvý návrh textu
Človek ju pri čítaní vyhodí
Nízka
Interné zhrnutie e-mailov alebo porady
Zlý obraz o situácii, kým si niekto neoverí zdroj
Stredná
Odpovede zákazníkom
Sľub alebo informácia, ktorú firma nedodrží
Vysoká
Čísla vo faktúrach, ponukách a objednávkach
Zlá suma alebo zlý dodávateľ v účtovníctve
Vysoká
Zmluvy, dane, právne otázky
Rozhodnutie podľa paragrafu, ktorý neexistuje
Veľmi vysoká
Čím nižšie v tabuľke, tým viac kontrol a tým menej samostatnosti AI dostane. Pri posledných dvoch riadkoch nesmie výstup ísť ďalej bez kontroly kódom alebo človekom.
Ako halucinácie obmedziť vo firme?
Neexistuje jeden trik. Funguje kombinácia vrstiev, kde každá zachytí, čo prepustila predchádzajúca:
01
Odpovedať z vašich zdrojov
AI dostane vaše dokumenty, cenník či objednávky a odpovedá z nich, nie z pamäti (RAG).
02
Povoliť „neviem“
Keď odpoveď v zdroji nie je, AI to má povedať a posunúť prípad človeku.
03
Pevný tvar výstupu
Namiesto voľného textu presné polia: suma, dátum, IČO. Tie sa dajú skontrolovať.
04
Kontrola v kóde
Súčet riadkov sedí, IČO existuje, dátum dáva zmysel. Kód sa nemýli tak ako model.
05
Človek pri dôležitých krokoch
Platby, sľuby zákazníkom, zmluvy. Čo kontroly neoveria, ide človeku.
Ako RAG funguje, vysvetľuje slovník pri pojme RAG. Na kontrolu výstupov, ktoré sa nedajú overiť pravidlom, sa dá použiť aj druhý model ako recenzent. Ako to robíme pri kóde, opisujeme v článku LLM as a judge: AI recenzent.
Príklad: faktúry v našom vlastnom účtovníctve
V našom vlastnom účtovníctve číta AI faktúry z e-mailov a zapisuje ich do účtovného systému. Model vyťahuje polia: dodávateľa, IČO, sumu, DPH a splatnosť. Dodávateľa nepárujeme podľa názvu, ktorý AI prečítala, ale cez IČO, ktoré je jednoznačné.
Chyba stojí veľa a výstup sa nedá overiť. Napríklad výklad zákona bez človeka, ktorý ho skontroluje.
Odpoveď musí byť vždy rovnaká. Výpočet, ktorý vie urobiť pevné pravidlo, nemá robiť model.
Nemáte zdroje. Ak firma nemá spísaný cenník, podmienky alebo postup, AI si ich domyslí.
Takúto prácu radšej necháme pevnému softvéru a AI použijeme len tam, kde treba čítať voľný text.
Chcete AI, ktorá si nevymýšľa vaším menom?
Napíšte nám, ktorú prácu chcete dať AI a kde by chyba bola drahá. Ozveme sa do dvoch pracovných dní s pár otázkami k vašej práci. Potom dostanete zoznam: čo bude hotové a ako si to overíte.
Odpoveď, ktorú si AI vymyslela, ale podá ju sebavedome ako fakt. Neexistujúci zdroj, zlé číslo, vymyslený paragraf alebo funkcia produktu, ktorú nemáte.
Prečo AI halucinuje?
Jazykový model nehľadá pravdu, ale najpravdepodobnejšie pokračovanie textu. Keď mu chýbajú údaje, doplní ich niečím, čo znie vierohodne. Navyše ho tréning často odmeňuje za odpoveď viac než za priznanie, že nevie.
Dajú sa AI halucinácie úplne odstrániť?
Nie. Novšie modely halucinujú menej, ale nikto nevie zaručiť nulu. Vo firme sa dajú výrazne obmedziť: AI odpovedá z vašich zdrojov, výstup kontroluje kód a pri dôležitých krokoch rozhoduje človek.
Pomôže RAG proti halucináciám?
Pomôže, lebo AI odpovedá z vašich dokumentov, nie z pamäti. Halucinácie však úplne neodstráni: model môže zdroj zle prečítať alebo doplniť, čo v ňom nie je. Preto sa oplatí aj kontrola, či odpoveď v zdroji naozaj stojí.
Kde je AI halucinácia vo firme najnebezpečnejšia?
Všade, kde výstup ide ďalej bez kontroly: čísla vo faktúrach a ponukách, odpovede zákazníkom, zmluvy, dane a právne otázky. Pri návrhoch a nápadoch, ktoré si človek aj tak prečíta, je halucinácia lacná.
Opýtajte sa AI na tento článok
AI pri odpovedi využije aj naše ďalšie články a skúsenosti z reálnych projektov.
Pozrieme sa na web vašej firmy a napíšeme vám, čo by sa dalo zautomatizovať.
Nechajte nám pracovný e-mail. Pozrieme sa na web vašej firmy a do 2 pracovných dní vám pošleme 2 až 3 konkrétne nápady, kde vám softvér alebo AI ušetrí čas. Bez hovoru, bez záväzku.
Human in the loop znamená, že AI agent robí prácu a v dohodnutých bodoch ju schváli človek. Ktoré kroky schvaľovať, ako nepreťažiť ľudí schvaľovaním a kedy pustiť agenta samého.
AI guardrails sú pravidlá a kontroly, ktoré určujú, čo AI agent smie urobiť a čo nie. Rozdiel medzi pokynom v prompte a mantinelom v kóde, 7 vecí, ktoré firemný agent nesmie urobiť sám, a čo sa pýtať dodávateľa.
Agentic AI je AI, ktorá nielen odpovedá, ale sama robí prácu v mantineloch, ktoré jej dáte. Rozdiel oproti generatívnej AI a automatizácii, kde sa to firme oplatí a čo pripraviť, kým agenta pustíte.