Halucinace není chyba, která se „časem opraví". Je to vlastnost jazykových modelů: když chybí data, model doplní nejpravděpodobnější pokračování — a často ho podá se stejnou jistotou jako ověřený fakt. Modely nejistotu vyjádřit umí, jenže vyjádřená jistota nemusí odpovídat správnosti — a lidé ji navíc přeceňují. Firmy, které AI používají na smlouvy, nabídky, reporting nebo komunikaci se zákazníky, potřebují systém, který chybný výstup zachytí dřív, než opustí budovu. Tady je postup, který používám v auditech podle ŠUBERT META KODEXU.
Proč halucinace přežívají kontrolu
Většina firem výstupy AI „kontroluje" tak, že je někdo přečte. To nefunguje, a je dobré rozumět proč:
- Halucinace vypadají nejlíp z celého textu. Model si nevymýšlí kostrbatě — vymyšlená citace, paragraf nebo číslo má dokonalou formu. Oko čtenáře sklouzne právě po nich.
- Čtenář kontroluje styl, ne fakta. Bez vodítka, kde je slabé místo, kontrola sklouzne k „zní to dobře → je to dobře".
- Únava jistoty. Když AI stokrát odpoví správně, po sto prvé už ji nikdo neověřuje. Přesně tehdy projde chyba.
Typologie: co přesně hledáte
„Halucinace" je souhrnný pojem pro několik různých selhání — a každé se hledá jinak:
- Vymyšlený fakt — neexistující číslo, datum, jméno, paragraf, citace. Nejnebezpečnější v právních a finančních textech.
- Falešná jistota — tvrzení je možná pravdivé, ale model ho podává jako jisté, ačkoli pro něj nemá oporu. Nejčastější typ ve firemní praxi.
- Tichá extrapolace — model dostal data do března a mluví o červnu. Formálně nelže, jen nepřizná, kde mu končí půda pod nohama.
- Slepené zdroje — půlka věty z jednoho kontextu, půlka z druhého; výsledek nedává dohromady smysl, ale zní odborně.
- Poslušná chyba — model přebere chybný předpoklad z otázky („spočítej DPH 15 %…") a bez protestu na něm postaví celý výstup.
Jak je odhalit systematicky
V auditech se osvědčil třífázový postup — v META KODEXU mu říkám PRODUCER → AUDITOR → ADVERSARIAL:
- 1. Oddělit fakta od interpretace. Výstup se nejdřív rozloží: co je doložitelný fakt, co inference, co odhad, co spekulace (certainty tagging). Tvrzení, které nejde přiřadit k podkladu, dostane značku a přestane se tvářit jako fakt. Značka ale platí až po kontrole podkladu (krok 2) — sama o sobě nic neověřuje (pravidla značek).
- 2. Ověřit kotvy. Každé číslo, jméno, datum a citace se ověřuje proti zdroji (Proof Engine). Ne celý text — právě kotvy. Je to rychlé a míří to přesně na místa, kde vymyšlené fakty bývají.
- 3. Adversariální průchod. Druhý model (nebo člověk) dostane opačné zadání: „najdi, co v tomhle textu nesedí, co je nepodložené a kde autor přehání jistotu". Útočná kontrola najde to, co souhlasné čtení přehlédne.
Co z toho zavést zítra, i bez frameworku
- U výstupů, které jdou ven z firmy, chtějte po AI vždy zdroje a míru jistoty — co je bez dohledatelného zdroje, berte jako návrh, ne fakt. A jistotu, kterou si AI přidělí sama, berte jako nápovědu, ne jako doklad.
- Zaveďte pravidlo kotvy se ověřují vždy: čísla, jména, data, citace, paragrafy. Pět minut práce, které chytí nejdražší chyby.
- Důležité výstupy nechte projít druhým průchodem s opačným zadáním („zkritizuj, najdi slabiny") — klidně stejným modelem.
- Veďte si evidenci zachycených chyb. Za měsíc víte, kde AI ve vaší firmě selhává nejčastěji, a kontrolu zacílíte tam.
Kdy na to vzít audit
Pokud AI výstupy ovlivňují smlouvy, ceny, klienty nebo reporting pro vedení, vyplatí se jednorázový audit AI výstupů podle META KODEXU: vezmu vzorek vašich reálných výstupů, projedu je celým postupem výše a vrátím seznam tvrzení, která neobstála, skóre 0–10 za práci s nejistotou a konkrétní doporučení — co lze používat rovnou, co s kontrolou a co vůbec. Vyzkoušet si to můžete i sami: na hlavní stránce běží živé demo auditu, kam vložíte libovolný AI výstup.