Jeden z našich klientov — výrobná firma so stredne veľkým ERP — nasadil AI agenta na spracovanie objednávok. Prvé tri týždne bežal výborne: zoskupoval dopyty, overoval dostupnosť a generoval návrhy. Potom prišiel prípad, ktorý nebol v tréningových dátach — zákazník s neštandardnou platobnou podmienkou. Agent odhadol, že situácia je štandardná, a objednávku potvrdil. Bez schválenia. Bez eskalácie. S nesprávnymi podmienkami.
Agentovi nenapadlo zastaviť sa a opýtať. Nemal na to pravidlá.
Toto nie je argument proti AI agentom. Je to argument za premyslený human-in-the-loop (HITL) dizajn — súbor pravidiel, ktoré určujú, kedy agent koná sám a kedy čaká na človeka. Tento článok je rozhodovací rámec pre prax: kde nakresliť hranicu, ako technicky implementovať approval flow a ako autonómiu agenta postupne a bezpečne rozširovať.
Prečo HITL nie je len "bezpečnostný plaster"
Najčastejšia chyba pri navrhovaní agentov: HITL sa pridá na záver ako filter. Výstup agenta — rozhodnutie, akcia, dokument — prejde cez schvaľovacie okno, a ak človek klikne "OK", ide ďalej.
Takýto prístup rieši len symptóm. Nevidíte, čo agent robil pred tým. Neviete, či rozhodnutie logicky plynulo zo správnych krokov alebo či agent dospel k správnemu výsledku zlou cestou. A keď sa niečo pokazí, audit trail je prázdny.
Správny HITL je architektúrny vzor, nie doplnok. Definujete ho pred nasadením, nie po prvom incidente. Zahŕňa:
- Klasifikáciu akcií podľa miery rizika a nevratnosti
- Explicitné interrupt body v grafe agenta — nie len na výstupe, ale priamo v toku rozhodovania
- Audit trail každého kroku: čo agent videl, čo rozhodol, kto schválil
EU AI Act v článku 14 vyžaduje human oversight pre high-risk AI systémy od 2. augusta 2026. Ak váš systém spadá do tejto kategórie — automatizované rozhodovanie v pracovnoprávnych veciach, úverové skórovanie, riadenie kritickej infraštruktúry — HITL nie je odporúčanie. Je to povinnosť.
Akcie, ktoré vždy vyžadujú schválenie
Nie každá akcia agenta je rovnako riziková. Kľúčové kritérium je nevratnosť: môžete akciu vrátiť späť? Ak nie, schválenie je povinné.
Druhé kritérium je rozsah dopadu: koho sa akcia dotkne, koľko peňazí alebo dát je v hre, aká je regulačná expozícia?
Akcie, pri ktorých odporúčame vždy zastaviť a požiadať o schválenie:
- Finančné transakcie — odoslanie platby, vystavenie faktúry, zmena cenníka, objednávka u dodávateľa nad definovaný limit
- Nevratné operácie s dátami — mazanie záznamov, zálohovanie pred prepisom, export do externého systému
- Komunikácia navonok v mene firmy — e-mail zákazníkovi, odpoveď na sťažnosť, právny dokument
- Zmeny v systémoch tretích strán — zápis do ERP, CRM, SCADA; zmena konfigurácií produkčného prostredia
- Eskalačné rozhodnutia s právnou expozíciou — odmietnutie reklamácie, ukončenie zmluvy, akceptácia záväzku
V praxi vidíme, že firmy tieto kategórie na začiatku podceňujú. Kým agent pracuje len s interným sandboxom, všetko vyzerá bezpečne. Problémy prichádzajú v momente, keď agent dostane prístup k produkčným nástrojom.
Human-on-the-loop vs. Human-in-the-loop
Dôležité rozlíšenie, ktoré ovplyvní celý dizajn:
Human-in-the-loop (HITL) — agent sa zastaví a *čaká* na schválenie pred vykonaním akcie. Tok je blokovaný. Čas odozvy závisí od dostupnosti operátora. Vhodné pre nevratné alebo high-risk akcie.
Human-on-the-loop (HOTL) — agent koná autonómne, ale každý krok loguje a operátor môže zasiahnuť asynchronne. Tok je neblokovaný. Vhodné pre akcie, ktoré sú ľahko reverzibilné alebo s nízkym dopadom.
Väčšina produkčných systémov potrebuje oba režimy. Jednoduchý rozhodovací strom:
- 1.Je akcia nevratná? → HITL povinný
- 2.Je finančný dopad nad limitom (napr. 1 000 EUR)? → HITL povinný
- 3.Je regulačná expozícia (GDPR, zmluva, zodpovednosť)? → HITL povinný
- 4.Je akcia rutinná a reverzibilná? → HOTL postačuje
Toto nie je jednorazové rozhodnutie. Limity sa menia s tým, ako agent získava históriu a dôveru.
Technická implementácia: LangGraph interrupt()
Najčistejšia technická implementácia HITL pre stateful agentov je cez LangGraph a jeho mechanizmus interrupt(). Princíp je jednoduchý: v grafe agenta definujete uzly, pri ktorých sa tok pozastaví a čaká na externý vstup — schválenie, opravu, odmietnutie.
Základný vzor:
- Agent spracuje vstup a rozhodne, akú akciu chce vykonať
- Pred vykonaním akcie dosiahne interrupt uzol: uloží aktuálny stav (checkpointing), vygeneruje popis navrhovanej akcie pre operátora a čaká
- Operátor dostane notifikáciu (e-mail, Slack, integrovaný UI panel)
- Pri schválení sa tok obnoví od presného checkpointu — agent si pamätá celý kontext, nie len poslednú správu
- Pri odmietnutí alebo úprave agent dostane spätnú väzbu a môže preplánovať
Kľúčová vlastnosť LangGraph checkpointingu: stav agenta je serializovaný do perzistentného úložiska. Schválenie môže prísť o hodinu alebo zajtra — agent "zobudí" s plným kontextom. Toto je zásadný rozdiel oproti naivnému prístupu, kde by ste interrupt museli implementovať sami cez databázu a Redis.
Pre dôveryhodný audit trail každý interrupt uzol zaznamená: identifikátor agenta, čas, navrhovanú akciu, argumenty nástroja, a neskôr aj rozhodnutie operátora a zdôvodnenie.
Viac o tom, ako agentické architektúry vyzerajú v praxi, popisujeme v článku Architektúry AI agentov: ReAct, Plan-and-Execute, kedy ktorá.
Návrh approval flow
Dobrý approval flow má tri vlastnosti: kontextovosť (operátor vidí, prečo agent navrhuje túto akciu, nie len akú), rýchlosť odozvy (čím dlhšie čaká agent, tým viac sa hromadia blokované úlohy) a eskalácia (ak operátor nereaguje do definovaného času, úloha eskaluje alebo sa bezpečne ukončí).
Odporúčaná štruktúra notifikácie pre operátora:
- Kontext: Z čoho vychádza rozhodnutie — pôvodná požiadavka, relevantné dáta, kroky pred akciou
- Navrhovaná akcia: Čo presne agent chce urobiť, vrátane argumentov (napr. "Objednať 500 ks SKU-4421 u dodávateľa X za cenu Y")
- Dôvod: Prečo agent dospel k tomuto rozhodnutiu
- Alternatívy: Ak agent zvažoval viacero možností, ukáž ich (pomáha operátorovi pri oprave)
- Akcie: Schváliť / Odmietnuť / Upraviť s komentárom / Eskalovať
Toto nie je len UX detail. Operátor, ktorý vidí len "Potvrdite akciu?", schváli väčšinou reflexívne. Operátor, ktorý vidí celý kontext, robí informované rozhodnutie — a zároveň buduje intuíciu o tom, kde agent robí chyby.
Téme bezpečnosti a guardrails pri agentoch sa venujeme podrobnejšie v článku Guardrails pre AI agentov.
Dôvera vs. rýchlosť: hlavný trade-off
HITL má cenu. Každý interrupt point pridáva latenciu — čakanie na ľudskú odozvu môže byť minúty alebo hodiny. Ak má agent desať krokov a každý čaká na schválenie, systém nie je agent. Je to formulárový workflow s AI fasádou.
Preto je dôvera voči agentovi škálovateľná premenná, nie binárne rozhodnutie.
Praktický rámec pre postupné uvoľňovanie autonómie:
Fáza 1 — Tienové spustenie (shadow mode): Agent navrhuje akcie, ale vykonáva ich vždy človek. Zbierajú sa dáta: ako často bol agent správny, kde sa mýlil, aký bol kontext chýb. Trvanie: 2–4 týždne alebo 100–200 akcií.
Fáza 2 — Selektívna autonómia: Na základe dát z fázy 1 definujete kategórie akcií, kde agent mal > 95 % presnosť, a tie uvoľníte do HOTL režimu. Stále monitorujete. Vysokorizikové kategórie ostávajú HITL.
Fáza 3 — Limitovaná autonómia s limity: Autonómia v nízkorizikových kategóriách s explicitnými limitmi (napr. objednávky do 500 EUR bez schválenia). Každý limit má zdôvodnenie a revízny dátum.
Fáza 4 — Adaptívna autonómia: Systém sleduje výkonnosť v reálnom čase. Ak error rate stúpne nad prah, automaticky sa vráti do restriktívnejšieho režimu. Ak zostáva nízky, limit sa môže rozšíriť.
Toto nie je jednorazový projekt. Je to kontinuálny proces kalibrovania dôvery — podobne ako pri zaúčaní nového zamestnanca.
Otázku nákladov a návratu investície z pohľadu agentov adresujeme v Náklady AI agenta v produkcii.
Čo HITL nerieši: limity prístupu
HITL je nevyhnutný, ale nie postačujúci. Niekoľko vecí, ktoré schvaľovací tok sám o sebe nevyrieši:
Prompt injection — útočník vloží inštrukcie do vstupu agenta (napríklad do spracúvaného dokumentu), ktoré agent vykoná bez toho, aby to bolo evidentné v schvaľovacom okne. Operátor vidí "normálnu" akciu, za ktorou stojí manipulovaný tok. OWASP LLM Top 10 radí prompt injection na prvé miesto v produkcii.
Príliš široký rozsah nástrojov — ak agent má prístup k príliš širokej sade nástrojov, HITL chráni len pri akciách, ktoré sú explicitne flagované. Akcie mimo explicitne sledovaného rozsahu môžu ísť mimo radar. Riešenie: princíp najmenších oprávnení pre každý nástroj.
Rýchlosť schvaľovania ako bottleneck — ak jeden operátor schvaľuje desiatky žiadostí za deň, kvalita jeho rozhodnutí klesá. Rutinné žiadosti sa schvaľujú reflexívne, skutočné anomálie prechádzajú bez povšimnutia. HITL musí byť doplnený o triage: nie každé schválenie je rovnako dôležité.
Drift agenta — výkon agenta sa mení v čase, ak sa menia dáta alebo promptovací kontext. Akcia, ktorá bola pred šiestimi mesiacmi bezpečne autonómna, môže byť dnes riziková. Preto sú revízne dátumy pre limity povinnosťou, nie odporúčaním.
Observabilita agenta — sledovanie traces, error rate a latencií v reálnom čase — je predpokladom pre funkčný HITL. Bez nej netušíte, kedy drift nastáva. O nástrojoch na sledovanie agentov píšeme v Observability AI agentov.
Praktické odporúčania pre nasadenie
Zo skúseností z desiatok projektov:
- 1.Začnite s plným HITL na všetky akcie. Nie z opatrnosti, ale preto, aby ste zbierali dáta. Bez histórie nemôžete robiť informované rozhodnutia o tom, kde uvoľniť autonómiu.
- 2.Kategorizujte akcie explicitne. Zoznam kategórií s definovaným rizikom a limitom nechajte schváliť u vlastníka procesu — nie len u IT tímu.
- 3.Logujte všetko, nie len incidenty. Rutinné schválenia sú rovnako dôležité pre analýzu trendov ako odmietnutia.
- 4.Nastavte automatickú eskaláciu. Ak operátor nereaguje do X minút, úloha eskaluje na zástupcu alebo sa bezpečne ukončí s notifikáciou. Čakajúci agent nikdy nesmie blokovať produkčný proces.
- 5.Testujte zlé vstupy. Simulujte vstupy, kde by agent mohol chcieť urobiť problematickú akciu. Overte, že interrupt funguje správne.
- 6.Revízny cyklus každé 3 mesiace. Prejdite štatistiky schválení. Kde je chybovosť nízka a história dobrá — zvažujte rozšírenie autonómie. Kde vznikajú prekvapenia — sprísniť.
Časté otázky
Musíme mať HITL aj pre interného chatbota, ktorý len odpovedá na otázky?
Ak agent len číta a odpovedá — žiadne nástroje s write prístupom, žiadne akcie navonok — HITL nie je nevyhnutný. Stačí HOTL: sledujete výstupy, nastavíte content guardrails a máte možnosť zasiahnuť. HITL je relevantný tam, kde agent *koná*, nie len *odpovedá*.
Ako zabrániť tomu, aby operátori schvaľovali bez premyslenia?
Dve osvedčené techniky: po prvé, zobrazujte plný kontext (prečo agent navrhuje akciu), nie len akciu samotnú. Po druhé, pri kritických kategóriách vyžadujte od operátora krátke zdôvodnenie schválenia — aspoň jednu vetu. Povinné zdôvodnenie dramaticky znižuje reflexívne schvaľovanie.
Môže HITL spôsobiť, že agent bude príliš pomalý pre produkčné použitie?
Áno, ak je zle navrhnutý. Kľúč je selektivita: HITL len pre naozaj high-risk akcie, všetko ostatné na HOTL. V praxi tvorí kategória skutočne kritických akcií 5–15 % celkového objemu v typickom firemnom agentovi — zvyšok môže bežať autonómne s monitoringom.
Čo ak agent potrebuje schválenie uprostred dlhej úlohy — stratí kontext?
Práve preto je LangGraph checkpointing dôležitý. Agent serializuje stav pri každom interrupt bode. Ak schválenie príde po hodine alebo aj po dni, agent obnoví tok z presného bodu bez straty kontextu. Bez checkpointingu by ste museli celú úlohu reštartovať.
Ako súvisí HITL s EU AI Act?
Článok 14 EU AI Act vyžaduje human oversight pre high-risk AI systémy. Od 2. augusta 2026 platí táto povinnosť pre systémy v oblastiach ako zamestnávanie, vzdelávanie, kritická infraštruktúra, riadenie prístupu k základným službám a ďalšie. Ak váš agent patrí do niektorej z týchto kategórií, HITL nie je voľba — je to zákonná požiadavka, ktorú musíte vedieť preukázať aj auditom.
*Navrhnúť a nakonfigurovať HITL flow pre konkrétneho agenta nie je projekt na týždne — je to architektúrne rozhodnutie, ktoré ovplyvní celý životný cyklus systému. V MP Industrial Solutions pomáhame firmám zmapovať, kde presne leží hranica medzi autonómiou a dohľadom, nastaviť approval flow zodpovedajúci ich regulačnému prostrediu a postupne budovať dôveru vo výkon agenta. Ak zvažujete nasadenie alebo máte existujúceho agenta bez premysleného HITL dizajnu — ozvite sa na konzultáciu.*