Human in the loop: kiedy agent AI powinien czekać?

Human in the loop oznacza, że agent AI wykonuje pracę, ale człowiek sprawdza ją lub zatwierdza w uzgodnionych punktach. Agent przygotowuje odpowiedź, zamówienie albo wpis, a człowiek go potwierdza, poprawia albo odrzuca. Dla firmy pytanie nie brzmi, czy zostawić człowieka w procesie, tylko przy których krokach.

Poniżej: które kroki zatwierdzać, jak nie przeciążać ludzi zatwierdzaniem i kiedy pozwolić agentowi pracować samodzielnie. Krótka definicja jest też w naszym słowniku pojęć.

Czym jest human in the loop, mówiąc prosto?

Agent pracuje i zatrzymuje się przy ważnym kroku. Wysyła szkic do człowieka i czeka. Człowiek ma trzy możliwości: zatwierdzić, poprawić albo odrzucić. Dopiero wtedy agent działa dalej.

Druga połowa pętli jest równie ważna. Każda poprawka wraca do materiałów agenta: jego przykładów, reguł i typów przypadków. Bez tego ludzie w kółko poprawiają te same błędy, a pętla prowadzi donikąd.

Przy agentach AI to nie jest dodatkowa ostrożność. Agent działa na modelu językowym, który pracuje z prawdopodobieństwami i czasem się myli. Człowiek w procesie to powód, dla którego można używać agenta nawet tam, gdzie błąd kosztuje pieniądze.

Human in the loop, on the loop, out of the loop: jaka jest różnica?

Artykuły o AI używają trzech poziomów. Różnią się tym, kiedy człowiek wkracza w pracę.

Jeden agent może używać wszystkich trzech naraz, innego dla każdego typu pracy. Dokładnie tak to powinno wyglądać.

Które kroki powinien zatwierdzać człowiek?

Nie wszystkie. Jeśli człowiek zatwierdza każdy krok, agent niczego nie oszczędza, a ludzie przestają z niego korzystać. Zatwierdzanie ma sens tam, gdzie błąd jest drogi. Proszę zaznaczyć, co dotyczy kroku, który chcą Państwo powierzyć agentowi:

W agentach, które budujemy, ważne kroki zatwierdza człowiek. Z kodem jest tak samo: pisze go AI, a każdą zmianę sprawdza senior. Czego agent nie może robić w ogóle, nawet z zatwierdzeniem, opisujemy w Guardrails AI: czego firmowy agent AI nie może robić.

Jak uniknąć zmęczenia zatwierdzaniem?

Tu human in the loop psuje się najczęściej. Człowiek dostaje dziesiątki szkiców dziennie. Pierwsze czyta uważnie. Tydzień później klika „zatwierdź” bez czytania, bo agent do tej pory zawsze miał rację. Formalnie jest w procesie, w rzeczywistości nie.

To zjawisko ma nazwę: automation bias, skłonność do ufania wynikowi maszyny bardziej, niż na to zasługuje. AI Act wymienia je w art. 14 o nadzorze człowieka nad systemami AI wysokiego ryzyka. Większość firmowych agentów nie należy do tej kategorii, ale zasada dotyczy wszystkich. To nie jest porada prawna.

Co pomaga:

• Mniej do zatwierdzania. Tylko typy pracy, w których błąd jest drogi. Reszta działa sama albo trafia do kontroli próbek.
• Materiały obok szkicu. Człowiek widzi, z czego korzystał agent: zamówienie, historię, regułę. Nie musi ich szukać.
• Jasne przyciski. Zatwierdź, popraw, odrzuć. Przy odrzuceniu jedno zdanie, dlaczego. Wraca ono do materiałów.
• Mierzyć poprawki. Ile szkiców ludzie zmieniają. Gdy poprawki w danym typie pracy znikają, zatwierdzanie tam niczego już nie chroni.

Szczerze: nie mamy dokładnej liczby, ile szkiców dziennie człowiek jest w stanie porządnie sprawdzić. To zależy od pracy. Sprawdzenie odpowiedzi o dostawie trwa sekundy, sprawdzenie oferty cenowej minuty.

Kiedy pozwolić agentowi pracować samodzielnie?

Autonomii nie oddaje się od razu. Dodaje się ją po jednym typie pracy, w miarę jak agent pokazuje, że sobie radzi. My idziemy w tej kolejności:

Krok 1 wygląda na opóźnienie. W rzeczywistości to jedyny sposób, by sprawdzić, z czym agent sobie radzi. Zespoły, które go pomijają, albo wyłączają agenta, albo poświęcają więcej czasu na poprawianie go, niż zaoszczędził.

Jak to wygląda w praktyce?

Dla klienta ze sprzedażą online zbudowaliśmy agenta do obsługi klienta. Odpowiada klientom w mniej niż 5 minut. Przypadki, których nie jest pewien, trafiają do człowieka.

Człowiek w procesie nie spowolnił tu pracy. Przesunął ją. Obsługa klienta przestała pisać rutynowe odpowiedzi i poświęca czas przypadkom, które wymagają osądu. Cały proces opisujemy w Agent AI do e-maili od klientów: jak zacząć.

W tworzeniu oprogramowania działa to tak samo. Większość naszego kodu pisze AI, a senior sprawdza każdą zmianę przed wdrożeniem. Jak to działa, opisujemy w Fabryka oprogramowania z AI i człowiekiem w procesie.

Kiedy tego nie polecamy

• Zadanie jest tanie i odwracalne. Sortowanie poczty do folderów albo notatki wewnętrzne. Zatwierdzanie kosztowałoby więcej niż błąd.
• Osoba zatwierdzająca nie ma czasu ani materiałów. Ktoś, kto nie potrafi ocenić szkicu, po prostu go przeklikuje. Najpierw proszę dać jej materiały albo wybrać kogoś innego.
• Stała reguła zawsze daje ten sam wynik. Wtedy nie potrzeba ani agenta, ani zatwierdzania. Wystarczy automatyzacja, jak wyjaśniamy w Agentic workflow a automatyzacja.
• Poprawek nie ubywa nawet po tygodniach. Więcej zatwierdzania nie pomoże. Problem leży w materiałach albo w typie pracy, który nie pasuje do agenta.

Nie wiedzą Państwo, gdzie w procesie powinien czekać człowiek?

Proszę napisać, jaką pracę chcą Państwo powierzyć agentowi. Odezwiemy się w ciągu dwóch dni roboczych z kilkoma pytaniami o Państwa pracę. Potem ustalimy, co zrobimy najpierw. Ustalimy też, które kroki zatwierdza człowiek.

Jeśli wolą Państwo najpierw porozmawiać, proszę zarezerwować 15-minutową rozmowę wstępną.

Jak budujemy takiego agenta, opisujemy na stronie Agent AI na zamówienie dla firm. Czym jest agent i kiedy go nie potrzeba, wyjaśniamy w Czym jest agent AI?

Którego kroku w Państwa firmie nigdy nie powierzyliby Państwo agentowi bez kontroli?

Najczęstsze pytania

Czym jest human in the loop?

Human in the loop oznacza, że agent AI wykonuje pracę, ale człowiek sprawdza ją lub zatwierdza w uzgodnionych punktach. Agent przygotowuje szkic, a człowiek go potwierdza, poprawia albo odrzuca. Dopiero wtedy agent działa dalej.

Czym human in the loop różni się od human on the loop?

Przy human in the loop agent czeka, aż człowiek zatwierdzi krok. Przy human on the loop agent działa sam, a człowiek obserwuje i może interweniować. Pierwsze pasuje do ryzykownych kroków, drugie do sprawdzonych typów pracy.

Które kroki agenta AI powinien zatwierdzać człowiek?

Kroki, których nie da się cofnąć, które kosztują pieniądze, wychodzą poza firmę albo dotyczą reklamacji i spraw prawnych. I wszystko, czego agent nie jest pewien.

Jak sprawić, by ludzie nie zatwierdzali na ślepo?

Dać im mniej do zatwierdzania, za to lepiej: tylko ryzykowne typy pracy, z materiałami, z których korzystał agent, obok szkicu. Mierzyć, ile szkiców poprawiają. Gdy poprawki w danym typie pracy znikną, pozwolić mu działać samodzielnie i sprawdzać próbkę.

Kiedy agent AI może pracować bez zatwierdzania?

W typie pracy, w którym przez jakiś czas zatwierdzali Państwo szkice i przestały przychodzić poprawki. Błąd musi być tani i odwracalny. Niepewne przypadki agent i tak przekazuje człowiekowi.