Wszystko było zielone, a robota szła w złą stronę

Agent AI potrafi przygotować wycenę albo odpowiedź do klienta, która wygląda bez zarzutu. Zostaje pytanie, kto odpowiada za to, czy jest dobra, i jak to sprawdzić, zanim wyjdzie z firmy. Opowiem Ci o dniu, w którym u mnie wszystkie kontrole przeszły, a robota i tak szła w złą stronę. Potem pokażę cztery sposoby sprawdzania, których używam we wdrożeniach.

Agent zrobił bardzo dobrze coś, czego nie trzeba było robić

W sierpniu testowałem nową funkcję w aplikacji, którą rozwijam z agentami AI (czym agent różni się od czatu w przeglądarce, opisałem we wpisie o agentach i chatbotach). Po testach zgłosiłem drobną rzecz: kliknięcie w pozycję na liście zamykało mi okno, w którym pracowałem. Zapytałem, czy może to działać tak jak w innym miejscu aplikacji.

Pracuję tak, że jeden agent prowadzi prace i zamienia moje zgłoszenie w zadanie, drugi je wykonuje, a jeszcze inny przegląda to, co powstało. Agent prowadzący dopisał do zadania wymóg, którego w moim zgłoszeniu nie było: po kliknięciu miało się też przesunąć podświetlenie na liście. Agent wykonawczy zrobił to bardzo dobrze. Zbudował do tego osobny mechanizm, a po drodze sam wyłapał, że jedno z jego własnych sprawdzeń daje dobry wynik z niewłaściwego powodu, i to naprawił.

Napisałem, że to niepotrzebne i żeby nie komplikować. Agent prowadzący zrozumiał mnie opacznie i kazał mechanizm wyciąć. Sprostowałem, mechanizm wrócił. Dopiero wtedy agent zadał mi jedno precyzyjne pytanie, a ja odpowiedziałem zasadą, według której ta część aplikacji ma działać. I ta zasada okazała się prostsza od wszystkiego, co do tej pory powstało. Mechanizm poszedł do kosza drugi raz, tym razem z właściwego powodu.

Przez cały ten czas każda kontrola mówiła, że jest dobrze: przeglądy pracy robione przez innego agenta i automatyczne testy, czyli sprawdzenia, które komputer wykonuje sam. W programowaniu mówi się wtedy, że wszystko jest zielone.

• 3 przeglądy

  pracy przez innego agenta, każdy zakończony akceptacją

• 4107 testów

  automatycznych, wszystkie zaliczone

• 2 razy

  ten sam mechanizm powstał i zniknął

Że kierunek jest zły, zauważyłem ja. Byłem wtedy w terenie, z samym telefonem, bez możliwości kliknięcia w aplikację. Czytałem raport agenta i jedno zdanie nie zgadzało się z tym, czego chciałem. Ostateczna wersja ma mniej kodu niż ta sprzed całego nieporozumienia.

I teraz najważniejsze. Wykonanie zgadzało się z zadaniem co do joty, a błąd siedział w samym zadaniu. To ja je źle postawiłem: zasadę, która wszystko rozstrzygała, wypowiedziałem dopiero na końcu. Można powiedzieć, że źle zrozumiałem klienta, czyli siebie ;)

Przegląd sprawdza wykonanie, a zadanie możesz sprawdzić tylko Ty

Agent nie wiedział, że nie wie. Pracował kompetentnie i pewnie, a ja przez większość tej historii dostawałem meldunki, że zrobione. Nikt mnie nie pytał, czy na pewno o to mi chodzi. Dlatego „gotowe” od agenta traktuję jako początek sprawdzania.

Przeglądy też nie miały jak tego złapać. Przegląd porównuje wykonaną pracę z zadaniem. Zadania z tym, co zamawiający miał w głowie, nie ma jak porównać. To jedyne miejsce w całym łańcuchu, którego nie da się oddać agentowi.

Złapałem to, bo agent prowadzący tłumaczy mi technikę na to, co zobaczę w aplikacji. Gdyby raport był napisany żargonem, pokiwałbym głową. Agent napisał jednak, że podświetlenie na liście nie przeskoczy na klikniętą pozycję, a takie zdanie mogłem zestawić z tym, czego chciałem. Bez tłumaczenia na język produktu nie ma czego nadzorować.

U Ciebie produktem jest wycena albo odpowiedź do klienta. Jeżeli raport agenta mówi o nich Twoimi słowami, sprawdzisz go nawet z telefonu. Na udział człowieka w pracy agenta mówi się po angielsku „human in the loop”, czyli człowiek w pętli. Ja rozumiem to szerzej niż klikanie po gotowym: do sprawdzania należy też czytanie tego, co agent twierdzi, że zrobił.

Człowiekowi zostają trzy zadania: kontekst, cel i weryfikacja

Na szkoleniach mówię, że przy agencie mamy tak naprawdę trzy zadania: dostarczyć kontekst, wymyślić cel i zweryfikować. Wytwarzanie, czyli wszystko, co powtarzalne i przeklejane z miejsca na miejsce, przechodzi na agenta. W sierpniowej historii zawiodło drugie zadanie, cel, a uratowało trzecie.

1. 1

   człowiek

   Planowanie

   Daje kontekst i wyznacza cel.

2. 2

   agent

   Realizacja

   Wykonuje zadanie i raportuje, co zrobił.

3. 3

   człowiek

   Weryfikacja

   Sprawdza wynik i bierze za niego odpowiedzialność.

Sprawdzenie wyniku wraca do nas razem z odpowiedzialnością za to, co agent zrobił w naszym imieniu. Klient dostaje ofertę od Twojej firmy, więc za kwotę w tej ofercie odpowiada Twoja firma.

Uczciwie dodam, że planowania przy agentach nie ubywa, czasem nawet przybywa. A bez sprawdzania powstają treści, które ładnie brzmią i nic nie znaczą.

Sprawdzać pracę agenta AI można tym, co firma już ma

Sprawdzanie jest etapem pracy i ma własne narzędzia. We wdrożeniach, które prowadzę z zespołem Two Colours, używamy czterech.

Test na zamkniętych sprawach

Agent dostaje sprawy, które Twój zespół już kiedyś obsłużył, ale bez odpowiedzi, którą wtedy wysłano. U nas nazywa się to ślepym testem. Potem kładziemy obok siebie wynik agenta i pracę człowieka. Na zamkniętych sprawach od razu widać, czy agent odpowiada tak, jak odpowiedziałby ktoś z Twoich ludzi. Ocenia ten, kto zna Twoich klientów najlepiej, czyli Twój zespół. Jak taki test wyszedł w firmie szkoleniowej online, opisałem we wpisie o kontekście firmy jako aktywie.

Porównanie z arkuszem

Tam, gdzie wynik jest kwotą, wzorcem jest arkusz firmy. Po pokazie daję zespołowi proste zadanie: weźcie jakąś nietypową konfigurację, policzcie ją w Excelu i drugi raz w karcie wyceny, czyli w pliku, w którym wycenę przygotowuje agent. Każda różnica w kwocie to dla mnie konkretna wskazówka.

W firmie budującej domy zarząd oglądał agenta z własnym arkuszem otwartym obok. Na pokazie różnica między wyceną agenta a arkuszem firmy wyniosła 0 zł. Całość opisałem w case study „Brain w dziale sprzedaży”.

Odbiór „działa / nie działa”

Gotową rzecz oddaję z krótkimi scenariuszami: co zrobić i co powinno wyjść. Przechodzisz je sam i przy każdej pozycji mówisz „działa” albo „nie działa”, zamiast wierzyć nam na słowo. Przy okazji uczysz się obsługi. To jest jak odbiór nowej maszyny: producent sprawdził ją u siebie, a Ty próbujesz na swoim materiale.

U mnie taki odbiór złapał kiedyś błąd, którego nie zauważył ani agent, ani przegląd. Data wpisana z klawiatury zapisywała się z rokiem 0020, a automatyczne testy były zielone.

Agent przygotowuje, człowiek zatwierdza i wysyła

Nie robimy przycisku „zrób ofertę” bez człowieka. Agent przygotowuje ofertę, handlowiec ją czyta, zatwierdza i wysyła. Nic nie idzie do klienta bez zgody człowieka. W firmie budującej domy agent do wycen ma to zapisane jako twardą zasadę: niczego sam nie wysyła.

Poprawka trafia do pliku, z którego agent się uczy

Kiedy sprawdzenie pokaże błąd, dochodzę z zadaniem do końca i dopiero wtedy mówię agentowi, co zrobił źle, i pytam, jak zapisać to w jego instrukcjach. Przy każdej uwadze zadaj sobie jedno pytanie: ta sprawa czy zawsze? Poprawka jednej sprawy naprawia jedną sprawę, a poprawka w instrukcjach wszystkie następne. Agent nie uczy się sam z Twoich maili. Uczy się z pliku, w którym po każdej poprawce zapisuje się lekcję.

Najgorsza uwaga to „beznadziejnie to zrobiłeś”. Nic z niej nie wynika, zresztą u pracownika tak samo.

W poniedziałek ustal, kto sprawdza, co i po czym poznacie, że jest dobrze

Weź jeden proces, w którym agent już u Ciebie pracuje albo zaraz zacznie, i zapisz przy nim trzy rzeczy: kto sprawdza, co sprawdza i po czym poznajecie, że jest dobrze. „Działa poprawnie” nic nie mówi. „Kwota zgadza się z arkuszem co do złotówki” już da się sprawdzić.

Jeśli takiego procesu jeszcze nie masz, zacznij od wyboru pierwszego procesu i paczki zamkniętych spraw. Te sprawy przydadzą się potem do testu.

W mojej ofercie, czyli w abonamencie zewnętrznego dyrektora AI, każdy miesiąc kończy się krokiem „Sprawdzamy liczbę”. Patrzymy, co wyszło, a co nie, i mówię wprost, co nie zadziałało. Jak wygląda miesiąc współpracy, zobaczysz na stronie głównej.