Ocena wyniku z AI rzadko jest oceną. Zwykle jest wrażeniem: czyta się dobrze, więc pewnie jest dobre. To wrażenie ma jedną wadę. Tekst od tych narzędzi czyta się dobrze zawsze, także wtedy, gdy jest do wyrzucenia.

Poniżej ocena zamieniona na czynność, którą da się wykonać tak samo w poniedziałek rano i w piątek o siedemnastej.

Trzy rzeczy, do których przykładasz wynik

Do własnego polecenia. Przeczytaj jeszcze raz to, o co prosiłeś, i sprawdź punkt po punkcie. Brzmi banalnie i wyłapuje zaskakująco dużo. Częsty przypadek: prosiłeś o trzy rzeczy, dostałeś dwie zrobione porządnie i o trzeciej zapomniałeś w trakcie czytania, bo tekst płynął.

Do materiału, który dałeś. Jeśli wynik opiera się na Twoich dokumentach, sprawdź konkretne miejsca w źródle, zamiast zakładać, że zostały przeczytane uważnie. Najczęstszy błąd nie polega na wymyśleniu czegoś, czego nie ma. Polega na pominięciu zastrzeżenia, które zmienia sens: cena przepisana bez warunku minimalnego zamówienia, termin bez zapisu o dniach roboczych.

Do standardu Twojej branży. Czy to przeszłoby u Ciebie, gdyby napisał to człowiek. Liczba bez jednostki, rekomendacja bez uzasadnienia, powołanie się na dokument, którego nie umiesz wskazać. To wszystko czyta się gładko i nie przechodzi.

Kompletność sprawdzasz osobno

Poprawność i kompletność to dwie różne kontrole i psują się niezależnie od siebie.

Kompletność jest trudniejsza, bo nic na ekranie nie zwraca uwagi na to, czego nie ma. Wynik może być bezbłędny w każdym zdaniu i pomijać jedyny czynnik, który przesądza o decyzji.

Sposób jest prymitywny i działa: zanim przeczytasz wynik, wypisz na kartce, co musi się w nim znaleźć. Potem odhaczaj. Lista zrobiona po lekturze jest już skażona tym, co przeczytałeś.

Ile sprawdzać, zależy od stawki

Ta sama drobiazgowość wszędzie jest błędem w obie strony.

Notatka ze spotkania na własny użytek nie potrzebuje weryfikacji zdanie po zdaniu. Wycena wysyłana klientowi potrzebuje. Jeśli sprawdzasz jednakowo, albo tracisz cały zysk z czasu na kontrolowaniu rzeczy bez znaczenia, albo przepuszczasz coś ważnego, bo przywykłeś, że zawsze jest w porządku.

Poziom kontroli ustala się dla rodzaju zadania, raz, a nie przy każdym wyniku osobno. Wtedy nie zależy od tego, ile masz akurat czasu.

Trzy możliwe zakończenia oceny

Ocena kończy się jedną z trzech decyzji i trzeba je nazwać, bo w praktyce ludzie znają tylko dwie.

Idzie. Zgodne z poleceniem, zgodne ze źródłem, spełnia standard, stawka nie wymaga więcej.

Do poprawki. Brakuje konkretnej rzeczy, którą umiesz nazwać. Wracasz z tą jedną rzeczą, nie z całym zadaniem od nowa.

Do człowieka. Ta decyzja najczęściej wypada z repertuaru. Dotyczy sytuacji, w której problemem nie jest jakość tekstu, tylko to, że sprawa wymaga czyjejś odpowiedzialności: interpretacji umowy, oceny ryzyka, decyzji, która kogoś kosztuje. Wynik może być tu użyteczny jako materiał do rozmowy ze specjalistą. Nie jest odpowiedzią.

Kiedy przestać poprawiać

Poprawianie ma punkt, po którym przestaje działać. Rozpoznasz go po tym, że kolejne rundy zmieniają tekst, ale go nie polepszają.

Wtedy są dwa wyjścia i żadne nie polega na kolejnej próbie. Albo bierzesz to, co masz, i kończysz ręcznie w pięć minut. Albo problem nie leży w tekście, tylko w tym, że zadanie było źle postawione, i wtedy wracasz na początek zamiast szlifować dalej.

Trzecia runda bez poprawy jest sygnałem, nie pechem.

Czego ta kontrola nie zastąpi

Wszystko powyżej dotyczy jednego wyniku, tu i teraz. Odpowiada na pytanie „czy to wysłać".

Nie odpowiada na pytanie, które jest ważniejsze dla firmy: w których miejscach procesu kontrola ma stać na stałe, kto ją wykonuje i co się dzieje, gdy tej osoby nie ma. Kontrola robiona z pamięci przez tego, kto akurat ma czas, działa dopóki nikt nie choruje i nikt się nie spieszy.

Co ostatnio poszło do klienta bez tego, żeby ktokolwiek to świadomie sprawdził?