Jak zmierzyć, czy wdrożenie AI się opłaciło?

Pomiar zaczyna się przed wdrożeniem, nie po

Najczęstsza rozmowa o efekcie wygląda tak: pytam, ile ten proces zajmował wcześniej, i zapada cisza. Nie dlatego, że nikt nie wie, tylko dlatego, że nikt tego nie zapisał. Zostaje wrażenie zespołu, a wrażenia po wdrożeniu są zawsze dobre, bo ludzie właśnie dostali nowe narzędzie.

Linia bazowa to jedyna rzecz, której nie da się odtworzyć później. Po uruchomieniu stary sposób pracy przestaje istnieć i nie ma jak go zmierzyć wstecz.

Dobra wiadomość jest taka, że nie trzeba do tego systemu. Wystarczy próbka: kilkadziesiąt spraw z kilku tygodni, ręcznie odnotowanych. Zajmuje to jedną osobę na kilka godzin i jest tańsze niż jakikolwiek spór o to, czy wdrożenie było warte swojej ceny.

Jedna miara sukcesu i dwa pomiary kontrolne

Nie trzeba mierzyć dziesięciu rzeczy. Wystarczą trzy, o ile dotyczą tego samego procesu przed i po, i o ile pierwsza z nich ma inną rolę niż pozostałe dwie. Miarą sukcesu jest jedna liczba, ustalona przed startem razem z wartością docelową i terminem — tak samo, jak przy wyborze pierwszego procesu. Dwie kolejne nie są celem; służą do sprawdzenia, czy poprawa pierwszej nie została kupiona czymś innym.

Czas jednej jednostki pracy. Ile trwa obsłużenie jednego zgłoszenia, przygotowanie jednej oferty, opisanie jednego produktu. Mierzone od momentu, w którym praca trafia do człowieka, do momentu, w którym wychodzi gotowa.

Odsetek spraw domkniętych bez człowieka. Ten wskaźnik pokazuje, ile wdrożenie realnie zdejmuje z zespołu. Rozwiązanie, które w każdym przypadku wymaga sprawdzenia przez człowieka, nie zdejmuje pracy, tylko ją przesuwa.

Liczba poprawek. Ile razy trzeba było wynik poprawić albo odrzucić. To pomiar jakości, ale sam spadek tej liczby niczego jeszcze nie dowodzi. Jeżeli maleje razem z czasem obsługi jednej sprawy, sprawdźcie najpierw, czy ludzie nadal sprawdzają wyniki: spadek czujności wygląda w tabeli identycznie jak wzrost jakości. Odwrotny układ, czyli rosnąca liczba poprawek przy rosnącym czasie, ma dwa wyjaśnienia i trzeba je rozdzielić: albo zespół zaczął sprawdzać dokładniej, albo system zaczął odpowiadać gorzej po podmianie wersji modelu czy na zdezaktualizowanych danych. Rozstrzyga to zestaw testowy z ustalonymi z góry odpowiedziami: jeżeli wyniki na nim stoją, zmienił się sposób sprawdzania, a jeżeli spadły, zmienił się system.

Pełna strona kosztu

Rachunek psuje się najczęściej nie po stronie korzyści, tylko po stronie kosztu, bo liczy się samą cenę wdrożenia zamiast czterech pozycji, które do niej dochodzą.

Do kosztu wdrożenia dochodzą abonamenty i opłaty za zużycie, które rosną razem z wolumenem. Dochodzi czas ludzi na nadzór, czyli sprawdzanie wyników, których wcześniej nie było do sprawdzania. Dochodzi koszt poprawek i przestojów, gdy system odpowie źle. I dochodzi czas na przejście przez zmianę wersji modelu, o którym mowa przy umowie z dostawcą.

Koszt jednorazowy rozpisuję w tekście o koszcie wdrożenia, a miesięczny przy kosztach utrzymania. Tu wystarczy zasada: jeśli w rachunku jest tylko cena wdrożenia, rachunek jest niepełny.

Gdzie oszczędność jest pozorna

Ta część kosztuje najwięcej wiarygodności, gdy ktoś jej nie zrobi, więc mówię o niej klientom przed podpisaniem umowy, a nie po.

Odzyskana godzina etatowca. Nie zmniejsza kosztu wynagrodzeń. Jest oszczędnością dopiero wtedy, gdy przełożyła się na coś: na obsłużenie większego wolumenu tym samym zespołem, na wykonanie pracy dotąd odkładanej, na rezygnację z podwykonawcy. Bez tego to zysk komfortu, nie pieniędzy. Warto go nazwać po imieniu, bo bywa realną wartością, tylko innego rodzaju.

Praca przesunięta na inny zespół. Automatyzacja, która skraca pracę handlowców, a wydłuża pracę działu rozliczeń, wyszła na zero i tylko przesunęła obciążenie. Widać to wyłącznie wtedy, gdy pomiarem objęto cały przebieg, a nie sam odcinek objęty wdrożeniem.

Praca, której i tak nikt nie robił. Raport generowany teraz w minutę, którego wcześniej nie było i którego nikt nie czyta, nie oszczędza niczego. To najprzyjemniejszy wskaźnik do pokazania na spotkaniu i najmniej wart.

Jak to wygląda w praktyce

Kolejność, którą stosuję: przy wycenie ustalam, ile miesięcy działania przy założonym wolumenie pokrywa koszt wdrożenia. Przed uruchomieniem zbieram próbkę linii bazowej. Po uruchomieniu porównuję te same trzy pomiary co miesiąc, na realnym zużyciu, i zestawiam z pełnym kosztem.

Po trzech miesiącach widać jedną z trzech rzeczy: że rachunek się zgadza, że nie zgadza się przez wolumen mniejszy od zakładanego albo że nie zgadza się przez koszt nadzoru, którego nikt nie policzył. Każda z nich prowadzi do innej decyzji i każda jest lepsza od wrażenia.

Szerszy obraz tego, jak rynek rozlicza projekty AI i ile z nich nie dochodzi do tego etapu, opisuję w tekście o roku rozliczenia wdrożeń.