Przejdź do treści
thinkingRobert Marczyński · Ekspert od sztucznej inteligencji

Wdrożenie AI krok po kroku

Wdrożenie AI w jednym procesie da się rozłożyć na siedem etapów, z których każdy ma własny produkt końcowy i własny warunek przejścia dalej, a pominięcie etapu drugiego, czyli sprawdzenia stanu danych, jest pojedynczą najczęstszą przyczyną przekroczenia budżetu.

Etap 1. Wybór procesu i definicja miary

Czas: 1–2 tygodnie. Wykonuje: firma, wewnętrznie.

Produkt końcowy: jedno zdanie opisujące proces, jedna liczba opisująca stan obecny, jedna liczba docelowa i termin.

Przykład produktu końcowego, który wystarcza: „Obsługa zapytań ofertowych z formularza; dziś średnio 4 godziny do pierwszej odpowiedzi przy 180 zapytaniach miesięcznie; cel: poniżej 30 minut do końca kwartału.”

Warunek przejścia dalej: liczba opisująca stan obecny jest zmierzona, nie oszacowana z pamięci.

Etap 2. Audyt danych

Czas: 1–3 tygodnie. Wykonuje: firma z wykonawcą.

Produkt końcowy: lista źródeł danych z informacją, gdzie leżą, w jakim są formacie, kto ma dostęp, jak często się zmieniają i co jest w nich nieaktualne.

To etap, który w harmonogramach dostaje najmniej miejsca i najczęściej rozsadza budżet. Tutaj wychodzi na jaw, że cennik istnieje w trzech wersjach, że procedury nie były aktualizowane od dwóch lat i że połowa wiedzy o wyjątkach nie jest nigdzie zapisana.

Warunek przejścia dalej: dane potrzebne do procesu istnieją w postaci, którą da się odczytać maszynowo, albo jest zaplanowana i wyceniona praca, która do takiej postaci je doprowadzi.

Etap 3. Projekt rozwiązania

Czas: 1–2 tygodnie. Wykonuje: wykonawca, zatwierdza właściciel biznesowy.

Produkt końcowy: opis przepływu (co się dzieje z zapytaniem od wejścia do wyjścia), lista integracji, decyzja o nadzorze człowieka, zasady eskalacji, zakres tematów poza obsługą.

Element najczęściej pomijany: lista rzeczy, których rozwiązanie robić nie będzie. Bez niej zakres puchnie w trakcie budowy.

Warunek przejścia dalej: osoba wykonująca proces na co dzień przeczytała opis przepływu i potwierdziła, że tak ten proces wygląda.

Etap 4. Budowa

Czas

2–6 tygodni dla pojedynczego procesu. Wykonuje: wykonawca.

Produkt końcowy

działające rozwiązanie w środowisku testowym, z dostępem dla zespołu klienta.

Warunek przejścia dalej

rozwiązanie obsługuje ścieżkę główną i zdefiniowane wyjątki na danych testowych.

Etap 5. Testy na danych rzeczywistych

Czas: 1–2 tygodnie. Wykonuje: firma, wspiera wykonawca.

Produkt końcowy: zestaw co najmniej kilkudziesięciu prawdziwych, historycznych przypadków przepuszczonych przez rozwiązanie, z oceną poprawności każdej odpowiedzi wykonaną przez eksperta dziedzinowego.

To jest moment, w którym dowiadujesz się, czy to działa. Testy na wymyślonych przykładach niczego nie mówią. Prawdziwe zapytania są krótsze, bardziej niechlujne i zawierają konteksty, których nikt nie przewidział.

Warunek przejścia dalej: odsetek poprawnych odpowiedzi osiąga próg ustalony na etapie 3. Jeśli nie osiąga. Wracasz do etapu 3 albo 2, nie idziesz dalej.

Etap 6. Pilotaż z nadzorem człowieka

Czas: 2–4 tygodnie. Wykonuje: zespół operacyjny.

Produkt końcowy: rozwiązanie działa na prawdziwym ruchu, ale każda odpowiedź przechodzi przez człowieka przed wysłaniem. Zbierana jest statystyka: ile odpowiedzi przeszło bez zmian, ile wymagało poprawki, ile trzeba było napisać od nowa.

Ten etap daje dwie rzeczy, których nie da się kupić inaczej: rzeczywistą jakość na prawdziwym ruchu oraz listę przypadków brzegowych. Daje też trzecią, mniej oczywistą. Zespół przestaje się bać rozwiązania, bo widzi, jak działa, zanim zacznie za nie odpowiadać.

Warunek przejścia dalej: odsetek odpowiedzi akceptowanych bez zmian jest stabilny i wystarczający dla właściciela biznesowego.

Etap 7. Uruchomienie i przekazanie do utrzymania

Czas

1 tydzień. Wykonuje: wykonawca i firma.

Produkt końcowy

rozwiązanie działa produkcyjnie w ustalonym trybie nadzoru; jest imiennie wskazana osoba odpowiedzialna za utrzymanie; jest opisane, co ta osoba robi i jak często (aktualizacja bazy wiedzy, przegląd rozmów, reakcja na spadek jakości); jest ustalony próg, po którego przekroczeniu uruchamia się przegląd.

Warunek zamknięcia projektu

wszystkie trzy powyższe rzeczy istnieją na piśmie. Projekt zamknięty bez przypisanego utrzymania degraduje się w ciągu kilku miesięcy, nie dlatego, że technologia się psuje, tylko dlatego, że firma się zmienia, a baza wiedzy nie.

Podsumowanie czasu i ryzyka

Etap Czas Główne ryzyko
1. Wybór procesu i miary 1–2 tyg. Brak zmierzonego stanu obecnego
2. Audyt danych 1–3 tyg. Rzeczywisty stan danych gorszy od założeń
3. Projekt rozwiązania 1–2 tyg. Brak listy wykluczeń, puchnięcie zakresu
4. Budowa 2–6 tyg. Integracje z systemami bez API
5. Testy na danych rzeczywistych 1–2 tyg. Testy na wymyślonych przykładach
6. Pilotaż z nadzorem 2–4 tyg. Pominięcie etapu pod presją terminu
7. Uruchomienie i utrzymanie 1 tydz. Brak właściciela utrzymania

Łącznie: 9–20 tygodni dla pojedynczego procesu. Rozstrzał wynika prawie wyłącznie z etapu 2 i z liczby integracji w etapie 4.

Najczęstsze pytania

Ile etapów ma wdrożenie AI?
W praktyce siedem: wybór procesu i miary, audyt danych, projekt rozwiązania, budowa, testy na danych rzeczywistych, uruchomienie pilotażowe z nadzorem człowieka oraz przekazanie do utrzymania. Każdy etap ma produkt końcowy, który da się sprawdzić, i warunek, po którego niespełnieniu nie należy iść dalej.
Który etap trwa najdłużej?
Najczęściej audyt i uporządkowanie danych, czyli etap drugi, ten, który w planach dostaje najmniej czasu. W wdrożeniach, które przekraczają budżet, przekroczenie prawie zawsze powstaje tutaj, bo dopiero na tym etapie wychodzi na jaw rzeczywisty stan firmowych dokumentów i systemów.
Czy można pominąć etap pilotażu z nadzorem człowieka?
Można, ale przenosi się wtedy koszt błędów na klientów zamiast na testy. Pilotaż z nadzorem daje dwie rzeczy niedostępne inaczej: rzeczywisty odsetek poprawnych odpowiedzi na prawdziwym ruchu oraz listę przypadków brzegowych, których nikt nie przewidział na etapie projektu.
Kiedy wdrożenie można uznać za zakończone?
Gdy rozwiązanie działa na produkcji, miara ustalona na etapie pierwszym osiągnęła wartość docelową, a utrzymanie ma imiennie przypisanego właściciela z określonym zakresem obowiązków. Wdrożenie zamknięte bez tego trzeciego warunku degraduje się w ciągu kilku miesięcy, bo baza wiedzy przestaje być aktualizowana.

Powiązane

Masz konkretny proces do omówienia?

Napisz, jaki to proces i ile razy w miesiącu się powtarza. Odpowiem, czy nadaje się do automatyzacji, również wtedy, gdy odpowiedź brzmi „nie warto”.