Warto angażować użytkowników

W grudniu 2021 McKinsey opublikował raport “The State of AI in 2021”. Ten artykuł to część mojej subiektywnej analizy tej publikacji. Kluczowe wnioski znajdziesz pod tym linkiem, zawarłem tam też odnośniki do innych części analizy.

W części dotyczącej pomiaru ograniczeń modelu AI a także jego skuteczności, McKinsey wskazuje kilka najlepszych praktyk stosowanych przez organizacje, które na polu wykorzystania AI osiągają największe sukcesy.

Wśród tych praktyk, znajduje się z góry zaplanowane, ponowne trenowanie modelu w przypadku natknięcia się na problemy. Takie podejście deklaruje odpowiednio 43% “high performers” i 27% pozostałych respondentów. Dodatkowo, wśród dobrych praktyk wskazywany jest również regularny monitoring danych czy wspomniane we wcześniejszych artykułach odświeżanie modeli AI. 

Szczególnie ciekawe w zbiorze dobrych praktyk, jest uwzględnienie w procesach użytkownika końcowego, czy też w ogóle kontroli człowieka w procesie weryfikacji jakości modelu AI. Ktoś musi rozstrzygać wątpliwości AI i podejmować decyzje, przekładające się na kolejne wzorce dla algorytmów sieci. Tu różnice w zastosowaniu tych dobrych praktyk jest spora między “high performers” (39%) a pozostałymi (30%). 

Uwzględnienie użytkowników końcowych w monitorowaniu wyjątków i raportowaniu ich jest blisko dwukrotnie częściej stosowane przez “high performers”: 39% vs 21% pozostali.

Na podstawie raportu McKinsey "The state of AI in 2021".

Zwracam na te 2 aspekty uwagę, gdyż z naszych doświadczeń, również przy Image Recognition, uwzględnienie ich jest bardzo ważne. 

Rekomendujemy uwzględnienie obu poziomów kontroli:

1. Wewnętrznego, tj osób lub automatów, które u dostawcy AI, weryfikują jakość działania modelu i to powinno się odbywać w trybie codziennym. Ten zespół jest bardzo często impulsem, który uruchamia konieczność dotrenowania modelu, wzbogacenia go o nowe produkty, czy też wcześniej obecne, jednak o skorygowanej szacie graficznej, czy też wymiarach. Dodatkową korzyścią dla klienta, jest odciążenie jego ludzi od pozyskiwania nowych danych z innych działów lub z rynku.
2. Zewnętrznego, którego źródło stanowią sami użytkownicy. Nie ma nic cenniejszego niż olbrzymia populacja użytkowników, którzy sygnalizują, że w jakimś momencie, na jakimś produkcie model nie zadziałał prawidłowo. Mamy to szczęście, że pracujemy z użytkownikami, którym domyślnie bardzo zależy na jakości modelu, ponieważ wyniki jego pracy często mają bezpośredni wpływ na ich wynagrodzenie. Przykładowo, Przedstawiciele Handlowi, Merchandiserzy, czy też personel sklepów, są wynagradzani za odpowiedni poziom utrzymania dostępności produktów. Dodatkowo, możliwość złożenia reklamacji, skorygowania modelu, jest dobrym ujściem dla ewentualnych emocji, które w sposób naturalny mogą powstać, gdy “coś nie działa”.  Jako dobrą praktykę rekomendujemy tutaj aby owe korekty były weryfikowane dodatkowo przez wewnętrzny zespół aby uniknąć wprowadzania do modelu AI błędnych danych.

Posiadanie wyżej wymienionych mechanizmów kontrolujących funkcjonowanie AI, zapewnia nie tylko bezpieczeństwo projektowi ale również dodatkowo wspiera rozwój samej AI. Dzięki tym mechanizmom, AI może stale się rozwijać, ewoluować zgodnie ze zmianami jakie następują na rynku. Chcę podkreślić, że jest to szczególnie istotne, w przypadku AI, które wspiera rozwiązania Image Recognition. 

Reasumując, moje 4 największe zaskoczenia, po zapoznaniu się z raportem McKinsey:

1. Duża ilość firm które nadal nie zdają sobie sprawy z tego, że równie ważna jak  budowa sieci, jest jej utrzymanie.
2. Bezpośrednie powiązanie pomiędzy stopniem zaawansowania używania AI, a dostrzeganiem coraz większych oszczędności/zysków związanych z jej używaniem.
3. Stopień w jakim doświadczenie ze stosowania AI, wpływa na zdolność do szacowania  kosztów jej produkcji i utrzymania. W konsekwencji, większa zdolność do wyliczenia precyzyjnego ROI. To z kolei wpływa na decyzję o wdrożeniu AI do realizacji określonych funkcji w organizacji, gdyż w większości przypadków trafnie wyliczone ROI, wskazuje, że warto inwestować w AI.
4. Fakt, jak  raport bardzo jasno wskazuje, iż w całym procesie budowy i już po wdrożeniu AI, ważne jest uwzględnienie ludzi. Raport mocno podkreśla wagę kontroli zarówno na poziomie wewnętrznym jak i informacji zwrotnej od użytkowników. Jednocześnie nadal wiele firm z jakimi mamy kontakt, nie docenia tego elementu, traktując AI, jako jednorazową produkcję “magicznej skrzynki”, która będzie działać zawsze. Praktykę ścisłej i ciągłej współpracy z użytkownikami AI, od lat rekomendujemy naszym klientom i cieszę się, że to badanie potwierdza słuszność tego kierunku.

👉 Zapraszamy do śledzenia naszej aktywności w mediach społecznościowych, aby być na bieżąco: