Najcenniejsze zdanie, jakie może wypowiedzieć partner techniczny, to często „do tego nie potrzebujesz AI”. Rzadko pada, bo powiedzenie tego oznacza odrzucenie zlecenia. Uważamy, że właśnie za takie podejście warto płacić --- warto więc precyzyjnie określić, kiedy ma zastosowanie.
Demo to nie problem
Przekonujące demo dowodzi, że model potrafi raz wygenerować wiarygodny wynik, w wybranych przez Ciebie warunkach. Niewiele mówi o tym, czy to samo podejście sprawdzi się wobec prawdziwych danych wejściowych, prawdziwych przypadków brzegowych i biznesu, który potrzebuje, by odpowiedź była poprawna przez większość czasu. Wzięcie przekonującego demo za rozwiązanie gotowe do produkcji to najdroższy błąd, jaki widujemy --- a zwykle zaczyna się od wyboru AI dlatego, że robi wrażenie, a nie dlatego, że jest najlepszym narzędziem do zadania.
Sygnały, że może sięgasz po niewłaściwe narzędzie
AI często słabo pasuje, gdy zachodzi jedno z poniższych:
- Problem jest deterministyczny. Jeśli reguła, zapytanie lub formuła już dają poprawną odpowiedź, model probabilistyczny zwykle dokłada koszt i niepewność, niewiele dając w zamian.
- Nie tolerujesz błędnych odpowiedzi i nie możesz ich sprawdzić. Gdy pomyłka jest kosztowna, a nie ma taniego sposobu, by zweryfikować wynik, zwykle kupujesz ryzyko, a nie przewagę.
- Nie masz danych ani pętli sprzężenia zwrotnego. Model bez użytecznych danych, na których mógłby się oprzeć, i bez pętli sprzężenia zwrotnego sygnalizującej drift, to często obciążenie przebrane za atut.
Co robić zamiast tego
Czasem szczera rekomendacja jest nudna: dobrze umieszczona reguła, czystszy pipeline danych, lepszy interfejs albo naprawienie procesu, który w ogóle tworzy problem.
Widzieliśmy, jak firma sięgnęła po LLM, by sortować przychodzące e-maile do kilkunastu stałych kategorii --- zadanie, które od lat obsługiwała garstka reguł na słowa kluczowe i mały klasyfikator, przy znacznie niższych opóźnieniach i kosztach, bez promptu, który trzeba było ciągle poprawiać. LLM robił większe wrażenie w demie i był gorszy w produkcji: wolniejszy, droższy i od czasu do czasu kreatywny w sposób, na który sztywna taksonomia nie może sobie pozwolić.
Gdy AI naprawdę jest właściwym narzędziem --- a często jest --- uzasadnienie biznesowe z łatwością przechodzi taką próbę. Dobra inżynieria zaczyna się od wyboru najprostszej rzeczy, która rozwiązuje problem, i wybrania jej dlatego, że się opłaca, a nie dlatego, że jest nowa. O to właśnie chodzi w warsztacie Discovery: znaleźć, gdzie AI ma sens, i wprost powiedzieć, gdzie go nie ma.