Halucynacje AI to sytuacje, w których model językowy generuje treść brzmiącą pewnie i spójnie, ale nieprawdziwą: zmyśloną liczbę, nieistniejący przepis, błędny numer normy albo cytat z dokumentu, którego w nim nie ma. Nie jest to awaria, lecz konsekwencja zasady działania – LLM generuje najbardziej prawdopodobny ciąg słów, a nie sprawdza faktów w bazie.
Skąd się biorą
- Brak informacji w kontekście – model pytany o dane, których nie otrzymał (np. wczorajszy stan zapasu), uzupełnia lukę czymś wiarygodnie brzmiącym.
- Nacisk na odpowiedź – polecenie, które nie przewiduje odpowiedzi „nie wiem”, zwiększa ryzyko zmyślenia.
- Obliczenia na wielu liczbach – modele językowe bywają zawodne w arytmetyce na dużych tabelach, jeśli nie korzystają z narzędzia do obliczeń.
- Słabe dopasowanie źródła – w systemach RAG wyszukiwanie zwraca niewłaściwy fragment, a model buduje na nim odpowiedź.
Ryzyka nie da się sprowadzić do zera, ale można je znacząco ograniczyć projektem rozwiązania: dostarczać modelowi dane źródłowe, wymagać wskazania źródła, pozostawiać obliczenia kodowi i bazie danych, a odpowiedzi o dużej wadze kierować do weryfikacji przez człowieka.
Przykład
Dział obsługi klienta sklepu internetowego testował asystenta przygotowującego projekty odpowiedzi na reklamacje. W pierwszej wersji model w około 6% odpowiedzi podawał termin zwrotu pieniędzy lub warunki gwarancji niezgodne z regulaminem – uzupełniał je na podstawie typowych praktyk rynkowych. Wprowadzono kilka zmian: regulamin dołączany jako źródło, instrukcję cytowania właściwego punktu, dopuszczalną odpowiedź „brak informacji – przekaż do konsultanta” i obowiązkową akceptację przez pracownika. W próbie 500 odpowiedzi odsetek błędów spadł poniżej 1%, a pozostałe przypadki wychwytywał konsultant przed wysyłką.
Najczęstsze błędy
- Używanie modelu jako bazy wiedzy o faktach firmowych bez przekazania mu źródeł.
- Ocena jakości na kilku przykładach zamiast na reprezentatywnej próbie z policzonym odsetkiem błędów.
- Automatyczne wysyłanie odpowiedzi do klientów lub zapisywanie ich w systemach bez kontroli w procesach, w których błąd ma skutki finansowe lub prawne.
Od czego zacząć
- Określ, w których miejscach procesu błąd modelu jest akceptowalny, a gdzie wymaga kontroli człowieka.
- Dostarczaj modelowi dane źródłowe i w poleceniu (prompt engineering) wymagaj wskazania, skąd pochodzi odpowiedź.
- Zbuduj zestaw testowy i mierz odsetek błędów przy każdej zmianie polecenia lub modelu. Takie zasady warto ustalić już na etapie wdrożenia AI.