Przewodnik

Jak sprawdzić, czy odpowiedź AI jest prawdziwa

Asystenci AI odpowiadają szybko i pewnym tonem — również wtedy, gdy się mylą. Ten przewodnik wyjaśnia, skąd biorą się błędne odpowiedzi, po czym je rozpoznać i jak zweryfikować je w źródłach w kilkanaście sekund.

Skąd biorą się halucynacje AI

Model językowy nie korzysta z bazy faktów — przewiduje kolejne słowa na podstawie wzorców z danych treningowych. Gdy brakuje mu wiedzy, nie zatrzymuje się, tylko uzupełnia lukę najbardziej prawdopodobnym tekstem. Tak powstają zmyślone sygnatury orzeczeń, nieistniejące publikacje, błędne liczby i daty — podane tym samym, pewnym tonem co informacje prawdziwe. To nie usterka jednego produktu, lecz cecha całej technologii: dotyczy ChatGPT, Gemini, Copilota i każdego innego asystenta.

Sygnały ostrzegawcze

Zachowaj szczególną ostrożność, gdy odpowiedź zawiera bardzo precyzyjne dane (kwoty, paragrafy, sygnatury, daty) bez wskazania źródła; gdy dotyczy wydarzeń z ostatnich miesięcy; gdy temat jest niszowy; albo gdy po dopytaniu model zmienia wersję. Pewny ton nie jest żadnym sygnałem jakości — model formułuje zmyślenia i fakty identycznie.

Weryfikacja krok po kroku

Po pierwsze: wyodrębnij z odpowiedzi twierdzenia faktograficzne — zdania, które da się sprawdzić (liczby, daty, nazwy, zdarzenia). Opinie i ogólniki pomiń. Po drugie: każde twierdzenie zweryfikuj w niezależnym, aktualnym źródle — nie w kolejnej rozmowie z tym samym modelem. Po trzecie: oceń całość na podstawie rozkładu wyników. Jedno twierdzenie sprzeczne ze źródłami podważa zaufanie do całej odpowiedzi bardziej niż dziesięć potwierdzonych je buduje.

Granice weryfikacji i praktyka sprawdzania

Weryfikacja rozstrzyga to, co da się zestawić ze źródłem: liczbę, datę, nazwisko, brzmienie przepisu, przebieg zdarzenia. Nie rozstrzyga, czy trafna jest prognoza, ocena albo interpretacja — tam nie ma czego potwierdzać, a odpowiedź AI jest w tym miejscu jedną z możliwych propozycji, nie ustaleniem. Samo źródło też bywa nieaktualne albo błędne, więc wynik sprawdzenia mówi, na ile odpowiedź jest zgodna z dostępnym materiałem, a nie że jest prawdziwa raz na zawsze. Gdy cena pomyłki jest wysoka — zdrowie, prawo, pieniądze — potwierdzenie w źródle traktuj jako punkt wyjścia do rozmowy ze specjalistą, a nie jako jej zamiennik.

Sposób zadania pytania decyduje o tym, jak łatwo będzie potem sprawdzić odpowiedź. Pytanie o jeden konkret — o datę, o brzmienie przepisu, o wynik jednego badania — daje zdanie, które da się zestawić z dokumentem bez czytania go w całości; pytanie o omówienie tematu daje tekst, z którego twierdzenia trzeba najpierw wyodrębnić. Jeżeli w odpowiedzi pojawia się cytat, poproś o brzmienie dosłowne i nazwę dokumentu, a następnie ten dokument otwórz: nazwa i adres nie dowodzą, że fragment w nim istnieje. Zwróć też uwagę na wersję dokumentu, bo przepisy, cenniki i dane statystyczne mają daty obowiązywania, a odpowiedź modelu bez dostępu do sieci opisuje stan z okresu jego danych treningowych, nie z dnia, w którym pytasz.

Sprawdzanie ręczne ma swoją cenę: przy dłuższym tekście trzeba otworzyć kilkanaście stron, żeby ocenić kilka zdań, a każde źródło trzeba jeszcze przeczytać na tyle uważnie, by stwierdzić, czy rzeczywiście mówi to, co przypisano mu w odpowiedzi. DI Cloud przenosi tę czynność do samej rozmowy: pojedyncze twierdzenia zostają oznaczone jako potwierdzone, niepewne albo sprzeczne ze źródłami, przy każdym podany jest adres materiału, na którym oparto ocenę, a całość zamyka jeden z czterech poziomów zaufania, od Zaufanej po Wstrzymaną. Poziom porządkuje czytanie, a nie zwalnia z niego: wskazuje fragmenty, od których warto zacząć, i pozwala odłożyć te, przy których źródła się zgadzają.

Szersze tło — czym jest twierdzenie, źródło, poziom pewności i profil pracy, oraz jak te pojęcia łączą się w jeden przebieg — opisuje kompendium pracy z AI.

Najczęstsze pytania