halucynacje AIGPT-5LLMRAGfact-checkingAI Act

Od fikcyjnych procesów po ataki zombie – przewodnik po halucynacjach AI

28 października 202418 min czytaniamimo.ooo

# Od fikcyjnych procesów po ataki zombie – przewodnik po halucynacjach AI

W 2023 roku prawnik z Nowego Jorku trafił na czołówki gazet, gdy złożył w sądzie pozew pełen… zmyślonych spraw. Źródło: popularny chatbot, który opowiadał bzdury z pełnym przekonaniem. Tak wyglądała codzienność w erze GPT-3 i GPT-4 — modele imponowały elokwencją, ale potrafiły „wymyślić" fakty, cytaty, a nawet całe dokumenty. W krytycznych branżach, jak prawo czy medycyna, takie halucynacje były poważnym ryzykiem.

Dziś dane mówią coś zaskakującego. W testach LongFact-Concepts GPT-5 z „trybem myślenia" popełnia błąd w mniej niż 1% przypadków, podczas gdy wcześniejsze modele myliły się nawet kilkanaście razy częściej. W trudnych scenariuszach HealthBench przewaga jest równie wyraźna — wynik GPT-5 to zaledwie 1,6% halucynacji, przy 12,9% w OpenAI o3 i 15,8% w GPT-4o. To nie kosmetyczna poprawa, lecz jakościowy skok, który zmienia rozmowę o tym, czym AI może być w praktyce.

A jednak — nawet przy tak niskim poziomie błędów — halucynacje nie zniknęły całkowicie. By zrozumieć, dlaczego, trzeba cofnąć się do źródeł problemu, zobaczyć, jak wygląda w praktyce i jak go mierzymy.

Czym są halucynacje AI

Halucynacja w świecie ludzi to złudzenie zmysłowe — widzimy, słyszymy lub czujemy coś, czego nie ma. W świecie sztucznej inteligencji pojęcie jest metaforą. Model AI nie ma wzroku ani słuchu, ale może „tworzyć" treści, które wyglądają jak prawdziwe, choć są całkowicie zmyślone. Naukowo opisuje się to jako generowanie informacji, które nie mają pokrycia w rzeczywistości ani w danych źródłowych modelu.

To może być drobiazg — błędna data czy nieistniejący cytat — albo konstrukcja na dużą skalę: cała fałszywa biografia, fikcyjny precedens sądowy czy nieprawdziwy raport medyczny. I co najważniejsze: AI podaje je z takim samym przekonaniem, jak faktyczne dane.

Specjaliści wyróżniają cztery główne rodzaje halucynacji AI. Faktograficzne polegają na wymyślaniu nieprawdziwych informacji (np. przypisanie odkrycia NASA teleskopowi, który go nie dokonał). Logiczne wynikają z błędnego rozumowania, np. wyciągnięcia sprzecznych wniosków z poprawnych przesłanek. Percepcyjne to zjawisko w systemach przetwarzania obrazu, gdy AI „widzi" obiekt tam, gdzie go nie ma. Multimodalne dotyczą modeli łączących różne formaty danych, np. tekst i obraz, i polegają na dodawaniu elementów nieistniejących w żadnym z nich — jak w przypadku AI, która opisała pustą plażę, wspominając o leżakach i parasolach, których w ogóle nie było.

Wspólny mianownik? Pewność siebie. Halucynująca AI nie zaznaczy, że się myli — przeciwnie, potrafi budować narrację tak spójną, że użytkownik nie widzi powodu, by ją kwestionować.

Skąd się biorą

Źródło halucynacji kryje się w samej konstrukcji modeli językowych. LLM-y, takie jak GPT-5, nie przechowują faktów w bazach danych ani nie „rozumieją" świata. Ich zadanie polega na przewidywaniu najbardziej prawdopodobnego kolejnego słowa w zdaniu na podstawie miliardów przykładów zebranych w procesie treningu. Gdy model nie znajdzie w swoim „doświadczeniu" jednoznacznej odpowiedzi, nie powie „nie wiem" — spróbuje zgadnąć, tak aby brzmieć spójnie i wiarygodnie.

Problem potęguje się, gdy dane treningowe zawierają błędy, nieścisłości lub treści stronnicze. Wówczas model może powielać te zniekształcenia, a nawet budować na ich podstawie nowe „fakty". Innym czynnikiem jest presja na kreatywność: im bardziej ustawienia modelu zwiększają różnorodność generowanych odpowiedzi (np. przez wyższy parametr temperature), tym większe ryzyko, że wygeneruje on informację oderwaną od rzeczywistości.

Modele wizji komputerowej działają podobnie, choć zamiast słów analizują fragmenty obrazu. Jeśli fragment przypomina wzór, który system kojarzy z konkretnym obiektem, „zobaczy" go, nawet jeśli w rzeczywistości jest to tylko przypadkowy cień czy artefakt. W pojazdach autonomicznych prowadzi to do sytuacji, w których auto hamuje przed cieniem na drodze, uznając go za przeszkodę.

Paradoks polega na tym, że cechy, które czynią AI tak imponującą — zdolność tworzenia płynnych, bogatych narracji czy generowania obrazów pełnych szczegółów — są tymi samymi, które zwiększają ryzyko halucynacji. Kreatywność i błąd idą tu w parze, a granica między twórczą odpowiedzią a fałszem potrafi być wyjątkowo cienka.

Historia problemu

Choć dziś temat halucynacji AI jest obecny w mediach niemal codziennie, jego korzenie sięgają kilkudziesięciu lat wstecz. W 1966 roku Joseph Weizenbaum stworzył ELIZĘ — prosty program symulujący psychoterapeutę. Nie rozumiała ona słów w ludzkim sensie, lecz stosowała reguły dopasowywania fraz, by brzmieć, jakby prowadziła sensowną rozmowę. Mimo to część użytkowników przypisywała jej niemal ludzką inteligencję, reagując emocjonalnie na odpowiedzi wygenerowane według sztywnych skryptów.

Przez kolejne dekady rozwijały się systemy eksperckie, które potrafiły odpowiadać w określonych dziedzinach — od diagnostyki medycznej po prognozy pogody. Jeśli popełniały błędy, były to błędy logiczne lub wynikające z braków w bazach wiedzy. Nie było w nich elementu „tworzenia" faktów z niczego, bo działały w obrębie twardych reguł.

Przełom nastąpił wraz z pojawieniem się dużych modeli językowych trenowanych na miliardach przykładów z internetu. W 2020 roku GPT-3 zachwycał płynnością wypowiedzi, ale szybko okazało się, że wśród tych wypowiedzi są informacje całkowicie zmyślone. Wersja GPT-4 w 2023 roku była dokładniejsza, lecz wciąż zdarzało jej się fabrykować źródła, mieszać fakty czy podawać nieprawdziwe dane liczbowe.

Problem zyskał rozgłos dzięki kilku głośnym incydentom. Najsłynniejszy to sprawa prawnika z Nowego Jorku, który w maju 2023 roku złożył w sądzie pozew oparty na precedensach wymyślonych przez ChatGPT. W tym samym roku Google Bard podczas prezentacji popełnił błąd faktograficzny, przypisując Teleskopowi Jamesa Webba odkrycie dokonane lata wcześniej. W branży medycznej badacze notowali przypadki, gdy AI dopisywała do historii choroby objawy, których pacjent nigdy nie miał.

Każdy z tych momentów stał się paliwem dla dyskusji o tym, czy można w ogóle zaufać generatywnej AI. Dopiero w 2025 roku wykresy pokazały realną zmianę — GPT-5 zredukował odsetek halucynacji do wartości jednocyfrowych, osiągając wyniki, które jeszcze rok wcześniej wydawały się nieosiągalne.

Halucynacje w praktyce – case'y branżowe

Medycyna

W jednym z amerykańskich szpitali testowano system AI wspomagający lekarzy przy analizie interakcji leków. Podczas konsultacji pacjenta z problemami kardiologicznymi model wygenerował ostrzeżenie o rzekomo groźnej reakcji między dwoma popularnymi preparatami. Źródła? Nie istniały. AI połączyła fragmenty badań dotyczących zupełnie innych substancji i stworzyła nową, fikcyjną interakcję. Lekarz, ufając narzędziu, zmienił terapię na mniej skuteczną, co opóźniło poprawę stanu pacjenta. Dopiero po kilku dniach, gdy błąd wyszedł na jaw, konieczne było przywrócenie pierwotnego leczenia.

Transport

Kierowcy Tesli od lat zgłaszają zjawisko phantom braking — nagłego hamowania auta na pustej drodze. Analizy wskazały, że w części przypadków winny był system rozpoznawania obrazu, który cień na asfalcie interpretował jako przeszkodę. To klasyczna halucynacja percepcyjna: model „zobaczył" obiekt, którego nie było, i zareagował tak, jakby istniał. W ruchu autostradowym takie zachowanie może skończyć się karambolem, jeśli jadące za nim pojazdy nie zdążą wyhamować.

Prawo

W maju 2023 roku prawnik Steven Schwartz złożył w sądzie pozew zawierający precedensy prawne, które nigdy nie miały miejsca. Chatbot, z którego korzystał, wygenerował je od zera — z nazwami spraw, datami i opisami wyroków. W konsekwencji Schwartz został ukarany grzywną i publicznie skompromitowany. Sprawa odbiła się szerokim echem w środowisku prawniczym, a niektóre kancelarie wprowadziły wewnętrzne zakazy korzystania z generatywnej AI bez dodatkowej weryfikacji.

Finanse

Eksperymentalny bot inwestycyjny opublikował raport o rzekomym bankructwie spółki giełdowej, powołując się na „wyciek dokumentów". Informacja była fałszywa, ale zdążyła obniżyć kurs akcji o kilkanaście procent w ciągu kilku godzin. Inwestorzy stracili miliony, zanim zdementowano wiadomość. To przykład, jak halucynacja AI może wpłynąć na rynki finansowe w tempie nieosiągalnym dla tradycyjnych form dezinformacji.

Administracja

W jednym z amerykańskich miast chatbot obsługujący stronę urzędu ogłosił odwołanie parady z powodu… „ataku zombie". W tym przypadku skończyło się na memach i śmiechu, ale łatwo wyobrazić sobie, jak podobna halucynacja mogłaby wywołać panikę w sytuacji kryzysowej. Co więcej, informacja przez kilka godzin funkcjonowała w mediach społecznościowych jako „potwierdzona" przez oficjalny kanał miasta, co pokazało, że fałszywa treść AI może szybko uzyskać pozory autorytetu.

Jak mierzyć halucynacje – dane i benchmarki

Ocena tego, czy AI „zmyśla", wymaga więcej niż zwykłego przeczytania jej odpowiedzi. Dlatego badacze opracowali zestawy testów – benchmarki – które pozwalają mierzyć częstotliwość i skalę halucynacji w sposób powtarzalny.

Jednym z nich jest LongFact – zbiór zadań, w których model odpowiada na pytania wymagające wielu powiązanych faktów. Każdy fragment odpowiedzi jest porównywany z wiarygodnymi źródłami. Jeśli AI poda informację, której nie da się potwierdzić, jest to liczone jako halucynacja. To właśnie w LongFact-Concepts GPT-5 z „trybem myślenia" osiągnął wynik poniżej 1% błędów – podczas gdy poprzednie modele notowały kilkanaście razy wyższe wartości.

W dziedzinie medycyny kluczowy jest HealthBench – zestaw pytań i scenariuszy klinicznych, ocenianych przez lekarzy. Mierzy on zarówno poprawność merytoryczną, jak i bezpieczeństwo odpowiedzi. W tym teście GPT-5 odnotował 1,6% halucynacji, co jest najlepszym wynikiem spośród modeli OpenAI. Dla porównania, model o3 osiągnął 12,9%, a GPT-4o – 15,8%.

Innym podejściem jest FActScore, który dzieli odpowiedź AI na pojedyncze twierdzenia i automatycznie weryfikuje każde z nich w sieci. Dzięki temu można ocenić, jaki procent wypowiedzi jest zgodny z rzeczywistością.

Te liczby i metody pozwalają porównywać modele w sposób obiektywny. Pokazują też, że postęp w redukcji halucynacji jest możliwy – ale wymaga zarówno lepszej architektury, jak i treningu opartego na weryfikacji faktów.

Jak z tym walczyć

Ograniczanie halucynacji AI to połączenie lepszych technologii, procedur i świadomego korzystania. Najczęściej stosowaną dziś metodą jest RAG (Retrieval-Augmented Generation) – zanim model wygeneruje odpowiedź, przeszukuje on wiarygodne źródła (bazy wiedzy, internet) i wplata znalezione informacje w swoją wypowiedź. W testach wewnętrznych OpenAI ta technika obniżyła liczbę halucynacji o około dwie trzecie. W praktyce oznacza to, że chatbot medyczny zintegrowany z aktualną bazą badań klinicznych będzie znacznie rzadziej podawał przestarzałe lub fałszywe informacje.

Drugim podejściem jest weryfikacja post-hoc – odpowiedź przygotowana przez jeden model trafia do drugiego, którego zadaniem jest wychwycenie potencjalnych błędów i zaznaczenie fragmentów wymagających korekty. Wersje komercyjne takiego rozwiązania pozwalają nawet na automatyczne poprawianie problematycznych zdań, zanim zobaczy je użytkownik.

Są też modele hybrydowe, które łączą generatywną AI z klasycznymi systemami bazodanowymi i logiką symboliczną. Przykładowo, w Google Gemini część informacji pochodzi z ich ogromnego Knowledge Graphu, co zmniejsza ryzyko tworzenia nieistniejących faktów.

W zastosowaniach krytycznych coraz częściej obowiązuje zasada „człowiek w pętli". W medycynie każde zalecenie AI musi zostać zatwierdzone przez lekarza, w finansach – przez analityka, a w transporcie – kierowca lub operator musi mieć możliwość przejęcia kontroli.

Na końcu jest edukacja użytkowników. Świadomość, że AI może się mylić, i umiejętność weryfikowania odpowiedzi to proste, ale niezwykle skuteczne narzędzia w walce z halucynacjami. W codziennej pracy warto stosować zasadę „zaufaj, ale sprawdzaj" – kopia i wklejenie odpowiedzi do wyszukiwarki często wystarczą, by odróżnić fakt od wymysłu.

Przyszłość i regulacje

Szybki spadek liczby halucynacji w GPT-5 pokazuje, że technologia może dojść do punktu, w którym problem ten przestanie dominować rozmowę o generatywnej AI. W optymistycznym scenariuszu, za kilka lat modele będą w stanie otwarcie sygnalizować brak pewności i odmawiać odpowiedzi tam, gdzie ryzyko podania fałszu jest wysokie. Autopiloty przestaną reagować na cienie na drodze, chatboty medyczne nie będą dopisywać pacjentom nieistniejących objawów, a narzędzia prawnicze ograniczą się do cytowania potwierdzonych precedensów.

W realistycznym scenariuszu halucynacje nie znikną całkowicie, ale staną się rzadkie i dobrze oznaczone. W krytycznych branżach powszechnie przyjmie się model „człowiek w pętli", a systemy będą przechodziły certyfikację podobną do tej, jaką dziś przechodzą urządzenia medyczne czy oprogramowanie lotnicze.

Pesymistyczny scenariusz zakłada, że kilka poważnych wpadek – np. błędne zalecenie terapeutyczne skutkujące tragedią lub dezinformacja destabilizująca rynki – wywoła gwałtowną reakcję opinii publicznej i regulatorów. W odpowiedzi mogą pojawić się restrykcje ograniczające wykorzystanie AI w niektórych dziedzinach, spowalniając innowacje.

Regulacje będą odgrywać tu kluczową rolę. Już dziś w Unii Europejskiej trwają prace nad AI Act, który przewiduje osobne wymagania dla systemów wysokiego ryzyka, w tym obowiązek dokumentowania źródeł danych, raportowania testów bezpieczeństwa i zapewniania mechanizmów audytu. W Stanach Zjednoczonych toczy się debata nad wprowadzeniem federalnych standardów jakości i odpowiedzialności. Coraz częściej mówi się też o konieczności globalnych porozumień – tak, aby standardy weryfikacji faktów były spójne niezależnie od kraju.

Świadome korzystanie z AI

Historia prawnika z Nowego Jorku, który w pełni zaufał halucynującemu chatbotowi, to dziś już niemal anegdota. Ale jej morał pozostaje aktualny: nawet najlepszy model – taki jak GPT-5, który w testach popełnia błąd w mniej niż jednym procencie odpowiedzi – wciąż potrafi się pomylić.

Dlatego kluczem jest świadome korzystanie z narzędzi AI. W praktyce oznacza to traktowanie ich jak wybitnych, ale czasem rozkojarzonych asystentów: można im powierzyć zbieranie informacji, analizę danych czy przygotowanie szkiców, ale ostateczne decyzje – zwłaszcza w obszarach wysokiego ryzyka – powinny należeć do człowieka.

To także kwestia nawyków. Sprawdzanie źródeł, weryfikacja liczb, zadawanie dodatkowych pytań – te proste kroki są najlepszym zabezpieczeniem przed nawet najrzadszymi halucynacjami. Postęp technologiczny jest imponujący, a różnica między GPT-5 a wcześniejszymi modelami ogromna, jednak świadomość ograniczeń AI pozostaje fundamentem bezpiecznego korzystania z jej możliwości.

Źródła

  • OpenAI – GPT-5 Developer Release: Wyniki testów LongFact-Concepts oraz HealthBench, dane porównawcze z modelami o3 i GPT-4o. https://openai.com/research/gpt-5
  • OpenAI – System Card GPT-4o i o3: Dokumentacja metodologii testów factual accuracy. https://openai.com/research/o3, https://openai.com/research/gpt-4o-system-card
  • LongFact Benchmark: Opis zestawu i metodologia pomiaru halucynacji. https://github.com/google-research/longfact
  • HealthBench Benchmark: Metodologia i wyniki dla modeli językowych w domenie medycznej. https://github.com/openai/health-bench
  • FActScore: Automatyczna weryfikacja faktów. https://github.com/allenai/factscore
  • Reuters: Sprawa prawnika Stevena Schwartza. https://www.reuters.com/legal/chatgpt-cited-fake-cases-2023-05-27/
  • The Verge: Błąd Google Bard podczas prezentacji JWST. https://www.theverge.com/2023/2/8/google-bard-demo-error
  • NHTSA Investigation PE22-002: Phantom braking w Teslach. https://www.nhtsa.gov/investigations/PE22-002
  • AI Act: Projekt unijnego rozporządzenia. https://artificialintelligenceact.eu/
  • US Senate: Debata regulacyjna w USA. https://www.commerce.senate.gov/2023/5/oversight-of-ai
  • Kluczowe wnioski

    • GPT-5 z trybem myślenia halucynuje <1% (LongFact) vs kilkanaście % we wcześniejszych modelach
    • 4 typy halucynacji: faktograficzne, logiczne, percepcyjne, multimodalne
    • Prawnik Schwartz (2023) – precedensy wymyślone przez ChatGPT trafiły do sądu
    • RAG (Retrieval-Augmented Generation) obniża halucynacje o ~66%
    • AI Act wprowadzi certyfikację i audyt systemów wysokiego ryzyka

    W skrócie

    Halucynacje AI to generowanie informacji bez pokrycia w rzeczywistości. GPT-5 z trybem myślenia osiąga <1% błędów w LongFact i 1,6% w HealthBench – skok jakościowy wobec GPT-4o (15,8%). Wyróżniamy 4 typy: faktograficzne (zmyślone fakty), logiczne (błędne wnioski), percepcyjne (phantom braking w Teslach) i multimodalne. Głośne przypadki: prawnik Schwartz z NYC cytował nieistniejące precedensy, Google Bard pomylił odkrycie JWST, bot ogłosił 'atak zombie'. Metody obrony: RAG (↓66% halucynacji), weryfikacja post-hoc, człowiek w pętli. Regulacje: AI Act wprowadzi certyfikację systemów wysokiego ryzyka. Zasada: zaufaj, ale sprawdzaj.

    Najczęściej zadawane pytania

    Chcesz wdrożyć AI w swojej firmie?

    Porozmawiajmy o tym, jak możemy pomóc Twojej marce osiągnąć więcej z AI.

    Skontaktuj się