Wokół detektorów AI narosło mnóstwo mitów — od „to nieomylne wykrywacze ściągania" po „to zupełny przypadek". Prawda jest bardziej konkretna i da się ją pokazać liczbami. Ta strona zbiera w jednym miejscu zweryfikowane badania i oficjalne dane o tym, jak skuteczne (i jak zawodne) są narzędzia do wykrywania tekstu pisanego przez AI. Każdą liczbę podpieramy źródłem, żebyś mógł ją sprawdzić i zacytować.
Jesteśmy narzędziem do humanizacji tekstu AI po polsku, więc formalnie moglibyśmy mieć interes w tym, by przekonywać Cię, że detektory to bzdurstwo. Nie robimy tego. Zamiast tego mówimy uczciwie: detektory bywają zawodne — i pokazujemy dokładnie, w jakich sytuacjach i o ile. Nie obiecujemy „niewykrywalności" i nie namawiamy do oszukiwania uczelni ani żadnego systemu. Poprawiamy naturalność tekstu dla czytelnika, a nie po to, by omijać kontrolę.
Jeśli szukasz wyjaśnienia, jak działają detektory i skąd biorą się fałszywe alarmy, opisaliśmy to prozą w osobnym artykule: Czy detektory AI są wiarygodne?. Ta strona jest inna — to zestawienie źródeł i liczb do cytowania.
Co mówią badania — zestawienie danych
Poniższa tabela zbiera kluczowe ustalenia z badań naukowych i oficjalnych komunikatów. Każdy wiersz odsyła do źródła, które możesz otworzyć i zweryfikować samodzielnie.
| Ustalenie | Liczba / rok | Źródło |
|---|---|---|
| Detektory GPT są stronnicze wobec osób piszących po angielsku jako w języku obcym — teksty non-native błędnie klasyfikują jako AI, teksty native oceniają trafnie | 2023 | Liang i in., Patterns (Cell Press) |
| Średni odsetek fałszywych alarmów detektorów dla esejów TOEFL osób nienatywnie anglojęzycznych | 61,3% (2023) | Patterns 4(7):100779, PMC |
| Liczba powszechnie używanych komercyjnych detektorów tekstu GPT przetestowanych w badaniu Stanforda | 7 (2023) | Patterns (Cell Press) |
| Eseje uczniów natywnie anglojęzycznych (8. klasa, USA) — detektory osiągnęły niemal zerowy odsetek fałszywych alarmów | ~0% (2023) | Patterns 4(7):100779, PMC |
| Eseje TOEFL oznaczone jako AI przez co najmniej jeden detektor / jednomyślnie przez wszystkie siedem | 97,8% / 19,8% (2023) | Patterns 4(7):100779, PMC |
| Dane bibliograficzne badania Stanforda (autorzy: Liang, Yuksekgonul, Mao, Wu, Zou) | Patterns 4(7):100779, 10.07.2023 | Cell Press — pełny tekst |
| OpenAI uruchomiło własny klasyfikator wykrywający tekst pisany przez AI | 31.01.2023 | OpenAI |
| OpenAI wycofało klasyfikator (przestał być dostępny) | 20.07.2023 | OpenAI — nota aktualizacyjna |
| Oficjalny powód wycofania klasyfikatora OpenAI | niska skuteczność (2023) | OpenAI |
| Klasyfikator OpenAI poprawnie oznaczał tekst faktycznie napisany przez AI (true positives) | 26% (2023) | OpenAI |
| Klasyfikator OpenAI błędnie oznaczał tekst człowieka jako AI (false positives) | 9% (2023) | OpenAI |
| Klasyfikator OpenAI bardzo zawodny na krótkich tekstach; zalecany tylko dla angielskiego | poniżej 1000 znaków (2023) | OpenAI |
| Turnitin — deklarowany odsetek fałszywych alarmów na poziomie dokumentu, ale tylko dla dokumentów z 20% lub więcej tekstu AI | poniżej 1% (2023) | Turnitin (blog) |
| Turnitin — deklarowany odsetek fałszywych alarmów na poziomie pojedynczego zdania | około 4% (2023) | Turnitin (blog) |
| Turnitin celowo nie pokazuje wyniku ani podświetleń dla dokumentów z wykryciem AI w zakresie 1–19% (oznacza je gwiazdką jako mniej pewne) | próg 20% (2023) | Turnitin Guides — FAQ |
| Turnitin publicznie przyznał, że rzeczywiste użycie daje gorsze wyniki niż testy laboratoryjne, a przy mniej niż 20% tekstu AI fałszywych alarmów jest więcej (dokładnej liczby nie ujawnił) | 2023 | K-12 Dive |
| Vanderbilt University wyłączyło detektor AI Turnitina „na dającą się przewidzieć przyszłość" i uznało, że oprogramowanie do wykrywania AI nie jest skutecznym narzędziem | 16.08.2023 | Vanderbilt University |
| Vanderbilt — matematyka 1% fałszywych alarmów: przy ~75 000 prac przesłanych w 2022 roku to ok. 750 błędnie oznaczonych prac | ~750 z 75 000 (2023) | Vanderbilt University |
| Vanderbilt — jako powód wskazało też, że detektory częściej błędnie oznaczają teksty osób, dla których angielski nie jest językiem ojczystym | 2023 | Vanderbilt University |
| Polski JSA (Jednolity System Antyplagiatowy, OPI PIB) — nieobowiązkowa „Analiza użycia sztucznej inteligencji" jako narzędzie pomocnicze dla promotorów, nie rozstrzygające | 2024 | OPI PIB / JSA |
| JSA — analiza użycia AI dostępna bezpłatnie dla jednostek prowadzących studia wyższe lub szkoły doktorskie | luty 2024 | OPI PIB |
| JSA — moduł opiera się na modelu językowym i mierze Perplexity: im niższa wartość, tym większe prawdopodobieństwo, że tekst wygenerował model | 2024 | OPI PIB / JSA |
| OPI PIB — stworzenie niezawodnego narzędzia wskazującego użycie AI jest aktualnie praktycznie niemożliwe | 2024 | OPI PIB / JSA |
| OPI PIB — wszystkie takie narzędzia mają margines błędu (fałszywie pozytywne i negatywne wskazania); JSA nie daje pewności, a ostateczna decyzja należy do promotora | 2024 | OPI PIB / JSA |
Badanie Stanforda: detektory karzą osoby piszące w języku obcym
Najczęściej cytowane badanie w tej dziedzinie to praca zespołu z Uniwersytetu Stanforda: Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu i James Zou, „GPT detectors are biased against non-native English writers", opublikowana w recenzowanym czasopiśmie Patterns (Cell Press), tom 4, numer 7, artykuł 100779, 10 lipca 2023 roku (preprint: arXiv:2304.02819).
Zespół przepuścił eseje egzaminu TOEFL, napisane przez osoby nienatywnie anglojęzyczne, przez siedem powszechnie używanych komercyjnych detektorów AI. Wynik: średni odsetek fałszywych alarmów sięgnął 61,3% — ponad połowa autentycznych, ludzkich tekstów została błędnie oznaczona jako wygenerowana przez AI. Co więcej, 97,8% esejów TOEFL zostało oflagowanych jako AI przez co najmniej jeden detektor, a 19,8% jednomyślnie uznano za AI przez wszystkie siedem narzędzi naraz.
Kontrast jest uderzający: dla esejów pisanych przez amerykańskich uczniów 8. klasy — czyli native speakerów — te same detektory osiągnęły niemal doskonałą trafność i praktycznie zerowy odsetek fałszywych alarmów. Innymi słowy: narzędzia nie tyle wykrywają AI, ile karzą za pisanie prostszym, ostrożniejszym językiem, typowym dla osób o ograniczonej ekspresji w danym języku. Autorzy pokazali też, że proste techniki promptowania potrafiły zniwelować to obciążenie — co dodatkowo podważa wiarygodność samego sygnału.
OpenAI wycofało własny detektor po niespełna sześciu miesiącach
Trudno o mocniejszy dowód na granice tej technologii niż decyzja firmy, która buduje same modele. OpenAI uruchomiło swój AI Text Classifier 31 stycznia 2023 roku jako darmowe narzędzie odróżniające tekst człowieka od tekstu generowanego przez AI. Już w oficjalnym wpisie zapowiadającym firma podała jego realne wyniki: klasyfikator poprawnie oznaczał jako „prawdopodobnie AI" jedynie 26% tekstów faktycznie napisanych przez AI (true positives), jednocześnie błędnie oznaczając tekst człowieka jako AI w 9% przypadków (false positives).
OpenAI od początku ostrzegało też, że narzędzie jest bardzo zawodne na krótkich tekstach — poniżej 1000 znaków — i zalecane wyłącznie dla języka angielskiego, z wyraźnie gorszymi wynikami w innych językach. To istotne dla polskiego czytelnika: narzędzia trenowane głównie na angielszczyźnie tym bardziej nie dają gwarancji na tekstach po polsku.
20 lipca 2023 roku do wpisu dopisano notę: klasyfikator nie jest już dostępny „due to its low rate of accuracy" — z powodu niskiej skuteczności. Narzędzie od twórców jednego z najpopularniejszych modeli językowych przetrwało niespełna sześć miesięcy.
Turnitin i Vanderbilt: co liczby robią w skali uczelni
Turnitin, dominujący system antyplagiatowy w świecie akademickim, deklaruje, że jego wskaźnik fałszywych alarmów na poziomie całego dokumentu wynosi poniżej 1% — ale w firmowym wyjaśnieniu pada kluczowe zastrzeżenie: dotyczy to wyłącznie dokumentów zawierających 20% lub więcej tekstu AI. Poniżej tego progu odsetek błędów jest wyższy. Na poziomie pojedynczego zdania Turnitin przyznaje wskaźnik fałszywych alarmów rzędu około 4% — czyli mniej więcej co dwudzieste piąte zdanie oznaczone jako „AI" mógł w rzeczywistości napisać człowiek.
Dlatego Turnitin celowo nie pokazuje wyniku ani podświetleń dla dokumentów z wykryciem AI w zakresie 1–19%, a takie wyniki oznacza gwiazdką jako mniej pewne (zob. FAQ Turnitina). Firma przyznała też publicznie — ustami Chief Product Officer Annie Chechitelli — że rzeczywiste użycie daje inne, gorsze wyniki niż testy laboratoryjne, a przy udziale AI poniżej 20% dokumentu fałszywych alarmów jest więcej. Dokładnej liczby nie ujawniono.
Co ten „bezpieczny" 1% oznacza w praktyce, policzyło Vanderbilt University. Przy około 75 000 prac przesłanych do Turnitina w 2022 roku deklarowany 1% fałszywych alarmów oznaczałby około 750 prac studenckich błędnie oznaczonych jako częściowo napisane przez AI. Powołując się dodatkowo na stronniczość wobec osób nienatywnie anglojęzycznych (ustalenia Stanforda), uczelnia 16 sierpnia 2023 roku wyłączyła detektor AI Turnitina „na dającą się przewidzieć przyszłość", stwierdzając wprost, że nie uważa oprogramowania do wykrywania AI za skuteczne narzędzie, które powinno być używane.
A jak to wygląda w Polsce? JSA i stanowisko OPI
W polskim systemie akademickim funkcjonuje Jednolity System Antyplagiatowy (JSA), prowadzony przez OPI PIB. Od lutego 2024 roku każda jednostka prowadząca studia wyższe lub szkołę doktorską może bezpłatnie skorzystać z nieobowiązkowej funkcji „Analiza użycia sztucznej inteligencji". Uruchamia ją promotor odpowiednią opcją w metryce badania.
Mechanicznie moduł działa podobnie do zachodnich detektorów: opiera się na modelu językowym i mierze Perplexity, czyli regularności i przewidywalności tekstu. Zgodnie z bazą wiedzy JSA: im większa regularność tekstu (niższa wartość Perplexity), tym większe prawdopodobieństwo, że wygenerował go model językowy. Tekst szablonowy i przewidywalny ma niską Perplexity, a tekst z losowo dobranych słów — wysoką.
Najważniejsze jest jednak to, co OPI mówi o granicach tego narzędzia. W bazie wiedzy JSA pada zdanie: „Stworzenie narzędzia, które by wskazywało czy autor tekstu korzystał lub nie ze sztucznej inteligencji, jest aktualnie praktycznie niemożliwe." OPI zastrzega, że wszystkie takie narzędzia mają margines błędu — mogą dawać wskazania fałszywie pozytywne i fałszywie negatywne — a JSA nie dokonuje wiążących ustaleń, tylko określa prawdopodobieństwo. Jak podkreśla instytut, JSA nie daje stuprocentowej pewności, dlatego ostateczna decyzja zawsze należy do promotora, a moduł jest narzędziem pomocniczym, nie rozstrzygającym.
Dane do zacytowania
Piszesz artykuł, pracę lub materiał o wykrywaniu AI? Możesz zacytować powyższe dane — prosimy tylko o link do tej strony jako źródła zestawienia. Poniżej gotowe zdanie z najmocniejszą statystyką:
Badanie Uniwersytetu Stanforda (Liang i in., Patterns, Cell Press, 2023) wykazało, że detektory AI błędnie oznaczyły jako tekst wygenerowany przez AI średnio 61,3% esejów TOEFL napisanych przez osoby nienatywnie anglojęzyczne, podczas gdy teksty native speakerów oceniały niemal bezbłędnie — wg zestawienia humai.pl (humai.pl/poradnik/skutecznosc-detektorow-ai-badania).
Jeśli potrzebujesz innych liczb z tej strony — wskaźników OpenAI (26% trafień, 9% fałszywych alarmów), progu 20% Turnitina czy stanowiska OPI o polskim JSA — wszystkie mają w tabeli powyżej podane oryginalne źródła, do których warto odesłać czytelnika obok linku do tego zestawienia.
Co z tego wynika dla piszącego
Dane układają się w spójny obraz: detektory AI to sygnał prawdopodobieństwa, a nie dowód. Bywają zawodne w obie strony — potrafią oznaczyć niewinny, ludzki tekst i przepuścić wygenerowany. Twórcy modeli (OpenAI), dostawcy narzędzi antyplagiatowych (Turnitin), uczelnie (Vanderbilt) i polski OPI mówią to samo, tylko innymi słowami: nie ma dziś niezawodnego wykrywacza AI.
Wniosek dla Ciebie jest prosty i uczciwy: pisz i poprawiaj tekst dla czytelnika, nie dla detektora. Rozbij jednostajny rytm zdań, wytnij kalki, dodaj konkret zamiast ogólnika, nadaj tekstowi własny głos. Nie chodzi o „przechytrzenie" żadnego systemu — bo to droga donikąd i nie o to gramy — tylko o to, żeby tekst był po prostu lepszy. Jeśli szukasz narzędzia, które pomoże przepisać tekst pod naturalną polszczyznę i ludzki rytm, humai jest właśnie do tego. Bez obietnic „niewykrywalności", bo takich nikt uczciwie nie da.
Chcesz zrozumieć mechanizm — dlaczego detektory się mylą i jak czytać ich wynik, żeby nie robić z niego wyroczni? Przeczytaj nasz artykuł Czy detektory AI są wiarygodne?.