TLDR: Ve věku ChatGPT budou pro některé obory stále významnější detektory rozeznávající strojový text od lidského. Problém pro lidi z Česka i pár miliard dalších neanglických mluvčí může představovat, že podobné detektory mají dnes potíže s našimi jazyky. Studie hír. 

Kaskáda důsledků

Je to sotva rok od proslavení ChatGPT, a rozhodně lze říci, že za tu dobu strojové učení udělalo pořádné vlny! Můžeme se s jinými popularizátory předbíhat ve vysvětlování nuancí a fungování LLM, jak chceme – ale i když GPT zjevně není blízko všeobecné AI, může mít stále velký ekonomický a společenský význam. Jak už to ale s novými vynálezy chodí, jejich efekt není distribuovaný rovnoměrně. V nové studii se dokonce dozvíme, že neangličtí mluvčí mohou být ve věku LLM v nemalé nevýhodě. 

Poměrně nedávno jsme si na Vědátorovi vědátorovali o detekci akademických textů vytvořených v ChatGPT. TLDR verze: pokud chceme zachovat dnešní fungování vědy (což je na debatu, ale jinou) i vzdělávání jako takového (což je taky na debatu, ale jinou), potřebujeme, aby vědecké studie i školní eseje stále psali predominantně lidé. Důvodem je, že se tím snižuje množství vědeckého plevelu, respektive to, že se tím psaním žáci učí. Takže vznikají detektory ChatGPT textů, které toto umí rozeznat. 

Jelikož ale ChatGPT primárně začal psát v angličtině, a jelikož angličtina je i lingua franca vědeckého světa, dané detektory jsou samotné také především anglofonní. V nové práci publikované v časopisu Patterns se podařilo demonstrovat, co to znamená pro jiné jazyky: nic moc dobrého! Detektory GPT textů totiž mohou falešně pozitivně označit za strojové texty od nerodilých mluvčích, které byly skutečně napsány lidmi. 

Když se nad tím zamyslíme, jde o kuriózní důsledek toho, proč je určitá regulace a hlídání strojových biasů potřeba. Zatímco příklady s problematickým rozeznáváním černochů zřejmě mnoha Čechům tolik neřeknou, diskriminace mašin vůči neanglickým jazykům už nejspíše zahraje na citlivější strunu. 

Domorodci mají výhodu

Vědátoři podrobili testu celkem sedm populárních detektorů GPT. Detektory prověřili 91 anglických esejí napsaných nerodilými mluvčími pro všeobecně uznávanou zkoušku znalosti angličtiny nazvanou Test of English as a Foreign Language neboli TOEFL. Tyto platformy nesprávně označily více než polovinu esejů jako vytvořené umělou inteligencí, přičemž jeden detektor označil téměř 98 % těchto esejů jako napsané strojovým učením! Pro srovnání, detektory dokázaly správně klasifikovat více než 90 % esejí napsaných žáky osmých tříd z USA jako eseje vytvořené člověkem.

Jinými slovy, detektory jsou dnes namodulované poměrně dobře na angličtinu, ale o dost méně na jiné jazyky. Proč? Algoritmy detektorů pracují na základě vyhodnocování perplexity textu, tedy toho, jak překvapivý je výběr slov v eseji.

A, jak možná znáte i sami u sebe, nerodilí mluvčí mají tendenci volit častěji jiná slova než mluvčí rodilí. Texty lidí, kteří v angličtině píšou jako brambora, má tak detektor tendenci označit za ty strojového původu. 

James Zou ze Stanfordu, který aktuální práci vytvořil, mluví o tom, že současné detektory GPT nemusejí být spolehlivé, a falešně pozitivní výsledky by mohly mít negativní dopad na neprávem osočené studenty či uchazeče o zaměstnání. Měli bychom se proto prý snažit těmto detektorům co nejvíce vyhýbat při posuzování těch nejdůležitějších psaných dokumentů – motivačních dopisů, přijímacích esejí a podobných relativně krátkých, přesto stále poměrně významných škvárů. 

Problém dočasný, ale…

Je nasnadě, že vše výše uvedené platí jenom pro současnou generaci LLM i detektorů – je pravděpodobné, že v průběhu dalších měsíců a let se míra chybovosti bude snižovat, jak budou trénovány i na jiných jazycích.

Přesto nelze zároveň očekávat, že by chybovost zmizela zcela. Kdokoliv, kdo bude psát trochu odlišně od celkového průměru, a to ať už v horším či lepším smyslu slova, bude zároveň vystaven nenulovému riziku označení za strojové učení. Alespoň tedy z hlediska svých textů. Přičemž jiné než anglické jazyky budou nutně za pozorností věnované angličtině také do nějaké míry zaostávat. 

Musíme se tedy připravit na to, že ačkoliv strojová učení leccos usnadní, přinesou své vlastní nové problémy do našich životů. Možná díky nim snáze napíšete nějaké příspěvky na firemní Facebook, jednodušeji vyřešíte úpravu kódu pro kontrolu či najdete jiné uplatnění. Zároveň ale bude třeba mít vždy na paměti, že texty od jiných lidí mohou být ve skutečnosti od strojů, a naopak texty označené jako strojové mohou být (s menší pravděpodobností) zase od lidí…

[Ladislav Loukota, ŠL]

Vědátor vzniká v dílně spolku studentů a popularizátorů vědy UP Crowd za podpory MUDRstart, který tvoří přípravné testy pro studenty vysokých škol. Krom různých autorů projekt jako šéfredaktor vede Ladislav Loukota – jeho kontaktní mail je vedatororg@seznam.cz

Autolink hír.