TLDR: Studie MIT zkoumala aktivitu mozku lidí, kteří psali eseje sami či s pomocí ChatGPT. Ti druzí ji měli nižší. Dle kritiků může být ale efekt dán nastavením pokusu. Studie tuna, a kritika tuna.

Svět a lidstvo se mění už od chvíle, kdy jsme objevili oheň. Jsou tomu už tři roky, co velké jazykové modely a generativní AI udělaly velkou díru do světa. Zatím kvůli tomu svět úplně v plamenech neskončil, není ale ani radno podceňovat impakt tak rychlého přijetí udělátka stovkami milionů lidí…

Co s námi totiž dnešní AIčka dělají, poznáváme jenom velmi postupně. Co když třeba „outsourcování“ některých kritických úloh na ChatGPT způsobuje, že lidský uživatel právě tyto schopnosti sám u sebe oslabuje? Nová práce z MIT varuje právě před tímto jevem.

„Co zjistili?“

Vědátoři MIT ve stručnosti tvrdí, že používání ChatGPT jako pomůcky při psaní esejí může vést k „kognitivnímu dluhu“ a „pravděpodobnému poklesu studijních schopností“. Jak na to přišli?

V průběhu čtyř měsíců požádal tým 54 dospělých, aby napsali sérii tří esejí pomocí AI (ChatGPT), vyhledávače nebo pouze svého mozku (skupina „Pouze mozek“). Tým měřil kognitivní zapojení zkoumáním elektrické aktivity v mozku a jazykovou analýzou esejí.

Asi nepřekvapí, že kognitivní zapojení těch, kteří používali AI, bylo výrazně nižší než u ostatních dvou skupin. Tato skupina také měla větší potíže s vybavováním citátů ze svých esejí a cítila menší pocit vlastnictví nad nimi…

„To zní…. docela logicky?“

Když si účastníci si pro poslední, čtvrtou esej vyměnili role – skupina používající pouze mozek použila AI a naopak – skupina používající AI dosáhla horších výsledků. Autoři proto tvrdí, že dlouhodobé používání AI vedlo k hromadění „kognitivního dluhu“ u účastníků…

Někteří vědátoři z jiných týmů ale varují, že experiment nic takového nedokazuje a výsledky lze interpretovat i jinak. Změna neuronové konektivity skupiny používající pouze mozek během prvních tří sezení byla prý spíše výsledkem většího seznámení se s úkolem studie, což je jev známý jako efekt seznámení.

Jak účastníci studie opakují úkol, stávají se s ním více seznámení a efektivnější a jejich kognitivní strategie se tomu přizpůsobuje. Když skupina s AI konečně dostala příležitost „použít svůj mozek“, úkol prováděla pouze jednou. Aby bylo možné plně ospravedlnit tvrzení výzkumníků, museli by účastníci s AI také absolvovat tři relace psaní bez AI.

„Aha, takže našemu mozku AI neškodí?“

To zase nikdo netvrdí – jenom pro to tato práce nepřinesla úplně neprůstřelné důkazy. Kritici vzpomněli na paradoxní vliv kalkulaček – po jejich příchodu byly matematické testy ztíženy, aby se vyrovnal jejich efekt. V praxi se tak laťka výrazně zvýšila.

Problém s AI spočívá v tom, že pedagogové většinou nezvýšili laťku podobným způsobem. Tedy tak, aby se AI stala jen součástí procesu učení, popřípadě aby se testovalo způsobem eliminujícím AI – tedy ne jen napsáním eseje jako v nynější práci. I podle kritiků nynější práce MIT může být používání AI v takovém případně škodlivé pro danou schopnost – když nebudete psát žádné eseje a bude je za vás psát AI, pak velmi pravděpodobně ano, budete to hůře zvládat sami. Otázka je, jestli to je samo o sobě problém. Řešením přitom nemusí být nutně zákaz AI, jako spíše nalezení cesty, jak testovat studenty v novém status quo – třeba ústním prezentováním projektu před panelem kritiků, při němž student musí reagovat rychle a flexibilně…

Nemyslím si zároveň, že inovativní přístup bude vždy řešením, a mnohé regulace AI budou nejspíše potřebné tak, jako tomu bylo i u jiných vynálezů včetně toho ohně (což neznamená, že se skutečně stanou nebo shoda na nich bude snadná). Zároveň je ale možná doba, kdy samotné sepsání eseje mohlo reflektovat nějaký skill, je nejspíše ta tam. A stavět čistě na tomto argumentaci, je tak trochu jako chtít po běžných studentech, aby v éře zapalovačů dokázali sami rozdělat oheň.

[Ladislav Loukota]

Vědátor vznikl jako spinoff spolku studentů a popularizátorů vědy UP Crowd, dnes jej provozuje spolek Hyperion Media. Krom různých autorů projekt jako šéfredaktor vede Ladislav Loukota – kontaktní mail je [email protected]