TLDR: Už pár let vědci umějí přibližně zobrazovat obrazy, na které mozek podle fMRI skenů myslí. Se strojovým učením Stable Diffusion to jde snáz než kdykoliv dříve a není třeba trénovat vlastní software! Studie tuna.

Na co myslíš?

Nemá smysl kolem dnešní novinky chodit jako kolem horké kaše – pokud její závěry replikuje další tým, bude to totiž přesně tak mindblowing, jak to zní z titulku. Vědátoři z Osaky totiž zkombinovali snímky mozku na magnetické rezonanci (resp. fMRI) s AI generátorem obrázků Stable Diffusion, aby rekonstruovali obrazy, na které lidé mysleli. A fungovalo to zřejmě překvapivě dobře!

Nynější objev navazuje ovšem na řadu starších pokroků tímto směrem. Již léta se, obecně vzato, používají modely strojového učení k dekódování informací z lidského mozku. Podstatou většiny metod je použití předem nahraných snímků fMRI jako vstupu do generativního modelu AI pro text nebo obrázky.

Už na začátku roku 2018 tak například skupina výzkumníků z Japonska předvedla, jak neuronová síť podobné rekonstruuje obrazy ze záznamů fMRI. V roce 2019 skupina rekonstruovala obrazy z opičích neuronů a výzkumná skupina Meta pod vedením Jeana-Remiho Kinga zveřejnila novou práci, která z dat fMRI odvozuje pro změnu i text.

Co se nyní mění, či spíše vyvíjí dále, je ale vizuální kvalita těchto rekonstrukcí. Již to nevypadá tak, že vědátoři umí z mozku sice vylovit slovo, to ovšem na vizualizaci vypadá jako napsané na špinavý ubrousek ve světle jediné světlušky. Nová generativní AI umějí data poskládat – a také si k nim doplnit kontext – mnohem lépe než dosavadní snahy.

Snazší než dřív

Využití Stable Diffusion umožnilo vlastně výzkumníkům přeskočit jeden dosavadní krok v podobě trénování vlastních algoritmů. Vše, co je třeba vycvičit, jsou nyní pouze jednoduché lineární modely, které mapují signály magnetickou rezonanci dolních a horních zrakových oblastí mozku na jednotlivé složky tlumočené ve Stable Diffusion.

Jak moc si Stable Diffusion domýšlí (čti: vymýšlí) obrázek? Minimálně! Jenom mapováním vizuálních vjemů by zřejmě nedokázali autoři dosáhnout takového výsledku, protože i váš vlastní mozek si vlastně domýšlí značnou část toho, co vidíte (zejména v periferním vidění). Studie ale dosáhla pokroku díky kombinaci dat z více mozkových center. 

Dolní oblasti mozku tak byly tlumočeny jako kódovač obrazu, zatímco horní oblasti mozku byly naopak tlumočeny na kódovač textu! Když člověk viděl letadlo, nejenže AI mohla nakreslit hrubé obrysy stroje – ale také dokázala objekt označit jako letadlo. Využití sémantického popisu tak vedlo k dosud neJpřesnější rekonstrukci a to byť každý může vidět, že mezi předlohou a výsledkem jsou stále nápadné rozdíly.

…ale zase ne tak snadné!

Jak jsem už ale zmínil, podobné srandy uměly i starší práce. Aktuální studie navíc ještě není publikovaná na ničem jiném než na veřejně přístupném biorXivu, čili ji prozatím musíme brát také jako nerecenzovanou nezávisle. V čem je tedy nynější práce významná? Především v onom eliminování nutnosti trénovat modely strojového učení na míru. To v praxi znamená, že více vědeckých týmů bude moci podobným způsobem tlumočit fMRI data do obrázků…

Což zní možná děsivě – ale v praxi to v první řadě znamená více vědy! Ilustrace toho, na jakou prasárnu zrovna myslíte, pořád není a nebude moc easy – už jen kvůli tomu, že magnetickou rezonanci nemá většina lidí jen tak ve sklepě a nejde ani o zařízení příliš mobilní. Také je třeba vše na uživatele štelovat, nejde tedy zobrazit myšlenky každému hned poté, co zakopne a spadne do tunelu.

Čím více zjistíme o tom, jak funguje mozek – k čemuž slouží i tyto práce – tím snáze a efektivněji můžeme v budoucnu vyvíjet nové typy léčby pro různé nepříjemné choroby související s mozkem i s duší. A to bude o dost víc mindblowing výsledek nejen metaforicky, ale i doslova!

[Ladislav Loukota]

Vědátor vzniká v dílně spolku studentů a popularizátorů vědy UP Crowd za podpory MUDRstart, který tvoří přípravné testy pro studenty vysokých škol. Krom různých autorů projekt jako šéfredaktor vede Ladislav Loukota – jeho kontaktní mail je vedatororg@seznam.cz