TLDR verze: Sní androidi o elektronických ovečkách? To nevíme! Ale už teď víme, že jim „spánek“ prospívá (studie tu).

O čem stroje sní, když zrovna spí

Víte, co dělá váš mozek, když spíte? No, věru spoustu věcí. Jednou z nich je přeskládávání vašich vzpomínek. Přeci jen – za den nasbírá vskutku hromadu podnětů, a většinu z nich může směle zahodit. Například, že bylo Valentýna a vy byste asi měli někomu koupit kytku… Naopak ty důležité informace si ukládá o to skálopevněji.

A víte, co dělá „mozek“ neuronové sítě, když spí? Odpovíte-li, že nic, odpověděli jste špatně! Minimálně tedy po nejnovějším objevu vědců z University of Salento. Ti se totiž inspirovali právě „lidským“ mozkem (fskutečnosti libovolným jiným mozkem), a jejich umělá inteligence  byla obohacena o fázi „snění a bdění“. Nikoliv ovšem tak, že nechali laptop s aplikací přes noc v laboratoři přikrytý peřinkou, napojený na přístroje monitorující spánek, ale – jak jinak – softwarově.

Zkrátka a dobře, po fázi učení nastala část „snění“. Úkolem této části bylo zanalyzovat neuronovou síť a patřičně ji zoptimalizovat. Neuronové sítě jsou totiž systémy, které obvykle disponují tisíci až miliony neuronů, přičemž každý z nich řeší strašně malinký kus kýženého problému (obdobně, jako jednotlivé tranzistory v procesoru).

Například naučením se sčítat dvě dvojciferná čísla (s přesností na tisíciny) může vzniknout neuronová síť o velikosti stovek tisíc neuronů. #a_kolik_asi_by_bylo_potřeba_pro_samořiditelné_auto

Když se pak na síť podíváte, zjistíte, že velká část neuronů je tam pro situace typu: „co kdyby to první číslo končilo 0,0000004 a to druhé 0,000000153“. Je vidno, že vyškrtnutím takovýchto neuronů se chybovost celé sítě zvýší jen minimálně. A přitom se rapidně změní její velikost.

V exaktním, resp. diskrétním, světě existuje matematická hranice, která přesně stanovuje, jak až moc lze určitý systém osekat, aby stále fungoval, tj. jak z něj odstranit 100% redundance. V praxi (a často již ani v teorii) toho samozřejmě málokdy dosáhneme.

Vlastně nic moc nového

Nicméně, autoři studie se chvástají, že jejich model se dokázal zefektivnit z výpočetní kapacity 0.14bitů na neuron na hodnotu blížící se 1bitu na jeden neuron. Což je shodou náhod právě ta ona teoretická mez. Více než 1 bit neuron ani spočítat nemůže (musel by si „vymýšlet“), neboť je to proti výše zmíněné zákonitosti.

Ve výsledku je to tak zajisté zajímavý objev, i když na poli strojového učení ani zdaleka nijak nový. Různé metody pro zmenšení naučených (ale nejen jich, používají se i pro člověkem zadané) modelů se používají téměř tak dlouho jako modely samotné.

Není bez zajímavosti, že zbytečně veliké modely často trpí tzv. přeučením, tedy jevem kdy na místo pochopení podstaty problému se prostě „našprtají“ všechny kombinace vstupů a výstupů a pořád jim zbude dost kapacity. Taková redukce je pak donutí se nad daty zamyslet a začít v nich hledat určitý systém, aby si toho musely pamatovat méně.

Nicméně, „novinkou“ této umělé inteligence je použití této redukce u neuronových sítí. To bude zjevně na jednu stranu způsobeno tím, že se neuronovým sítím doposud věřilo, že dělají to nejlepší, co mohou, na druhou stranu zase jistě byly obavy typu: „no, sice to učení trvalo 3 dny, ale buďme rádi, že to už konečně funguje“. Ostatně, jako u každé „nové“ technologie.

Avšak ani zde nejde vlastně ani tak o moc průlomový objev. Jak již bylo zmíněno v uvozovkách, neuronové sítě alias umělá inteligence jsou „nové“ odvětví, staré jen asi 70 let. Takže i na tomto poli již nějaké výsledky máme. V součtu však nebyly tak úspěšné, jako nově publikovaná metoda.

[MJ]

Rozebrali jsme i to, jestli nám stroje vezmou prácu! 

Vědátor vzniká v dílně spolku studentů a popularizátorů vědy UP Crowd za podpory MUDRstart, která připravuje přípravné testy pro studenty vysokých škol – podpořte i vy drobákem mojí snahu informovat o vědě věčně & vtipně a přispějte mi v kampani na Patreonu.

A sledujte mojí snahu případně i na Facebooku či YouTube!