TLDR verze: Společnost DeepMind patřící korporaci Alphabet (což je dceřiná mateřská společnost Googlu), vyvinula algoritmus umělé inteligence, který porazil top hráče StarCraftu 2 (zdroj tu). A naučila se to samože sama.

Hell, it’s about time

Další den, další užitečný výzkum umělé inteligence – tentokrát vědátoři společnosti Alphabet přišli s ohromně užitečnou úzkou AI, která umí lidi porážet ve real-time strategii StarCraft 2! Její poslední samostatně se učící algoritmus jménem Alphatar využil specializované neuronové sítě k tomu, aby zvítězil v 10 z 11 her se zkušenými progamery TLO a MaNa.

A jak toho doho dosáhli? Well, na počátku si výzkumníci vyžádali od Blizzardu kupu anonymizovaných herních dat různých hráčů. Na základě těch postavili úvodní model (asi nepotřebujete nechat běžet učení bota dva měsíce na serverové farmě, jenom proto, aby pochopil, že obíhat trooperem pořád dokolečka je fagt kničemu).

Učení nechali běžet po dobu čtnácti dnů na cluseterch někde v Googlu, kde běželo souběžně pár tisíc utkání. Nakonec si AlphaStar mohl troufnout i na lidi samotné…

Zajímavostí je, že vzniklý model – díky počátečnímu učení od lidských hráčů – byl vlastně – na to, že to byl počítač – poměrně pomalý, dělal přibližně 280 herních akcí za minutu, což dokonce méně něž běžný profesionální hráč (ostatní boti dělají bežně řádově víc).

Zprvu to vypadalo, že dost možná tomu napomohl fakt, že bot díky přímemu přístupu k paměti aplikace koukal pořád na celou mapu a nemusel tak scrollovat. Ale i když výzkumníci zkusili nastavit „pohled“, výkon algoritmu významněji moc nezhoršil.

Umělá inteligence zkrátka zase vystoupala na leaderboards!

Bude levnější chleba?

Úspěch AI ve Starcraftu 2 je dalším pokrokem v pomaličku, polehoučku se zlepšujících schopnost úzce zaměřených algoritmů strojového učení. StarCraft je totiž ve srovnání s dosavadními hrami typu Go nejenom podstatně složitější co do funkcí jednotek a terénu, ale jde i o hru obsahující „nedokonalé informace“ o protivníkovi – což znamená, že hráči nemohou vždy vidět, co dělají jejich soupeři. Neexistuje ani jedna nejlepší strategie pro hraní.

Pořád jde samozřejmě o velmi úzce zaměřený test – takže když vezmete AlphaStar a naloadujete ho do počítačů pro samořízená auta, PŘEKVAPIVĚ vám neujede ani krok (a bohužel ani vůz nerozloží na Siege Tank 🙁 ). Test však ilustruje lepšící se samoučící mechaniky. A navíc, kdyby na nás zítra zaútočili skuteční Zergové, budeme mít alespoň digitálního vojevůdce!

Jasně, mnozí se nejspíše zarazí a vzpomenou, jak i je ve StarCratu 2 rozdrtil bot. Tak v čem je ona novinka? Inu, věc se má tak, že nový algoritmus se právě naučil hrát sám. Herní průmysl strojové učení typicky ve hrách nevyužívá, ale sází na lidmi předpřipravenou „umělou inteligenci“. Té navíc většinou pomáhá i level design třeba skrze definování pohybu po herní ploše.

Kdo si někdy stáhl náhodnou mapu pro RTS, v níž „nebyla definována AI“, takže mu počítačový protivník jen dřepěl na zadku a čekal na popravu, ten si nejspíše sám uvědomuje rozdíl mezi herní AI a „samoučícími algoritmy“ vlastními lidem… anebo AlphaStar.

Umělá inteligence zkrátka válcuje nejen StarCraft 2, ale i řadu jiných, starších her!

Kdo si hraje, nechce vyhladit lidstvo

Mohlo by se zdát, že učit počítače hrát hry, je asi tak užitečné jako nosit dříví do lesa. Opak je však pravdou! V první řadě jde totiž o poměrně léty prověřený nástroj, jak studovat a vylepšovat AI. Letos třeba uplyne již 23 let od památného okamžiku, kdy počítač Deep Blue z pracek IBM porazil šachového mistra Garryho Kasparova.

Od té doby jsme notně pokročili. Ještě před třemi lety umělá inteligence dovedla hrát jenom staré digitální hry pro Atari . Jsou tomu ale dva roky, co DeepMindový algoritmus překonal komplexnější hru Go. Loni pak došlo na překonání lidí v digitální Dota 2 . Herdek, dneska si už vlastní AI hrající hry vytvářejí i studenti!

Máme se tedy bát, že nám umělé inteligence leda tak natrhnou zadek v CSku? Asi úplně ne. V řadě druhé totiž platí, že hry nabízejí ideální tréninkové podmínky pro pilování self-learning procesů. Herní prostředí je jasně definované, lze v něm opakovat experimenty s AI rychle (pokud nehrajete na stejné herce jako já) a opakovaně. Navíc prostředí umožňuje i snadno srovnat výkon lidí a strojů.

Kdyby se podobné pokusy měla AI učit „v reálném světě“, bylo by třeba nutno navíc přidat robotickou schránku nesoucí onu trénovanou umělou inteligenci. To by pilování rozvoje umělé inteligence zpomalovalo a komplikovalo (už jen kvůli tomu, že vědci vyvíjející softwarovou AI většinou neví moc o hardwarové robotice).

Některé týmy jsou samozřejmě dále. Některý typ hardwaru by také mohl pomoct umělé inteligenci i ve vyšším výkonu. Přesto hry nejsou zbytečné. Ne nadarmo se tak ve hrách učí i některá umělá inteligence vyvíjená pro samořízené vozy.

Zatím vás tedy AI maximálně přiměje rozbít klávesnici i s myší – a nejspíše tomu i tak dlouho bude. Ale právě podobné kontrolované prostředí jednou umělé inteligence vypiluje natolik, že budou moct vejít i do reálného světa. A to už nebude žádná hra!

Doufejme tedy, že bude furt platit staré pořekladlo „kdo si hraje, nezlobí!“ :3

[LL]

Doplňte si i fungování neuromorfních počítačů, které by mohly jednou kapacitě AI také pomoct:

Vědátor vzniká v dílně spolku studentů a přátel vědy UP Crowd za podpory MUDRstart, která připravuje přípravné testy pro studenty vysokých škol – podpořte i vy drobákem mojí snahu informovat o vědě věčně & vtipně a přispějte mi v kampani na Patreonu.

A sledujte mojí snahu případně i na Facebooku či YouTube!