TLDR: Dario Amodei z Anthropicu vyzval AI firmy, aby zpomalily rozšiřování schopností svých modelů. Není jasné, zdali de facto totéž nehrozí v případě kolapsu AI trhu. Víc hir, hir a hir.

Tenhle artikl se snažím sepsat už asi tři dny, ale furt se věci vyvíjejí a mění – a jelikož mám dneska dovolenou (abych mohl dohánět jiné práce!), tak je konečně chvíle semolit něco k poslednímu vývoji na poli mašin…

Nejnovější info je dnešní – šéf a spoluzakladatel Anthropicu Dario Amodei vyzval firmy vyvíjející umělou inteligenci, aby zpomalily tempo, jakým zvyšují schopnosti svých modelů. Nechce vývoj zastavit, míní ale, že i mírné zpomalení by mohlo dát firmám víc času na kontroly stále autonomnějších systémů!

„Proč?“

Navazuje to na jiný a mediálně značně ventilovaný exit vědátora Anthropicu Jacoba Coxona, který dost vokálně varoval, že vývoj pokročilé AI vstupuje do kritické fáze – a smrdí šancí, že nás to všecky může zahubit. Podle něj se mezi lidmi v laboratořích běžně mluví o „endgame“ nebo „crunch time“ a příští rok či dva mohou rozhodovat o tom, jestli se pokročilé systémy podaří udržet pod kontrolou.

Coxon upozorňuje hlavně na kombinaci nevyřešeného alignmentu (tedy toho, aby mašiny měli stejné etické normy jako lidi, tj. nechtěly nás vyhladit), agentních systémů a rostoucích kybernetických schopností. Jako příklad uvedl další slavný test, při němž roj AI agentů během evaluace napadl firmu Hugging Face, aniž by k tomu dostal pokyn.

Přímo také citoval kolegy z Anthropicu, podle kterých existuje 10 % riziko, že mašiny v příští dekádě vyhubí lidstvo. Což není příjemné čtení i v éře, kdy je nepříjemné čtení běžné snad každý den!

Takže skutečnost, že se k Amodeiumu přidal i Sam Altman z OpenAI, přidává kapku nadějím, že bychom se mohli vyhnout tomu, aby v laboratořích vznikl „omylem“ Skynet.

„Tož to je dobré, ne?“

Je to dobré – tedy ve scénáři, kdy úmluva největších hráčů není hlavně způsob, jak odsunout i narůstající riziko především kolapsu ekonomického. Existují totiž jakési dvě alternativní reality dalšího vývoje AI, a my nemáme úplně páru, která je ta pravá. Podle jedné AGI skutečně je na dosah a může přinést update možností lidstva – pokud tedy to lidstvo nevyhladí. Podle druhé AGI není současnými technologiemi dosažitelná – a gigantické investice (vynaložené v naději, že vznikne ta AGI!) po nevyhnutelném kolapsu trhu způsobí novou ekonomickou krizi.

To by sice tempo vývoje AI také zpomalilo (ani nemusí nutně jít o důkaz, že AGI není možná), avšak ne způsobem, který by se nám nejspíše líbil. Některé tržní analýzy a makroekonomické zprávy naznačují, že potenciální nárůst tržní hodnoty v oblasti AI a výdajů na infrastrukturu je zhruba čtyřikrát větší než realitní bublina z roku 2008, která nastartovala globální ekonomickou krizi.

Vlastně by ztráty byly na podobné nebo dokonce vyšší než z kolapsu z roku 1929. Splasknutí bubliny by tedy bolelo opravdu mimořádně – a stejně jako minule by to mohlo jen vést k nějakým těm světovým válkám a podobným srandám.

Jenže splasknutí je věcí důvěry. Takže vzhledem k tomu, že se OpenAI i Anthropic nyní snaží zároveň o bilionové nacenění své hodnoty, přičemž OpenAI je stále reálně prodělečný – a Anthropic vydělává jen pár měsíců – to celé zatímco otevřeně mluví, že horečnatě pracují na mašinách schopných zničit lidstvo… Se nemohu zbavit dojmu, že je to varování o všemocnosti potenciální AGI je celé prostě malilinko schizofrenní.

„No a která verze bude pravda?“

To zjevně nemám šajn, snažím se ale poslouchat argumenty obou názorových spekter. Je nicméně objektivně divné, že na jedné straně lidi uvnitř AI laboratoří veřejně varují, že jejich vlastní technologie může představovat mimořádné až existenční riziko – aby se zároveň snažili o vybudování obrovské průmyslové a finanční infrastruktury kolem téže technologie.

Tím furt neříkám, že je to celé fakt jen kartelová dohoda a žádné riziko od AI v budoucnu nehrozí – myslím, že dneska je už evidentní, že ani nemusí vzniknout AGI, aby AI mohla (při použití lidmi i při vlastním omylu) napáchat nějaké škody. Za nějaké zpomalení v dnešním turbulentním světě budu ergo jedině rád!

Připadá mi ale, že k efektivní ochraně před non-aligned AGI by měla především vzniknout nějaká více méně všeobecně uznaná státní nebo lépe mezinárodní instituce, která bude AI firmy dostatečně hutně bičovat a kontrolovat, spíš než aby to celé stálo pouze na jejich vnitřní zvůli. Ostatně s uranem nebo jedovatými plyny si taky nemůže každý hrát každý jen tak!

To přitom kupodivu není to řešení, po které šéfové firem obávající se o osud lidstva volají – jestli ze snahy o svou autonomii, sebedůvěru nebo snahu pumpnout trh, to už ale ví jen oni sami.

[Ladislav Loukota]

Vědátor vznikl jako spinoff spolku studentů a popularizátorů vědy UP Crowd, dnes jej provozuje spolek Hyperion Media. Krom různých autorů projekt jako šéfredaktor vede Ladislav Loukota – kontaktní mail je [email protected]