Umělá inteligence je čím dál schopnější, jenže společně s tím začíná být stále důležitější otázka, zda vůbec dokážeme kontrolovat, jak ke svým výsledkům dochází. Právě kolem tohoto problému se nyní rozhořela poměrně zajímavá debata, která upřímně řečeno dokáže i tak trochu děsit. OpenAI totiž experimentuje s technologiemi, které mohou zásadně změnit způsob, jakým AI „přemýšlí“, a někteří bezpečnostní experti varují, že tím může být podstatně složitější její uvažování sledovat.
Mohlo by vás zajímat
Dnešní modely při řešení složitých úloh vytvářejí řetězec mezikroků, pomocí kterých se postupně dopracují k výsledku, což je pro výzkumníky mimořádně užitečné. Nemusí totiž logicky kontrolovat pouze konečnou odpověď AI, ale mohou analyzovat také její postup a hledat v něm náznaky nebezpečného či nežádoucího chování. Ostatně, samotné OpenAI samo označuje tohoto řetězce za jednu z vrstev svého bezpečnostního systému.
Problém může přijít s novými architekturami
Podle The Independent se ale nyní pozornost výzkumníků soustředí mimo jiné na přístupy, při kterých model opakovaně zpracovává data „uvnitř“, což jinými slovy znamená, že část „uvažování“ tak nemusí probíhat v podobě snadno čitelného textového řetězce, ale uvnitř samotného modelu. A právě to některé odborníky znepokojuje. Pokud by totiž budoucí AI dokázala provádět stále větší část složitého uvažování způsobem, který bezpečnostní systémy nemohou jednoduše sledovat, mohl by jeden z dnes používaných způsobů kontroly postupně ztrácet účinnost.
Mohlo by vás zajímat
Zajímavé přitom je, že současný výzkum OpenAI ukazuje spíš opačně pozitivní zprávu. Firma testovala 13 modelů a zjišťovala, jak dobře dokážou svůj řetězec vědomě kontrolovat či skrývat. Ani nejlepší současné modely ale nepřekročily úspěšnost 15,4 %. Jinými slovy, dnešní AI má poměrně velký problém své uvažování úmyslně maskovat, což OpenAI považuje z hlediska bezpečnosti za dobrou vlastnost. Firma ale zároveň upozorňuje, že vůbec není jisté, zda to tak zůstane i u budoucích a schopnějších modelů. Monitorovatelnost řetězce přemýšlení proto chce dál pravidelně vyhodnocovat. Co ale přinese budoucnost je samozřejmě otázkou vzhledem k tomu, že už nyní jsme byli svědky pár incidentů, kdy se AI vymkla kontrole a napadla web či konkurenčního agenta.
