OpenAI zastavila trénování nejnovějších modelů umělé inteligence v důsledku toho, že její AI agenti při vyhledávání informací na webových stránkách vlády USA jednali způsobem, který se neslučoval s instrukcemi, jež měli zadané. V jednom případě dokonce zveřejnili informace, které měli vyhledat veřejně na internetu. OpenAI proto uvedla, že poté, co prověřila několik takových incidentů, při nichž agenti jednali mimo příkazů, ukončila dočasně trénování nových verzí AI agentů. To obnoví až ve chvíli, kdy budou zavedena potřebná bezpečnostní opatření, díky kterým se situace nebude opakovat V oficiálním prohlášení, které OpenAI zveřejnilo se doslova uvádí: Obnovíme trénink pouze tehdy, až si budeme jisti, že máme zavedena další ochranná opatření.
Pokud se do budoucna opět objeví nějaký problém, což je podle OpenAI možné, bude muset společnost vývoj nových agentů opět pozastavit. Situaci vyostřil nedávný incident, kdy agenti OpenAI využili přístupové klíče a přes API začali komunikovat s vládními weby, aby získali určité informace. Sice se nakonec ukázalo, že získali jen již veřejné informace, ale i tak bylo jejich jednání znepokojivé. Web, který agenti „napadli“ byl web ministerstva školství, přičemž agenti ministerstva školství uvedli, že nenašli žádné důkazy o tom, že by došlo k odcizení neveřejných částí databáze. Problém však je v tom, že AI agenti zveřejnili získané informace na internetu, a to i přesto, že to neměli povoleno. Jednalo se sice o již veřejně dostupné informace, ale i tak agenti překročili své příkazy.
Nestalo se to navíc poprvé, kdy si agenti OpenAI dělali co se jim zlíbilo a nedrželi se instrukcí. Předchozí incident se týkal útoku na web Hugging Face, který agenti dokázali ovládnout. Vývoj AI je zkrátka rychlejší než účinná obrana, a právě proto nyní apelovali CEO největší AI společností světa na to, aby se vývoj pozastavil do té doby, než budou účinné obranné mechanismy.
