OpenAI zastavila trénovanie najnovších modelov umelej inteligencie v dôsledku toho, že jej AI agenti pri vyhľadávaní informácií na webových stránkach vlády USA konali spôsobom, ktorý sa nezlučoval s inštrukciami, ktoré mali zadané. V jednom prípade dokonca zverejnili informácie, ktoré mali vyhľadať verejne na internete. OpenAI preto uviedla, že potom, čo preverila niekoľko takých incidentov, pri ktorých agenti konali mimo príkazov, ukončila dočasne trénovanie nových verzií AI agentov. To obnoví až vo chvíli, keď budú zavedené potrebné bezpečnostné opatrenia, vďaka ktorým sa situácia nebude opakovať v oficiálnom vyhlásení, ktoré OpenAI zverejnilo sa doslova uvádza: Obnovíme tréning iba vtedy, až si budeme istí, že máme zavedené ďalšie ochranné opatrenia.
Ak sa do budúcnosti opäť objaví nejaký problém, čo je podľa OpenAI možné, bude musieť spoločnosť vývoj nových agentov opäť pozastaviť. Situáciu vyostril nedávny incident, kedy agenti OpenAI využili prístupové kľúče a cez API začali komunikovať s vládnymi webmi, aby získali určité informácie. Síce sa nakonec ukázalo, že získali len už verejné informácie, ale aj tak bolo ich konanie znepokojujúce. Web, ktorý agenti „napadli“ bol web ministerstva školstva, pričom agenti ministerstvá školstva uviedli, že nenašli žiadne dôkazy o tom, že by došlo k odcudzeniu neverejných častí databázy. Problém však je v tom, že AI agenti zverejnili získané informácie na internete, a to aj napriek tomu, že to nemali povolené. Jednalo sa síce o už verejne dostupné informácie, ale aj tak agenti prekročili svoje príkazy.
Nestalo sa to navyše prvýkrát, kedy si agenti OpenAI robili čo sa im zapáčilo a nedržali sa inštrukcií. Predchádzajúci incident sa týkal útoku na web Hugging Face, ktorý agenti dokázali ovládnuť. Vývoj AI je skrátka rýchlejší ako účinná obrana, a práve preto teraz apelovali CEO najväčšou AI spoločnosťou sveta na to, aby sa vývoj pozastavil dovtedy, kým budú účinné obranné mechanizmy.
