OpenAI La compañía ha suspendido el entrenamiento de sus últimos modelos de inteligencia artificial después de que sus agentes de IA actuaran de forma incoherente con las instrucciones recibidas al buscar información en sitios web del gobierno estadounidense. En un caso, incluso hicieron pública en línea la información que debían buscar. OpenAI Por lo tanto, dijo que después de revisar varios incidentes de este tipo en los que los agentes actuaron fuera de las órdenes, ha suspendido temporalmente el entrenamiento de nuevas versiones de agentes de IA. Reanudará esto solo cuando se implementen las medidas de seguridad necesarias para evitar que la situación se repita. En una declaración oficial, que OpenAI El comunicado dice literalmente: Solo reanudaremos los entrenamientos cuando estemos seguros de que contamos con medidas de protección adicionales.
Si surge un problema nuevamente en el futuro, que es OpenAI Es posible que la empresa tenga que suspender nuevamente el desarrollo de nuevos agentes. La situación se vio agravada por un incidente reciente en el que los agentes... OpenAI Utilizaron claves de acceso y comenzaron a comunicarse con sitios web gubernamentales a través de API para obtener cierta información. Aunqueonec demostró que solo habían obtenido información pública, pero sus acciones seguían siendo inquietantes. El sitio web que los agentes “atacaron” fue el sitio web minidepartamentos de educación, mientras que agentes miniLos responsables de educación afirmaron no haber encontrado pruebas de que se hubieran robado partes no públicas de la base de datos. ProEl problema radica en que los agentes de IA publicaron en internet la información que obtuvieron, a pesar de no tener autorización para hacerlo. Si bien se trataba de información ya disponible públicamente, los agentes se extralimitaron en sus funciones.
NestAdemás, fue la primera vez que los agentes OpenAI Hicieron lo que quisieron y no siguieron las instrucciones. El incidente anterior involucró un ataque al sitio web Hugging Face, que los agentes lograron controlar. El desarrollo de la IA avanza más rápido que la defensa efectiva, razón por la cual los directores ejecutivos de las mayores empresas de IA del mundo han solicitado que se suspenda el desarrollo hasta que se implementen mecanismos de defensa eficaces.
