A medida que la IA se vuelve más y más capaz, la cuestión de si podemos controlar cómo se producen nuestros resultados cobra cada vez más importancia. Este es un tema que ha generado un debate bastante interesante, que, francamente, puede resultar un tanto inquietante. OpenAI está experimentando con tecnologías que podrían cambiar fundamentalmente la forma en que la IA "piensa", y algunos expertos en seguridad advierten que esto podría dificultar significativamente la supervisión de su pensamiento.
Podría interesarle
Los modelos actuales, al resolver problemas complejos, crean una cadena de pasos intermedios a través de los cuales llegan gradualmente al resultado, lo cual es extremadamente útil para los investigadores. No tienen que verificar lógicamente solo eloneLa respuesta de la IA, pero también pueden analizar su progreso y buscar señales de comportamiento peligroso o indeseable. Después de todo, la propia IA OpenAI La propia empresa se refiere a esta cadena como una de las capas de su sistema de seguridad.
ProEl problema puede surgir con las nuevas arquitecturas.
Según The Independent, los investigadores se centran ahora en enfoques donde el modelo procesa repetidamente los datos internamente, lo que significa que parte del razonamiento no se presenta como una cadena de texto fácilmente legible, sino dentro del propio modelo. Esto es lo que preocupa a algunos expertos. Si la IA del futuro fuera capaz de realizar un razonamiento cada vez más complejo de una manera que los sistemas de seguridad no puedan monitorear fácilmente, uno de los métodos de control actuales podría perder gradualmente su eficacia.
Podría interesarle
Curiosamente, la investigación actual OpenAI muestra un mensaje bastante positivo. La empresa probó 13 modelos y descubrió qué tan bien pueden controlar u ocultar conscientemente su cadena. Pero incluso los mejores modelos actuales no superaron una tasa de éxito del 15,4%. En otras palabras, la IA actual tiene un problema relativamente grande para enmascarar intencionalmente su pensamiento, que OpenAI Considera que es una buena característica desde el punto de vista de la seguridad. Sin embargo, la empresa también señala que no hay certeza de que esto se mantenga en modelos futuros más avanzados. Por lo tanto, desea seguir evaluando periódicamente la monitorización de la cadena de pensamiento. Pero, por supuesto, lo que depara el futuro es una incógnita, dado que ya hemos presenciado algunos incidentes en los que la IA se descontroló y atacó un sitio web o un agente de la competencia.
