À mesure que l'IA gagne en puissance, la question de notre capacité à contrôler la production de nos résultats devient cruciale. Ce sujet a suscité un débat passionnant, voire un peu inquiétant. OpenAI L'IA expérimente des technologies susceptibles de modifier fondamentalement sa façon de « penser », et certains experts en sécurité avertissent que cela pourrait rendre la surveillance de sa pensée beaucoup plus difficile.
Cela pourrait vous intéresser
Les modèles actuels, lorsqu'ils résolvent des problèmes complexes, créent une chaîne d'étapes intermédiaires qui leur permettent d'atteindre progressivement le résultat, ce qui est extrêmement utile aux chercheurs. Ils n'ont plus besoin de vérifier logiquement uniquement…oneL’IA réagit, mais elle peut aussi analyser ses progrès et détecter des signes de comportements dangereux ou indésirables. Après tout, l’IA elle-même… OpenAI Elle-même fait référence à cette chaîne comme l'une des couches de son système de sécurité.
ProLe problème pourrait survenir avec les nouvelles architectures.
Selon The Independent, les chercheurs s'intéressent désormais à des approches où le modèle traite les données de manière répétée « en interne », ce qui signifie qu'une partie du raisonnement ne se présente pas sous la forme d'une chaîne de caractères facilement lisible, mais au sein même du modèle. C'est ce qui inquiète certains experts. Si l'IA future était capable d'effectuer un raisonnement de plus en plus complexe d'une manière difficilement contrôlable par les systèmes de sécurité, l'une des méthodes de contrôle actuelles pourrait progressivement perdre de son efficacité.
Cela pourrait vous intéresser
Il est intéressant de noter que les recherches actuelles OpenAI Le résultat est plutôt positif. L'entreprise a testé 13 modèles et déterminé leur capacité à contrôler ou dissimuler consciemment leur processus de pensée. Cependant, même les meilleurs modèles actuels n'ont pas dépassé un taux de réussite de 15,4 %. Autrement dit, l'IA actuelle a un problème majeur : celui de masquer intentionnellement sa pensée. OpenAI L'entreprise considère cela comme un atout en matière de sécurité. Cependant, elle souligne également qu'il est loin d'être certain que cela restera le cas pour les modèles futurs et plus performants. C'est pourquoi elle souhaite continuer à évaluer régulièrement la traçabilité du processus. Mais l'avenir reste incertain, compte tenu des incidents où l'IA a échappé à tout contrôle et attaqué un site web ou un agent concurrent.
