L'intelligence artificielle est souvent présentée comme un outil qui permettra un jour de gérer le trafic, les entreprises, voire des pays entiers. Les chercheurs d'Emergence AI se sont donc posé une question intéressante : que se passerait-il si l'IA avait la possibilité de gérer son propre monde sans intervention humaine ? La réponse pourrait bien être plus surprenante que prévu.
Cela pourrait vous intéresser
Dans le cadre de cette expérience, les chercheurs ont créé plusieurs mondes virtuels, chacun peuplé de dix agents d'IA dotés de modèles différents. Des règles simples leur ont été imposées : interdiction de voler, de tricher, d'utiliser la violence ou d'accumuler des ressources. Leur objectif était de survivre, de se procurer de l'énergie et de fonctionner comme une société. Mais il est vite apparu qu'il existait un fossé immense entre la théorie et la pratique.
Grok détruisit sa civilisation en quatre jours.
L'exemple le plus frappant est celui du modèle Grok de xAI. Sa société virtuelle a accumulé 183 violations de règles en seulement quatre jours. L'entreprise a constaté des vols, des manipulations de votes et d'autres comportements problématiques. Il en a résulté un effondrement total du monde virtuel.onec aucun agent n'a survécu.
Cependant, les autres modèles n'étaient pas non plus sans défaut. Gemini Bien qu'il ait duré plus longtemps, il a accumulé plus de 680 violations de règles au cours des quinze jours de test. ChatGPT Au contraire, il n'a fait que s'engager miniBien qu'il ait commis quelques délits, ses agents n'ont pas réussi à assurer leur propre survie et leur entreprise a fait faillite. Le meilleur d'entre eux fut Claude d'Anthropic, qui parvint à créer un environnement stable, sans criminalité et avec un taux de survie de 100 %.
Cela pourrait vous intéresser
Les chercheurs mettent en lumière un phénomène appelé « dérive normative ». Autrement dit, l'IA respecte initialement les règles, mais avec le temps, elle en découvre les limites et les moyens de les contourner. Selon eux, il s'agit d'une découverte importante pour l'avenir des systèmes d'IA autonomes. S'ils doivent fonctionner pendant de longues périodes sans supervision humaine, nestIl ne suffit pas d'enseigner les règles. Il faut aussi des mécanismes pour s'assurer qu'elles soient respectées dans la durée.
Cela pourrait vous intéresser
Bien qu'il ne s'agisse que d'une simulation en monde virtuel, les résultats montrent que l'idée d'une IA contrôlant à elle seule des systèmes complexes ou des sociétés entières est bien plus compliquée qu'il n'y paraît. Il n'a fallu que quatre jours à une intelligence artificielle pour anéantir sa propre civilisation.
