Nvidia a décidé d'apaiser les inquiétudes croissantes concernant l'IA en introduisant un nouveau système de sécurité. Ce système, développé en collaboration avec la quasi-totalité des entreprises du secteur de l'IA et des technologies, vise à empêcher les agents d'IA d'agir à leur guise. La plateforme combine logiciels et matériels pour désactiver les agents dès qu'une faille de sécurité logicielle apparaît. Si un agent d'IA devient incontrôlable, ce système peut l'isoler et l'arrêter en quelques millisecondes. Baptisée Open Agent Safety Platform, cette plateforme est entièrement open source et conçue pour sécuriser les agents d'IA aussi bien pendant leurs phases de test qu'une fois déployés en ligne et accessibles au public.
Cela pourrait vous intéresser
L'ensemble du système fonctionne de manière assez simple, mais, comme l'affirme Nvidia, de façon très fiable. Un administrateur télécharge un agent dans ce qu'on appelle OpenShell, par exemple un agent d'entreprise. OpenAI Des informations précisent les capacités et les limitations de l'agent. Par exemple, il est indiqué que l'agent peut uniquement lire des données et ne peut en aucun cas les modifier. Dès que l'agent cesse de se contenter de lire des données et commence à les modifier, la seconde partie du système, appelée Sentry, est activée. De plus, OpenShell est totalement indépendant de l'agent d'IA et sert à le surveiller. Dès qu'OpenShell détecte une infraction de l'agent (par exemple, dans notre cas, une modification des données), il active Sentry. Ce dernier s'exécute alors sur des processeurs Nvidia BlueFild 4 dédiés et son matériel est donc complètement séparé du reste du système. C'est ce qui empêche l'agent d'IA de le contrôler. Dès que Sentry détecte qu'il doit isoler l'agent, comme l'affirme Nvidia, il l'isole immédiatement et interrompt ses activités en quelques millisecondes. C'est précisément pour cette raison que l'agent ne peut pas se protéger lui-même, mais qu'il est placé sous surveillance et peut être arrêté instantanément.
Galerie photo
Nvidia a mis au point une solution qui a suscité ces dernières semaines des appels à la réglementation de la part des plus grandes entreprises mondiales d'IA. En effet, leurs agents dépassent les capacités des systèmes de sécurité de ces entreprises et, s'ils commencent à agir à leur guise, il est possible qu'ils deviennent impossibles à arrêter. C'est précisément ce que la plateforme Open Agent Safety Platform vise à résoudre. Elle permet de contrôler les activités des agents et de sanctionner immédiatement toute infraction. Nvidia présente cette technologie comme 100% L'open source, non seulement au niveau logiciel, mais aussi au niveau matériel, permettra aux fabricants comme Intel, Arm ou d'autres de l'intégrer à leurs produits. Apple dans leurs puces mobiles.
