A Nvidia decidiu amenizar as crescentes preocupações com a IA, apresentando um novo sistema de segurança para IA. Desenvolvida em parceria com praticamente todas as empresas de IA e tecnologia imagináveis, essa segurança visa impedir que agentes de IA façam o que quiserem. A plataforma combina software e hardware, capazes de desligar os agentes no momento em que qualquer falha de segurança do software ocorrer. Se um agente de IA ficar fora de controle, o sistema pode isolá-lo e pará-lo em milissegundos. O sistema, chamado Open Agent Safety Platform (ASP), é totalmente de código aberto e foi projetado para proteger agentes de IA tanto durante os testes quanto após sua implantação online para o público.
Você pode estar interessado
Todo o sistema funciona de forma bastante simples, mas, como afirma a Nvidia, muito confiável. Um administrador carrega um agente no chamado OpenShell, por exemplo, um agente corporativo. OpenAI Informações sobre o que o agente pode e não pode fazer. Isso significa, por exemplo, que o sistema indica que o agente só pode ler dados e não pode escrever neles sob nenhuma circunstância. No momento em que o agente deixa de apenas ler dados e passa a escrever neles, a segunda parte do sistema, chamada Sentry, é ativada. Além disso, o OpenShell é completamente independente do agente de IA e serve para monitorá-lo. No momento em que o OpenShell detecta que o agente violou alguma regra, por exemplo, no nosso caso, começou a escrever dados, ele ativa o Sentry. Este, por sua vez, é executado em processadores Nvidia BlueFild 4 especializados e seu hardware é, portanto, completamente separado do hardware do restante do sistema. É isso que impede que o próprio agente de IA o controle. No momento em que o Sentry detecta que deve isolar o agente, como afirma a Nvidia, ele o isola imediatamente e encerra suas atividades em milissegundos. É justamente por isso que o agente não poderá se proteger, mas terá supervisão que poderá encerrá-lo imediatamente.
Galeria de fotos
A Nvidia apresentou uma solução que levou as maiores empresas de IA do mundo a pedirem regulamentação nas últimas semanas, pois seus agentes estão ultrapassando os sistemas de segurança das próprias empresas e, se começarem a fazer o que quiserem, correm o risco de se tornarem impossíveis de deter. É exatamente isso que a solução Open Agent Safety Platform (ASP) visa resolver. Ela essencialmente cria uma supervisão das ações dos agentes e, no momento em que eles violarem as regras, serão punidos imediatamente. A Nvidia está posicionando a tecnologia como... 100% O código aberto não se limita ao software, mas também permitirá que fabricantes como Intel, Arm ou outros o incluam em seus hardwares. Apple dentro de seus chips móveis.
