엔비디아는 인공지능(AI)에 대한 우려가 커지는 가운데, 새로운 AI 보안 시스템을 도입하여 이러한 우려를 해소하고자 합니다. 엔비디아가 거의 모든 AI 및 기술 기업과 협력하여 개발한 이 보안 시스템은 AI 에이전트가 마음대로 행동하는 것을 방지하는 데 중점을 둡니다. 이 플랫폼은 소프트웨어뿐 아니라 하드웨어까지 결합하여 소프트웨어 보안에 문제가 발생할 경우 즉시 에이전트를 차단할 수 있습니다. AI 에이전트가 제어 불능 상태에 빠지더라도 이 시스템은 수 밀리초 만에 에이전트를 격리하고 중지시킬 수 있습니다. 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform)이라고 불리는 이 시스템은 완전한 오픈 소스이며, AI 에이전트가 테스트 중일 때뿐만 아니라 이미 온라인에 배포된 후에도 안전하게 작동하도록 설계되었습니다.
당신은 관심을 가질 수 있습니다
전체 시스템은 매우 간단하게 작동하지만, 엔비디아의 주장대로 매우 안정적입니다. 관리자는 소위 오픈셸(OpenShell)에 에이전트를 업로드합니다. 예를 들어 회사에서 사용하는 방식입니다. OpenAI 에이전트가 할 수 있는 것과 할 수 없는 것에 대한 정보를 제공합니다. 예를 들어, 에이전트는 데이터를 읽기만 할 수 있고 어떤 상황에서도 쓰기를 할 수 없다고 명시합니다. 에이전트가 데이터 읽기만 하다가 쓰기를 시작하는 순간, 시스템의 두 번째 부분인 Sentry가 활성화됩니다. 또한, OpenShell 전체는 AI 에이전트와 완전히 독립적이며 에이전트를 모니터링하는 역할을 합니다. OpenShell은 에이전트가 어떤 규칙을 위반했음을 감지하는 순간, 예를 들어 이 예시에서는 데이터 쓰기를 시작하는 경우, Sentry를 활성화합니다. Sentry는 특수 Nvidia BlueFild 4 프로세서에서 실행되므로 시스템의 나머지 하드웨어와 완전히 분리됩니다. 이것이 바로 AI 에이전트가 Sentry를 제어하는 것을 방지하는 이유입니다. Nvidia의 설명에 따르면, Sentry는 에이전트를 격리해야 한다고 판단하는 즉시 에이전트를 격리하고 몇 밀리초 내에 활동을 종료합니다. 바로 이러한 이유로 에이전트는 스스로를 보호할 수 없지만, 에이전트를 즉시 종료할 수 있는 감시 체계가 구축되어 있습니다.
사진 갤러리
엔비디아는 최근 세계 최대 AI 기업들이 규제를 요구하는 목소리를 높이는 솔루션을 내놓았습니다. AI 에이전트가 자사 보안 시스템의 한계를 넘어서면서, 통제 불능 상태에 빠질 위험이 있기 때문입니다. 엔비디아의 오픈 에이전트 안전 플랫폼(Open Agent Safety Platform) 솔루션은 바로 이러한 문제를 해결하고자 합니다. 이 플랫폼은 에이전트의 활동을 감시하고, 규칙을 위반하는 에이전트에는 즉시 제재를 가합니다. 엔비디아는 이 기술을 다음과 같이 포지셔닝하고 있습니다. 100% 오픈소스는 소프트웨어 측면뿐만 아니라 인텔, 암(Arm)과 같은 제조업체들이 하드웨어에도 적용할 수 있게 될 것입니다. Apple 모바일 칩 내부에 있습니다.
