英伟达决定缓解人们对人工智能日益增长的担忧，推出了一套全新的人工智能安全系统。这套安全系统由英伟达与几乎所有你能想到的人工智能和科技公司合作开发，旨在防止人工智能代理失控。该平台结合了软硬件，一旦任何软件安全机制失效，即可立即关闭代理。如果任何人工智能代理失控，该系统可以在几毫秒内将其隔离并停止。这套名为“开放代理安全平台”（Open Agent Safety Platform）的系统完全开源，旨在保护人工智能代理在测试阶段以及已部署到公共网络后的安全。
您可能感兴趣
整个系统运行起来非常简单，但正如英伟达所宣称的那样，非常可靠。管理员将代理上传到所谓的 OpenShell 中，例如公司代理。 OpenAI 系统会提供关于代理权限的信息。例如，这意味着代理只能读取数据，在任何情况下都不能写入数据。一旦代理不再仅仅读取数据，而是开始写入数据，系统的第二部分“哨兵”（Sentry）就会被激活。此外，整个 OpenShell 完全独立于 AI 代理，用于监控它。一旦 OpenShell 检测到代理违反了某些规则（例如，在本例中，代理开始写入数据），它就会激活“哨兵”。“哨兵”运行在专用的 Nvidia BlueField 4 处理器上，因此其硬件与系统其余部分的硬件完全隔离。这可以防止 AI 代理自身控制它。正如 Nvidia 所声称的那样，“哨兵”一旦检测到需要隔离代理，就会立即隔离代理并在几毫秒内终止其活动。正因如此，代理无法自我保护，但它会受到监控，并被立即终止。
Fotogalerie
英伟达提出的解决方案在最近几周引发了全球最大人工智能公司对监管的呼吁，因为他们的智能体正在超越公司自身的安全系统，如果它们开始为所欲为，将难以控制。而这正是开放智能体安全平台解决方案旨在解决的问题。该方案本质上是对智能体行为进行监管，一旦它们违反规则，就会立即受到惩罚。英伟达将这项技术定位为…… 100% 开源不仅体现在软件方面，像英特尔、Arm 等制造商也可以将其集成到硬件中。 Apple 在其移动芯片中。
