Компания Nvidia решила развеять растущие опасения по поводу ИИ, представив новую систему безопасности для ИИ. Эта система безопасности, над которой Nvidia работала практически со всеми компаниями, занимающимися ИИ и технологиями, призвана предотвратить любые действия агентов ИИ. Платформа сочетает в себе программное и аппаратное обеспечение, позволяющее отключать агентов в момент сбоя программного обеспечения. Если какой-либо агент ИИ выйдет из-под контроля, система сможет изолировать и остановить его за миллисекунды. Система, получившая название Open Agent Safety Platform, является полностью открытым исходным кодом и предназначена для обеспечения безопасности агентов ИИ как во время тестирования, так и после их развертывания в сети для широкой публики.
Вас может заинтересовать
Вся система работает довольно просто, но, как утверждает Nvidia, очень надежно. Администратор загружает агент в так называемую OpenShell, например, компания. OpenAI Информация о том, что агент может и чего не может делать. Это означает, например, что агент может только читать данные и ни при каких обстоятельствах не может в них записывать. В тот момент, когда агент перестает только читать данные и начинает в них записывать, активируется вторая часть системы, обозначенная как Sentry. Более того, вся OpenShell полностью независима от ИИ-агента и служит для его мониторинга. В тот момент, когда OpenShell обнаруживает, что агент нарушил что-либо, например, в нашем случае, начал записывать данные, он активирует Sentry. Затем он работает на специализированных процессорах Nvidia BlueFild 4, и его аппаратное обеспечение, таким образом, полностью отделено от аппаратного обеспечения остальной системы. Именно это предотвратит управление агентом со стороны самого ИИ. В тот момент, когда Sentry обнаруживает необходимость изоляции агента, как утверждает Nvidia, он немедленно изолирует агента и прекращает его работу в течение миллисекунд. Именно поэтому агент не сможет защитить себя сам, но за ним будет осуществляться наблюдение, позволяющее немедленно его уничтожить.
Фотогалерея
Компания Nvidia разработала решение, которое в последние недели вызвало призывы к регулированию со стороны крупнейших мировых компаний, занимающихся искусственным интеллектом, поскольку их агенты перерастают собственные системы безопасности компаний, и если они начнут делать все, что захотят, существует риск, что их будет невозможно остановить. Именно эту проблему должно решить решение Open Agent Safety Platform. По сути, оно обеспечивает контроль за действиями агентов, и как только они нарушат правила, их немедленно накажут. Nvidia позиционирует эту технологию как 100% Открытый исходный код позволит не только программному обеспечению, но и производителям, таким как Intel, Arm или, например, другим, интегрировать его в своё оборудование. Apple в их мобильных чипах.
