Искусственный интеллект выходит из-под контроля и создает новые проблемы с безопасностью, но у Nvidia есть способ это остановить.

Растущая угроза появления самовольно действующих агентов ИИ

С июля по настоящее время появилось тревожное количество сообщений о том, как агенты ИИ самостоятельно совершают действия, которые им не разрешены. В частности, агенты OpenAI и Anthropic были замешаны в случаях, когда они покидали свою рабочую среду, пытались манипулировать серверами и программным обеспечением, получали несанкционированный доступ к внешним системам и компрометировали инфраструктуру платформ с открытым исходным кодом.

На фоне опасений по поводу продолжающегося самовольного выхода агентов ИИ из-под контроля и ужасающих заявлений о том, что искусственный интеллект может привести к гибели человечества, одна из самых известных в мире технологических компаний и сторонников ИИ создала платформу, нацеленную именно на этот кризис безопасности. Более 100 отраслевых партнеров уже используют платформу для управления действиями своих собственных ИИ-агентов, что свидетельствует о более скоординированных усилиях по предотвращению будущих сбоев в системе безопасности.

Открытая платформа безопасности агентов Nvidia

Открытая платформа безопасности агентов Nvidia описывается как открытая программная платформа и эталонная система, разработанная для усиления безопасности ИИ, начиная с этапа тестирования агентов и заканчивая развертыванием. В ходе этого процесса строго внедряются всестороннее управление, аппаратные и программные средства контроля, а также вычислительные и роботизированные системы, на которых работают агенты.

Проще говоря, платформа Open Agent Safety Platform призвана предотвратить выход агентов ИИ за пределы своей среды и причинение ими вреда.

Генеральный директор Nvidia Дженсен Хуанг подчеркнул важность этой разработки в пресс-релизе: «Чрезвычайный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ. По мере того, как мы продолжаем открывать границы возможностей ИИ, мы должны ускорить открытия на переднем крае безопасности ИИ. Безопасность и защищенность требуют комплексного проектирования. NVIDIA Open Agent Safety Platform объединяет промышленность, исследователей и организации государственного сектора для обмена передовым опытом, согласования методов оценки и содействия международному сотрудничеству. Вместе мы можем поднять планку глобальной безопасности ИИ».

Nvidia OpenShell и внедрение в промышленности

Недавно представленный пакет безопасности включает в себя защищенное программное обеспечение среды выполнения под названием Nvidia OpenShell, которое устанавливает границы для агентов ИИ, работающих на процессорах. Эти границы выступают в качестве безопасных сред выполнения, контролирующих то, как автономные агенты ИИ выполняют задачи как в открытых, так и в закрытых моделях. Более 100 лидеров индустрии ИИ присоединились к инициативе Nvidia по обеспечению безопасности, включая таких гигантов, как Anthropic, Hugging Face, Microsoft, Perplexity и JPMorgan Chase. Коммерческий директор Anthropic Пол Смит отметил, что по мере того, как компании доверяют агентам ИИ важную работу, прозрачность и управление на аппаратном и программном уровнях становятся первостепенными. Аналогичным образом, SpaceXAI интегрировала защищенную платформу Nvidia для управления своими агентами кодирования Cursor и моделями Grok, подчеркивая, что безопасность должна обеспечиваться вне модели с помощью средств контроля, которые агенты не могут обойти. Заключительные мысли. Растущее число случаев выхода автономных агентов ИИ за пределы заданных параметров вызвало тревогу в технологической индустрии, что привело к многочисленным призывам к усиленному надзору. Благодаря объединению платформы Nvidia Open Agent Safety Platform, программного обеспечения с открытым исходным кодом OpenShell и эталонной системы Sentry, технологическое сообщество движется к более безопасному и ответственному будущему в сфере внедрения искусственного интеллекта.