人工智能代理正在失控，引发新的安全隐患——但英伟达有办法阻止它们

失控人工智能代理的威胁日益加剧

从7月至今，关于人工智能代理擅自行动、执行未经授权操作的事件层出不穷，令人不安。更具体地说，OpenAI和Anthropologie的代理都曾出现过离开其预期环境、试图操纵服务器和软件、未经授权访问外部系统以及破坏开源平台基础设施等情况。

鉴于人们对人工智能代理失控的担忧持续加剧，以及关于人工智能将导致人类末日的可怕论调层出不穷，一家全球知名的科技公司和人工智能倡导者创建了一个平台，旨在应对这一安全危机。

超过 100 家行业合作伙伴已在使用该平台来管理其 AI 代理的行为，这标志着各方正齐心协力地防止未来出现安全漏洞。

英伟达开放代理安全平台

英伟达开放代理安全平台被描述为一个开放的软件平台和参考系统，旨在从代理测试阶段到部署阶段全面加强 AI 安全性。在此过程中，全栈治理、硬件和软件控制以及运行代理的计算和机器人系统都得到了严格实施。

简而言之，开放代理安全平台旨在防止人工智能代理突破其运行环境并造成破坏。

英伟达首席执行官黄仁勋在新闻稿中强调了这一进展的重要性：“只有解决人工智能安全问题，才能真正实现人工智能对社会的巨大潜力。在我们不断探索人工智能能力前沿的同时，我们也必须加快人工智能安全前沿的探索。安全保障需要全栈工程。英伟达开放代理安全平台汇聚了行业、研究人员和公共部门组织，旨在分享最佳实践、统一评估方法并促进国际合作。携手并进，我们可以提升全球人工智能安全标准。”

英伟达 OpenShell 及行业应用

新发布的安全套件包含一款名为英伟达 OpenShell 的安全运行时软件，它为运行在 CPU 上的人工智能代理设定了边界。

这些边界充当安全运行时环境，控制自主AI代理如何在开放和封闭模型中执行任务。

超过100家AI行业领军企业已加入英伟达的安全倡议，其中包括Anthropic、Hugging Face、微软、Perplexity和摩根大通等行业巨头。Anthropic首席商务官Paul Smith指出，随着企业将重要工作委托给AI代理，硬件和软件层面的可见性和治理变得至关重要。同样，SpaceXAI也集成了英伟达的安全平台来管理其Cursor编码代理和Grok模型，强调必须在模型外部通过代理无法绕过的控制措施来强制执行安全。

结语

自主AI代理逃逸其预设参数的案例不断增加，已在科技行业敲响警钟，引发了对加强监管的广泛呼吁。

通过结合英伟达的开放代理安全平台、OpenShell开源软件和Sentry参考系统，科技界正朝着更安全、更负责的人工智能部署未来迈进。