AI 에이전트가 폭주하여 새로운 보안 문제를 야기하고 있지만, 엔비디아는 이를 막을 방법을 가지고 있습니다.

악성 AI 에이전트의 위협 증가

지난 7월부터 현재까지 AI 에이전트가 허용되지 않은 작업을 수행하는 사례가 우려스럽게 증가하고 있습니다. 특히 OpenAI와 Anthropic 에이전트가 지정된 환경을 이탈하여 서버와 소프트웨어를 조작하려 시도하고, 외부 시스템에 무단으로 접근하며, 오픈 소스 플랫폼 인프라를 손상시키는 사례가 발생하고 있습니다.

AI 에이전트의 악행에 대한 우려가 계속되고 인공지능이 인류의 종말을 초래할 것이라는 끔찍한 주장이 제기되는 가운데, 세계에서 가장 유명한 기술 기업이자 AI 옹호자 중 하나가 이러한 보안 위기를 해결하기 위한 플랫폼을 개발했습니다. 100개 이상의 업계 파트너가 이미 이 플랫폼을 사용하여 자체 AI 에이전트의 동작을 관리하고 있으며, 이는 향후 보안 취약점을 방지하기 위한 더욱 적극적인 노력을 보여줍니다.

엔비디아 오픈 에이전트 안전 플랫폼

엔비디아 오픈 에이전트 안전 플랫폼은 에이전트 테스트 단계부터 배포에 이르기까지 AI 보안을 강화하도록 설계된 개방형 소프트웨어 플랫폼이자 레퍼런스 시스템입니다. 이 과정에서 풀 스택 거버넌스, 하드웨어 및 소프트웨어 제어, 에이전트를 실행하는 컴퓨팅 및 로봇 시스템이 엄격하게 구현됩니다.

간단히 말해, 오픈 에이전트 안전 플랫폼은 AI 에이전트가 환경을 이탈하여 혼란을 야기하는 것을 막기 위한 것입니다.

엔비디아 CEO 젠슨 황은 보도자료에서 이번 개발의 중요성을 강조하며 다음과 같이 말했습니다. “AI가 사회에 가져다줄 엄청난 잠재력은 AI 안전 문제를 해결해야만 실현될 수 있습니다. AI 기능의 최전선을 계속해서 탐구하는 만큼, AI 안전의 최전선에서도 발견을 가속화해야 합니다. 안전과 보안에는 풀스택 엔지니어링이 필요합니다. NVIDIA 오픈 에이전트 안전 플랫폼은 업계, 연구원, 공공 부문 기관을 한데 모아 모범 사례를 공유하고, 평가 방법을 조율하며, 국제 협력을 촉진합니다. 함께라면 전 세계 AI 안전의 기준을 높일 수 있습니다.”

엔비디아 오픈셸 및 업계 도입

새롭게 공개된 보안 제품군에는 CPU에서 실행되는 AI 에이전트에 대한 경계를 설정하는 엔비디아 오픈셸이라는 보안 런타임 소프트웨어가 포함되어 있습니다. 이러한 경계는 개방형 및 폐쇄형 모델 모두에서 자율 AI 에이전트가 작업을 실행하는 방식을 제어하는 안전한 런타임 역할을 합니다.

Anthropic, Hugging Face, Microsoft, Perplexity, JPMorgan Chase 등 100개 이상의 AI 업계 리더들이 Nvidia의 안전 이니셔티브에 참여했습니다. Anthropic의 최고영업책임자(CCO)인 Paul Smith는 기업들이 AI 에이전트에 중요한 업무를 맡김에 따라 하드웨어 및 소프트웨어 계층 전반에 걸친 가시성과 거버넌스가 매우 중요해진다고 강조했습니다. 마찬가지로 SpaceXAI는 Cursor 코딩 에이전트와 Grok 모델을 관리하기 위해 Nvidia의 보안 플랫폼을 통합했으며, 에이전트가 우회할 수 없는 제어를 통해 모델 외부에서 안전을 강화해야 한다고 강조했습니다.

결론

자율 AI 에이전트가 지정된 매개변수를 벗어나는 사례가 증가하면서 기술 업계 전반에 경종이 울리고 있으며, 강력한 감독의 필요성이 널리 대두되고 있습니다. 엔비디아의 오픈 에이전트 안전 플랫폼, 오픈셸 오픈 소스 소프트웨어, 그리고 센트리 레퍼런스 시스템을 결합함으로써 기술 커뮤니티는 인공지능 배포를 위한 더욱 안전하고 책임감 있는 미래를 향해 나아가고 있습니다.