Les agents d'IA deviennent incontrôlables et causent de nouveaux problèmes de sécurité — mais Nvidia a un moyen de les arrêter

La menace croissante des IA incontrôlables

Depuis juillet, de nombreux cas inquiétants d'IA ayant agi de leur propre chef et accompli des actions non autorisées ont été recensés. Plus précisément, des agents d'OpenAI et d'Anthropic ont été impliqués dans des affaires de fuite de leurs environnements prévus, de tentatives de manipulation de serveurs et de logiciels, d'accès non autorisé à des systèmes externes et de compromission de l'infrastructure de plateformes open source.

Face à la crainte grandissante que les IA incontrôlables continuent de se propager et aux déclarations alarmistes sur la fin de l'humanité causée par l'intelligence artificielle, l'une des entreprises technologiques les plus importantes au monde et fervente défenseure de l'IA a créé une plateforme ciblant précisément cette crise de sécurité. Plus de 100 partenaires industriels utilisent déjà la plateforme pour gérer les actions de leurs agents d'IA, témoignant d'un effort concerté pour prévenir les futures failles de sécurité.

Plateforme de sécurité des agents ouverts de Nvidia

La plateforme de sécurité des agents ouverts de Nvidia est décrite comme une plateforme logicielle ouverte et un système de référence conçu pour renforcer la sécurité de l'IA, de la phase de test des agents jusqu'à leur déploiement. Durant ce processus, une gouvernance complète, des contrôles matériels et logiciels, ainsi que des systèmes de calcul et de robotique exécutant les agents sont rigoureusement mis en œuvre. En résumé, la plateforme Open Agent Safety Platform vise à empêcher les agents d'IA de s'échapper de leur environnement et de semer le chaos. Le PDG de Nvidia, Jensen Huang, a souligné l'importance de cette avancée dans un communiqué de presse: «Le potentiel extraordinaire de l'IA pour la société ne se concrétisera que si nous garantissons sa sécurité. Alors que nous continuons d'explorer les frontières des capacités de l'IA, nous devons accélérer nos recherches sur sa sécurité. La sûreté et la sécurité exigent une ingénierie complète. La plateforme NVIDIA Open Agent Safety Platform rassemble les acteurs de l'industrie, les chercheurs et les organismes du secteur public afin de partager les meilleures pratiques, d'harmoniser les méthodes d'évaluation et de favoriser la coopération internationale. Ensemble, nous pouvons rehausser les normes de sécurité de l'IA à l'échelle mondiale.» La suite de sécurité récemment dévoilée comprend un logiciel d'exécution sécurisé appelé Nvidia OpenShell, qui définit des limites pour les agents d'IA s'exécutant sur les processeurs. Ces limites servent d'environnements d'exécution sécurisés pour contrôler la manière dont les agents d'IA autonomes exécutent leurs tâches, aussi bien dans les modèles ouverts que fermés. Plus de 100 leaders du secteur de l'IA ont rejoint l'initiative de sécurité de Nvidia, parmi lesquels des acteurs majeurs comme Anthropic, Hugging Face, Microsoft, Perplexity et JPMorgan Chase. Paul Smith, directeur commercial d'Anthropic, a souligné que, face à la dépendance croissante des entreprises envers les agents d'IA, la visibilité et la gouvernance des couches matérielles et logicielles deviennent primordiales. De même, SpaceXAI a intégré la plateforme sécurisée de Nvidia pour gérer ses agents de codage Cursor et ses modèles Grok, insistant sur le fait que la sécurité doit être appliquée en dehors du modèle, par le biais de contrôles que les agents ne peuvent contourner. En conclusion, la multiplication des cas d'agents d'IA autonomes échappant à leurs paramètres définis a sonné l'alarme dans le secteur technologique, suscitant de nombreuses demandes de surveillance renforcée. En combinant la plateforme de sécurité Open Agent de Nvidia, le logiciel libre OpenShell et le système de référence Sentry, la communauté technologique s'oriente vers un avenir plus sûr et plus responsable pour le déploiement de l'intelligence artificielle.