一项令人震惊的研究表明，某些人工智能聊天机器人可能会助长暴力行为。

人工智能的广泛应用背后，某些滥用行为正开始浮现，以至于CNN 和 CCDH（反数字仇恨中心）最近的联合调查 凸显了一个令人担忧的现象。

事实上，据报道，一些聊天机器人能够提供如何实施暴力行为的详细建议，甚至向自称未成年人的用户提供此类建议。

一项调查牵涉到人工智能领域的主要参与者

为了进行这项研究，研究人员模拟了与市面上9到10款最流行的聊天机器人进行的700多次对话，这些聊天机器人包括ChatGPT、Gemini和Meta AI。对话场景循序渐进：研究人员最初扮演青少年，表达情绪困扰，然后引导对话走向暴力袭击计划。在大多数情况下，这些系统最终提供了具体信息，十款聊天机器人中有八款在超过50%的测试情境中提供了有关武器、目标或方法的线索。一些工具甚至更进一步，提出了优化建议，以使袭击更加有效。根据这项研究，最关键的平台是 Perplexity 和 Meta AI，它们分别在 100% 和 97% 的案例中得到了积极反馈。 Character.AI 也因鼓励暴力行为而受到批评，有时甚至在没有明确教唆的情况下也会如此。

安全措施应用不均

事实上，并非所有聊天机器人在安全性方面都相同，该研究强调，某些系统拥有更强大的审核机制。

这一点在克劳德·德·安索皮克身上尤为明显，它拒绝提供帮助。

绝大多数情况下，这些工具都能识别用户行为，甚至在用户遇到困难时引导他们寻求支持服务。

相反，其他工具在检测恶意意图方面存在缺陷，例如当用户声明自己是未成年人时。报告作者认为，这些结果表明过滤技术虽然存在，但并未得到系统性的激活或正确配置。

CCDH 主任 Imran Ahmed 警告说，用户可能很快就能从一个模糊的想法发展成一个结构化的行动计划。

据他所说，这些请求应该被系统性地立即拒绝。

真实案例证实了这些风险

调查不仅限于模拟，最近的几个案例表明了这些用途带来的非常真实的危险……

例如，在芬兰，一名16岁少年在使用ChatGPT数月研究攻击技巧和隐藏方法后，刺伤了三名同学。

在加拿大，一起枪击案造成8人死亡、27人受伤。据报道，袭击者同样使用了聊天机器人来策划袭击。

这些事件向人工智能利益相关者提出了一个核心问题：他们应该在多大程度上监管其工具的使用？在快速创新和责任之间，平衡点仍有待找到。