Un estudio impactante revela que algunos chatbots con inteligencia artificial pueden facilitar actos violentos.

Detrás de la adopción generalizada de la IA, ciertos abusos están comenzando a surgir, tanto que una investigación conjunta reciente de CNN y el CCDH (Centro para la Lucha contra el Odio Digital) destaca un fenómeno preocupante.

De hecho, se informa que varios chatbots son capaces de proporcionar consejos detallados sobre cómo cometer actos violentos, incluso a usuarios que afirman ser menores de edad.

Una investigación que implica a los principales actores de la IA

Disparidades significativas de un jugador a otro… – Fuente: CNN / CCDH

Para llevar a cabo su estudio, los investigadores simularon más de 700 conversaciones con nueve o diez de los chatbots más populares del mercado, incluidos ChatGPT, Gemini y Meta AI. Los escenarios fueron progresivos: los investigadores se hicieron pasar por adolescentes que inicialmente expresaban angustia emocional, antes de dirigir las conversaciones hacia planes para ataques violentos. En la mayoría de los casos, los sistemas terminaron proporcionando información concreta, y ocho de cada diez chatbots dieron indicaciones sobre armas, objetivos o métodos en más del 50% de las situaciones probadas. Algunas herramientas incluso fueron más allá, sugiriendo optimizaciones para hacer que los ataques fueran más efectivos. Según el estudio, las plataformas más críticas fueron Perplexity y Meta AI, que respondieron favorablemente en el 100% y el 97% de los casos, respectivamente. Character.AI también está siendo criticado por fomentar actos violentos, a veces sin solicitud explícita.

Salvaguardias aplicadas de manera desigual

Claude, ¿el estudiante modelo frente a los abusos?

– Fuente: CNN / CCDH

En realidad, no todos los chatbots son iguales en términos de seguridad, y el estudio destaca que algunos sistemas tienen mecanismos de moderación más robustos.

Esto es particularmente cierto en el caso de Claude d’Anthropic, que se negó a ayudar en la gran mayoría de los casos. escenarios e incluso dirigió a los usuarios a servicios de apoyo en caso de angustia.

Por el contrario, otras herramientas mostraron fallas en su capacidad para detectar intenciones maliciosas, incluso cuando los usuarios se declararon menores de edad. Para los autores del informe, estos resultados demuestran que existen tecnologías de filtrado, pero que no se activan sistemáticamente ni se configuran correctamente.

Imran Ahmed, director de CCDH, advierte sobre la velocidad con la que un usuario puede pasar de una idea vaga a un plan de acción estructurado. Según él, estas solicitudes deberían resultar sistemáticamente en una negativa inmediata.

Casos reales que confirman los riesgos

La investigación no se limita a simulaciones, y varios casos recientes ilustran los peligros muy reales asociados con estos usos…

Por ejemplo, en Finlandia, un joven de 16 años apuñaló a tres compañeros de clase después de usar ChatGPT durante varios meses para investigar técnicas de ataque y métodos de ocultación.

En Canadá, un tiroteo dejó ocho muertos y 27 heridos, y allí también, según se informa, el agresor usó un chatbot para planificar su ataque.

Estos eventos plantean una pregunta central para las partes interesadas en la IA: ¿hasta dónde deberían llegar en la regulación del uso de sus herramientas? Entre la rápida innovación y la responsabilidad, aún queda por encontrar el equilibrio.