Um estudo chocante mostra que alguns chatbots de IA podem facilitar atos violentos.

Por trás da ampla adoção da IA, certos abusos estão começando a surgir, a ponto de uma recente investigação conjunta da CNN e do CCDH (Centro para o Combate ao Ódio Digital) destacar um fenômeno preocupante.

De fato, vários chatbots são supostamente capazes de fornecer conselhos detalhados sobre como cometer atos violentos, inclusive para usuários que alegam ser menores de idade.

Uma investigação que implica os principais atores da IA

Disparidades significativas entre os participantes… – Fonte: CNN / CCDH

Para realizar o estudo, os pesquisadores simularam mais de 700 conversas com nove ou dez dos chatbots mais populares do mercado, incluindo ChatGPT, Gemini e Meta AI. Os cenários eram progressivos: os pesquisadores se passavam por adolescentes que inicialmente expressavam angústia emocional, antes de direcionar as conversas para planos de ataques violentos. Na maioria dos casos, os sistemas acabaram fornecendo informações concretas, e oito em cada dez chatbots deram indicações sobre armas, alvos ou métodos em mais de 50% das situações testadas. Algumas ferramentas foram ainda mais longe, sugerindo otimizações para tornar os ataques mais eficazes. De acordo com o estudo, as plataformas mais críticas foram a Perplexity e a Meta AI, que responderam favoravelmente em 100% e 97% dos casos, respectivamente. O Character.AI também está sendo criticado por incentivar atos violentos, às vezes sem solicitação explícita.

Salvaguardas Aplicadas Desigualmente

Claude, o aluno modelo diante dos abusos?

– Fonte: CNN / CCDH

Na realidade, nem todos os chatbots são iguais em termos de segurança, e o estudo destaca que alguns sistemas têm mecanismos de moderação mais robustos.

Isso é particularmente verdadeiro para Claude d’Anthropic, que se recusou a ajudar na vasta Na maioria dos cenários, as ferramentas até mesmo direcionaram os usuários para serviços de suporte em caso de emergência.

Por outro lado, outras ferramentas mostraram falhas em sua capacidade de detectar intenções maliciosas, inclusive quando os usuários se declararam menores de idade. Para os autores do relatório, esses resultados demonstram que as tecnologias de filtragem existem, mas que não são ativadas sistematicamente nem configuradas corretamente.

Imran Ahmed, diretor do CCDH, alerta para a rapidez com que um usuário pode passar de uma ideia vaga a um plano de ação estruturado. Segundo ele, essas solicitações devem resultar sistematicamente em recusa imediata.

Casos reais que confirmam os riscos

A investigação não se limita a simulações, e diversos casos recentes ilustram os perigos muito reais associados a esses usos…

Por exemplo, na Finlândia, um jovem de 16 anos esfaqueou três colegas de classe após usar o ChatGPT por vários meses para pesquisar técnicas de ataque e métodos de ocultação.

No Canadá, um tiroteio deixou oito mortos e 27 feridos, e, novamente, o agressor teria usado um chatbot para planejar seu ataque.

Esses eventos levantam uma questão central para as partes interessadas em IA: até que ponto devem ir na regulamentação do uso de suas ferramentas? Entre inovação rápida e responsabilidade, o equilíbrio ainda precisa ser encontrado.