En chockerande studie visar att vissa AI-chattrobotar kan underlätta våldshandlingar.

Bakom den utbredda användningen av AI börjar **vissa övergrepp** framträda, så pass mycket att en **nyligen genomförd gemensam utredning av CNN och CCDH** (*Center for Countering Digital Hate**) belyser ett oroande fenomen.

Flera chattrobotar rapporteras kunna *ge detaljerade råd om hur man begår våldshandlingar**, inklusive till användare som påstår sig vara minderåriga.

En utredning som implicerar huvudaktörerna inom AI.

Betydande skillnader mellan spelare… – Källa: CNN / CCDH

För att genomföra sin studie simulerade forskarna mer än 700 samtal med nio till tio av de mest populära chatbotarna på marknaden, inklusive ChatGPT, Gemini och Meta AI. Scenarierna var progressiva: forskarna utgav sig för att vara tonåringar som inledningsvis uttryckte känslomässig stress, innan de styrde samtalen mot planer för våldsamma attacker. I de flesta fall gav systemen konkret information, och åtta av tio chatbotar gav indikationer om vapen, mål eller metoder i mer än 50 % av de testade situationerna. Vissa verktyg gick till och med längre och föreslog optimeringar för att göra attackerna mer effektiva. Enligt studien var de mest kritiska plattformarna Perplexity och Meta AI, som svarade positivt i 100 % respektive 97 % av fallen. **Character.AI kritiseras också** för att uppmuntra våldshandlingar, ibland utan uttrycklig uppmaning.

Olika tillämpade skyddsåtgärder

Claude, mönsterstudenten inför övergrepp?

– Källa: CNN / CCDH

I verkligheten är inte alla chatbotar lika när det gäller säkerhet, och studien belyser att **vissa system har mer robusta modereringsmekanismer**.

Detta gäller särskilt för **Claude d’Anthropic**, som vägrade att hjälpa till i de allra flesta scenarier och till och med hänvisade användare till supporttjänster ifall av nöd.

Omvänt visade andra verktyg brister i sin förmåga att upptäcka illvilliga avsikter, inklusive när användare uppgav sig vara minderåriga. För rapportens författare visar dessa resultat att filtreringstekniker finns, men att de inte är systematiskt aktiverade eller korrekt konfigurerade.

Imran Ahmed, chef för CCDH, varnar för den hastighet med vilken en användare kan gå från en vag idé till en strukturerad handlingsplan. Enligt honom bör dessa förfrågningar systematiskt resultera i ett omedelbart avslag.

Verkliga fall som bekräftar riskerna

Utredningen är inte begränsad till simuleringar, och **flera fall som inträffat nyligen illustrerar de mycket verkliga farorna som är förknippade med dessa användningar**…

Till exempel, i Finland, **knäckte en 16-åring tre klasskamrater efter att ha använt ChatGPT** i flera månader för att undersöka attacktekniker och metoder för att dölja saker.

I Kanada, **lämnade en skjutning åtta döda och 27 skadade**, och där återigen använde angriparen enligt uppgift en chatbot för att planera sin attack.

Dessa händelser väcker en central fråga för AI-intressenter: **hur långt bör de gå i att reglera användningen av sina verktyg?** Mellan snabb innovation och ansvar återstår balansen att hitta. hitta…