AI-genererat övergreppsmaterial är något Ecpat Hotline sett under en längre tid. Under de två senaste åren har det blivit alltmer fotorealistiskt. Under de här åren har vi också fått större insikter om vilka risker AI-genererat övergreppsmaterial innebär för barn.
AI-verktyg kan användas till att manipulera existerande bilder eller för att skapa helt nya bilder. Vissa förövare utnyttjar den tekniska möjligheten till att skapa övergreppsmaterial. Sedan slutet av 2022 och framåt har Ecpat Hotlines analytiker noterat en snabb utveckling i det AI-genererade övergreppsmaterialets fotorealism. En del bilder kan idag vara svåra att skilja från fotograferat övergreppsmaterial. Materialet kommer in till Ecpat Hotline i form av tips från allmänheten, men framför allt syns den snabba utvecklingen i det arbete analytikerna gör i Project Arachnid. Analytikerna följer också diskussioner mellan de som producerar det AI-genererade övergreppsmaterialet på Darknet.
AI-verktyg kan missbrukas på flera sätt för att utsätta barn för risk och övergrepp, till exempel i samband med grooming eller sexuell utpressning. När det gäller AI-genererat övergreppsmaterial ser vi i Ecpat Hotline flera grupper som utsätts. Barn som förekommer i övergreppsmaterial sedan tidigare utsätts igen, när förövare med hjälp av AI manipulerar existerande övergreppsmaterial för att skapa nytt. Det kan till exempel handla om att en bild som skildrar sexuell posering manipuleras till att skildra ett sexuellt övergrepp. Det kan också handla om barn som inte tidigare förekommit i övergreppsmaterial, men där helt vanliga foton används i AI-verktyg för att skapa bilder som skildrar barnet i sexuell posering eller sexuella övergrepp. Med hjälp av AI kan också bilder på helt virtuella barn skapas, det vill säga fotorealistiska bilder på barn som inte finns i verkligheten. AI-verktygen som skapar sådana bilder är dock tränade på stora mängder bilder på verkliga barn.
Övergreppsmaterial som producerats med AI skadar barn oavsett om det rör tidigare brottsoffer, nya brottsoffer eller om enbart AI-genererade barn använts. I de två första fallen är kränkningen av barnet självklar, men även material med helt AI-genererade barn behöver likställas med övergreppsmaterial. Bland de som producerar det AI-genererade övergreppsmaterialet finns åsikter om att detta inte innebär någon risk eller skada för verkliga barn. Men förutom att materialet är en kränkning av alla barn, så normaliserar det också sexuella övergrepp och övergreppsmaterial för förövare. Det kan också användas av dem i samband med till exempel grooming eller sexuell utpressning. Når det AI-genererade övergreppsmaterialet upp till en nivå av realism likställs det också i lagstiftningen med annat övergreppsmaterial. Det är då olagligt att både producera, inneha, dela och konsumera.
Vad ser ni för utmaningar med AI-genererat övergreppsmaterial?
– Den främsta utmaningen vi ser är i identifieringsarbetet hos polisen, när AI-genererat övergreppsmaterial blir så realistiskt att det är svårt att skilja från traditionellt övergreppsmaterial. Främst utifrån att det redan finns begränsade resurser hos polis för den här typen av brott och att detta kan innebära en risk att det läggs resurser på att försöka identifiera barn som inte finns.
Hur kan AI-genererat övergreppsmaterial påverka barns utsatthet?
– På flera sätt. Det kan bli svårare att upptäcka barn och ta dem ur utsatthet när redan begränsade resursers används på barn som inte finns. De barn som varit med om att övergreppsmaterial på dem spridits vet ofta vad det rör sig om för typ av material, men AI kan användas för att manipulera det materialet till att bli flera nya övergreppsbilder, vilket blir en ny kränkning och påfrestning att leva med för den som utsatts. Vi ser också att AI är ett verktyg som kan användas till att grooma barn och att det kan vara svårt att veta om det är en AI eller en person som man har kontakt med. Det gör att de strategier barn använder idag måste göras om och nya sätt att skilja AI från faktiskt person måste identifieras.
Vad behöver göras på samhällsnivå för att säkerställa skyddet för barn?
– Mycket behöver göras. Det behövs mer resurser till rättsväsendet. Lagstiftning behöver efterlevas av de som tillhandahåller verktygen och tekniska begränsningar behöver införas utifrån det lagstiftningen säger. Det behövs också ett kunskapslyft om vad AI är, hur det funkar, hur man kan identifiera AI-genererat material och vad man kan vara uppmärksam på i t ex groomingsituationer.
Ecpats tipslinje, Ecpat Hotline, är en webbsida dit allmänheten kan rapportera om misstankar om sexuell exploatering och övergrepp mot barn. Det kan handla om bilder eller filmer på nätet, människohandel med barn för sexuella syften eller tips på barn som utsätts för sexuella övergrepp, både i Sverige och utomlands. Sedan flera år tillbaka samarbetar Ecpat […]
Som barnrättsorganisation som arbetar för att stoppa sexuella övergrepp mot barn, välkomnar vi Uppdrag Gransknings reportage ”Vapes mot sex”. Reportaget lyfter en viktig fråga – om hur barn och unga utnyttjas sexuellt mot ersättning i form av pengar, presentkort, narkotika, alkohol eller som det lyfts i reportaget, vapes. Vi på Ecpat har under många år, […]
Meta, företaget bakom Instagram, gick nyligen ut med nyheten att de ska införa särskilda så kallade tonårskonton, som riktar sig till alla barn under 18 år. De nya tonårskontona blir privata, vilket innebär att okända personer inte längre kan skicka meddelanden till tonåringar. Dessutom får föräldrar tillgång till information om vilka barnet har kommunicerat med. […]
Nästa år är det dags för granskning av mänskliga rättigheter i Sverige. Inom ramen för FN:s råd för mänskliga rättigheter granskas världens länder regelbundet av varandra och får besvara frågor och ta emot rekommendationer (så kallad UPR, Universal Periodic Review). Som flera andra civilsamhällesorganisationer har Ecpat skickat in en rapport som utgör en del av […]