AI-genererat övergreppsmaterial är något ECPAT Hotline sett under en längre tid. Under de två senaste åren har det blivit alltmer fotorealistiskt. Under de här åren har vi också fått större insikter om vilka risker AI-genererat övergreppsmaterial innebär för barn.
AI-verktyg kan användas till att manipulera existerande bilder eller för att skapa helt nya bilder. Vissa förövare utnyttjar den tekniska möjligheten till att skapa övergreppsmaterial. Sedan slutet av 2022 och framåt har ECPAT Hotlines analytiker noterat en snabb utveckling i det AI-genererade övergreppsmaterialets fotorealism. En del bilder kan idag vara svåra att skilja från fotograferat övergreppsmaterial. Materialet kommer in till ECPAT Hotline i form av tips från allmänheten, men framför allt syns den snabba utvecklingen i det arbete analytikerna gör i Project Arachnid. Analytikerna följer också diskussioner mellan de som producerar det AI-genererade övergreppsmaterialet på Darknet.
AI-verktyg kan missbrukas på flera sätt för att utsätta barn för risk och övergrepp, till exempel i samband med grooming eller sexuell utpressning. När det gäller AI-genererat övergreppsmaterial ser vi i ECPAT Hotline flera grupper som utsätts. Barn som förekommer i övergreppsmaterial sedan tidigare utsätts igen, när förövare med hjälp av AI manipulerar existerande övergreppsmaterial för att skapa nytt. Det kan till exempel handla om att en bild som skildrar sexuell posering manipuleras till att skildra ett sexuellt övergrepp. Det kan också handla om barn som inte tidigare förekommit i övergreppsmaterial, men där helt vanliga foton används i AI-verktyg för att skapa bilder som skildrar barnet i sexuell posering eller sexuella övergrepp. Med hjälp av AI kan också bilder på helt virtuella barn skapas, det vill säga fotorealistiska bilder på barn som inte finns i verkligheten. AI-verktygen som skapar sådana bilder är dock tränade på stora mängder bilder på verkliga barn.
Övergreppsmaterial som producerats med AI skadar barn oavsett om det rör tidigare brottsoffer, nya brottsoffer eller om enbart AI-genererade barn använts. I de två första fallen är kränkningen av barnet självklar, men även material med helt AI-genererade barn behöver likställas med övergreppsmaterial. Bland de som producerar det AI-genererade övergreppsmaterialet finns åsikter om att detta inte innebär någon risk eller skada för verkliga barn. Men förutom att materialet är en kränkning av alla barn, så normaliserar det också sexuella övergrepp och övergreppsmaterial för förövare. Det kan också användas av dem i samband med till exempel grooming eller sexuell utpressning. Når det AI-genererade övergreppsmaterialet upp till en nivå av realism likställs det också i lagstiftningen med annat övergreppsmaterial. Det är då olagligt att både producera, inneha, dela och konsumera.
Vad ser ni för utmaningar med AI-genererat övergreppsmaterial?
– Den främsta utmaningen vi ser är i identifieringsarbetet hos polisen, när AI-genererat övergreppsmaterial blir så realistiskt att det är svårt att skilja från traditionellt övergreppsmaterial. Främst utifrån att det redan finns begränsade resurser hos polis för den här typen av brott och att detta kan innebära en risk att det läggs resurser på att försöka identifiera barn som inte finns.
Hur kan AI-genererat övergreppsmaterial påverka barns utsatthet?
– På flera sätt. Det kan bli svårare att upptäcka barn och ta dem ur utsatthet när redan begränsade resursers används på barn som inte finns. De barn som varit med om att övergreppsmaterial på dem spridits vet ofta vad det rör sig om för typ av material, men AI kan användas för att manipulera det materialet till att bli flera nya övergreppsbilder, vilket blir en ny kränkning och påfrestning att leva med för den som utsatts. Vi ser också att AI är ett verktyg som kan användas till att grooma barn och att det kan vara svårt att veta om det är en AI eller en person som man har kontakt med. Det gör att de strategier barn använder idag måste göras om och nya sätt att skilja AI från faktiskt person måste identifieras.
Vad behöver göras på samhällsnivå för att säkerställa skyddet för barn?
– Mycket behöver göras. Det behövs mer resurser till rättsväsendet. Lagstiftning behöver efterlevas av de som tillhandahåller verktygen och tekniska begränsningar behöver införas utifrån det lagstiftningen säger. Det behövs också ett kunskapslyft om vad AI är, hur det funkar, hur man kan identifiera AI-genererat material och vad man kan vara uppmärksam på i t ex groomingsituationer.
Som en del av den digitala strategin vill EU reglera artificiell intelligens (AI). Detta för att säkerställa bättre villkor för utveckling och användning av denna teknik. – AI kan i många sammanhang vara till stor fördel och hjälp, men det finns även oerhört stora risker med tekniken, inte minst när det gäller barns utsatthet på nätet. Det […]
Den 1 augusti 2022 började en ändring av sexualbrottslagstiftningen gälla – en ändring som Ecpat Sverige kämpat för länge. Ändringen av lagstiftningen innebar att sexuella övergrepp som sker på distans, framför allt över nätet, inte längre krävde att förövaren var med i realtid när ett barn blev utsatt för brott. Även innan ändringen av sexualbrottslagstiftningen […]
Till vår stödlinje Ditt Ecpat hör många barn av sig och berättar om hur de blir utsatta för olika former av sexuella kränkningar av lärare på skolan. Det rör sig om allt från sexuella anspelningar och kommentarer, till våldtäkter i och utanför skolans lokaler. Sexuella ofredanden i form av tafsanden och kränkande uttryck är en […]
Som första organisation i Sverige har ECPAT beviljats status som betrodd anmälare inom förordningen om digitala tjänster (Digital Services Act). Det innebär att när ECPAT anmäler olagligt innehåll – i vårt fall sexuell exploatering av barn – till en onlineplattform, ska anmälan hanteras extra skyndsamt. EU:s regler om en inre marknad för digitala tjänster (DSA-förordningen) […]