Nyhedsanalyse

Hvordan et åbent vindue afslørede en rådden deepfake-kultur

Screendump fra 'Apology'-videoen. Atrioc/Twitch

Han sidder helt stille foran mikrofonen og forsøger med bedende stemme at mane til ro. “Jeg prøver ikke at skjule noget. Jeg kommer til at snakke om det hele.” Hans ansigt rødnes. Øjnene bliver glinsende og våde. Straks begynder hjerterne at vælte ind fra publikum, de små sympatiske likes, man kan se komme ind i realtid ude i skærmens højre side. “Jeg, jeg…” Hans stemme er blevet bævende, “jeg prøver ikke på at få hjerter eller noget […] Jeg vil bare ikke have for mange sindssyge kommentarer.”

“Det er sandt. Det er 110 pct. sandt… Jeg kiggede på en deepfake-pornovideo af streamere.”

Og hjerterne vælter ind fra de tilhørende. Lige indtil han tilføjer: “Det er frastødende.” Og med ét bliver de erstattet af emoticons med forskellige karakterer, der har ansigtet i hænderne. Et kollektivt suk fra fanskaren.

Videoen kaldet ’Apology’ fra d. 30. januar, er den seneste (og måske sidste?), der er uploadet på Brandon Ewings Twitch-side. Her har den 31-årige Ewing omkring 320.000 følgere, mens han på YouTube, hvor han også gør karriere, er oppe på næsten en halv million. Ewing, bedre kendt som Atrioc, laver til hverdag primært gamingvideoer eller – som i de populære Just Chattin’-segmenter – indslag, hvor han bare sludrer på video-livestreaming-platformen Twitch, der i alt har over 140 mio. månedlige aktive brugere.

I en af hans livestreams, hvor han spillede danske IO Interactives Hitman-spil, kom Ewing til at klikke ud af spillet og afslørede dermed hans åbne internetbrowser. Da videoen blev lagt op, tog nogle hurtige seere et skærmbillede og allerede blot et par timer efter streamen, var Atrioc gået viralt. Han havde glemt at lukke fanen til den forrige nats mere lyssky indhold: En pornohjemmeside, hvor han havde betalt for at se på såkaldt deepfake-pornografi af flere populære, kvindelige Twitch-streamere – flere af hvem han var venner med privat.

Internettets slagside

Selvom Atrioc har gjort sit for både at undskylde og forklare, hvorfor det nu engang var, at han kl. 2 om natten havde betalt penge for at se sine venner og kolleger manipuleret ind i pornografisk materiale, afspejler Twitch-skandalen en større tendens: AI-teknologien – og dermed den dertilhørende deepfaketeknologi – er blevet mainstream.

Med udbredelsen af AI-teknologi, som især har gået sin sejrsgang med OpenAI’s ChatGTP, er teknologien gået hen og er blevet hverdag. Som her på redaktionen, hvor vi flittigt bruger billedgeneratoren Midjourney. Men som det er med internettet, er der mindst lige så meget AI – hvis ikke mere – der gør ondt, som der gør godt.

Selve deepfaketeknologien er langt fra ny, og har længe optaget en plads i vores kulturelle bevidsthed, særligt når det kommer til fake news – og forfalskede videoer af ukrainske præsidenter. En undersøgelse fra 2019 viser dog, at hele 96 pct. af alt deepfake-indhold er pornografisk.

Brandon Ewing forsvarede sig med, at det først og fremmest var hans interesse i AI og deepfaketeknologi, der førte ham til hjemmesiden. Selv hvis man skal tro det argument, afspejler Twitch-skandalen dog en mindst lige så vigtig pointe om samtykke og etik. Særligt med tanke på, at sådanne deepfake-hjemmesider bliver nemmere og nemmere at finde, mens regulering af teknologien stadig halter efter.

 

I gamernes skygge

De kvindelige streamere, der via Atriocs video fandt ud af, at de var blevet deepfaket til pornografisk materiale, tæller bl.a. den mest populære kvindelige streamer på platformen Pokimane og flere andre streamere som fx Maya Higa, hvis indhold omhandler naturbeskyttelse i videodagbogsform. Snarere end at blive støttet, er kvinderne blevet mødt af voldsom modstand i miljøet. Da streameren QTCinderella lavede en livestream, hvor hun tydeligt emotionelt påvirket reagerer på at være blevet deepfaket til pornografisk indhold, blev den straks efter naragtiggjort af bl.a. streameren Ethan Klein i en reaktionsvideo.

“Der er en modvillighed imod den slags samtaler, kvinderne lægger op til om samtykke og respekt i miljøet. En feministisk debat, som ikke er velkommen i gamer/streamermiljøet, hvor mange stadig forholder sig stærkt kritiske til andre ligestillingsdebatter som fx MeToo,” forklarer Maia Kahlke Lorentzen til Føljeton. Kahlke Lorentzen er en del af Cybernauterne, et netværk med fokus på cybersikkerhed, hvor hun researcher tech- og digitale kulturelle begivenheder, herunder online hadfællesskaber og manosfæren [en løs paraplybetegnelse for onlinefællesskaber, der promoverer toksisk maskulinitet og misogyni, red.].

“Den kulturelle udvidelse af begrebsliggørelse af seksuelle overgreb i de sidste 10 år – og at deling nøgenbilleder og de her deepfakes faktisk er seksuelle overgreb – er svært for det her miljø at skulle komme overens med. Især fordi det er en udbredt del af ekstrem onlinekultur, og også mange mænds kultur, at dele den her type billede og opsøge den her type indhold. Og så bliver det set som sådan en woke-feministisk dagsorden at være imod det.”

Reaktionen på Twitch-skandalen vækker på mange måder mindelser om 2010’ernes GamerGate, der – meget kort fortalt – startede som en hævnkampagne mod spiludvikleren Zoë Quinn fra hendes ekskæreste og endte ud i, at flere kvindelige spiludviklere og spiljournalister blev angrebet og doxxet, altså fik delt deres personfølsomme data med henblik på chikane, efter at have italesat behov for forandring i gamerkulturen. Trods mange forskellige mindre kontroverser i GamerGate, var det overordnede tema altså kvindehad og misogyni.

“Dengang lød argumentet, at de ’kom udefra’,” gengiver Kahlke Lorentzen, “at de var uduelige gamedesignere, som knaldede sig til indflydelse, og at de derfor ikke vidste noget. Nu sidder der i dag nogle, som er streamere, og som ved noget, men så lyder argumentet – hvorfor brokker du dig, når du sidder der på skærmen? Man finder hele tiden nogle argumenter for, at de ikke skal komme og bede om forandring.”

“Tanken er – og det er også noget, vi ser generelt i kritikken mod kvindelige gamere fra mænd – at de bare thirst trapper [lægger indhold op på de sociale medier med seksuelle undertoner for at få mere opmærksomhed, red.], og at deres fans bare er nogle simps [et meget brugt begreb i manosfæren; en mand, der underkaster sig en kvinde uden at få noget for det, red.], at de ikke er særligt dygtige, og at de bruger deres køn og deres udseende til at blive populære, hvorfor det bliver set som en passende “straf”, at selvfølgelig vil der blive lavet porno af dig.”

Hvem tager ansvar?

Problemet med deepfakepornografi er langt fra nyt, påpeger Maia Kahlke Lorentzen og understreger: “Man kan sige, at på den måde er porno altid på forkant, rent innovationsmæssigt. Det kan godt være, at folk opdager, at man kan lave AI-profilbilleder, men der har jo været deepfakepornografi, som er blevet brugt til chikane i rigtig lang tid – og det bliver kun mere og mere realistisk. Og dér er udfordringen oftest, at man skal bruge tid på at bevise og dokumentere, at det ikke er dig.”

Selvom det er ulovligt at dele og producere deepfakepornografi i Danmark, går det stadig mærkbart langsomt på området. Bare for et par år tilbage var det kutyme, at politiet kun skulle nøjedes med at rådgive om, hvordan det forfalskede pornografiske materiale kunne blive fjernet. I dag er politiet pålagt at hjælpe ofrene med at få det taget ned, men selv det kræver, at de forurettede selv har efterforsket og undersøgt, på hvilke sider og steder materialet kan findes, hvilket i sig selv er en voldsomt grænseoverskridende oplevelse.

“Historisk set har der været nogle udfordringer, når ofre gik til politiet,” siger advokat Miriam Michaelsen, stifter af foreningen Digitalt Ansvar, da Føljeton fanger hende på vej til retten. Herhjemme blev vi måske særligt gjort opmærksom på deepfakepornografiens indtog i slutningen af 2010’erne, da en mand i 2019 blev dømt for at have manipuleret 20 kvinder ind på over 200 pornografiske billeder i perioden 2011-2017. Her repræsenterede Miriam Michaelsen seks af kvinderne.

Michaelsen forklarer, at selvom man ved, at produktionen og delingen af deepfakepornografi er ulovligt, så er der stadig nogle udfordringer med, hvordan politiet håndterer den slags sager. Et markant problem er, at man fra systemets side ikke altid forstår alvoren af krænkelsen og de alvorlige konsekvenser for de forurettede:

“Jeg ser stadig nogle sager, hvor ofrene, når de går til politiet, bliver mødt med en kommentar: ’Det er jo ikke dig på billedet, det er jo ikke dig på den her video, så det er jo ikke så alvorligt.’”

Det er en voldsom modtagelse for de ofte meget unge kvinder, som i forvejen er traumatiserede af at have kendskab til materialet, men ligeledes er grebet af frygt over, hvorfor gerningsmændene har produceret materialet i første omgang. Udover at ofrene oplever, at deres sager ikke bliver taget seriøst, er følelsen også, at de står alene, når en betydelig del af efterforskningsarbejdet tilfalder dem selv.

Uanset hvor ulovligt det end er, fortsætter teknologien alligevel med at blive både nemmere tilgængelig og meget mere virkelighedstro. Hvilket igen gør det nemmere for folk at få den overbevisning, at det ikke er så slemt igen. For hvis det er så nemt at gøre, kan det da ikke være ulovligt?

Miriam Michaelsen er ikke i tvivl, om hvem der i sidste ende skal stilles til ansvar: Tech-aktørerne, der tilbyder den teknologi, som bruges til at lave deepfakepornografi. Men det er straks en sværere sag. De unddrager sig nemlig ansvaret ved at argumentere for, at de kun leverede teknologien bag, men at det jo ikke var dem, der som sådan producerede materialet. Og så er det også svært, når de personer, der har skabt teknologien, er fra udlandet, eksempelvis USA.

Det har dog ikke stoppet Miriam Michaelsen fra at forsøge i flere sager. Hun har selv flere gange anmeldt tech-aktører på vegne af klienter: “Og jeg venter stadig på, at der er en politikreds, der siger: ’Okay, medvirken til produktion af børnepornografisk materiale, det tester vi inden for de danske straffelovsrammer.’ Så det håber jeg, sker på et tidspunkt.” /Astrid Plum

 

Silicon Valley00:00Mexico City00:00New York00:00Sao Paulo00:00Nuuk00:00Bangui00:00Linköping00:00Kyjiv00:00Kabul00:00Mumbai00:00Hong Kong00:00Shanghai00:00Sydney00:00Fransk Polynesien00:00Silicon Valley00:00Mexico City00:00New York00:00Sao Paulo00:00Nuuk00:00Bangui00:00Linköping00:00Kyjiv00:00Kabul00:00Mumbai00:00Hong Kong00:00Shanghai00:00Sydney00:00Fransk Polynesien00:00Silicon Valley00:00Mexico City00:00New York00:00Sao Paulo00:00Nuuk00:00Bangui00:00Linköping00:00Kyjiv00:00Kabul00:00Mumbai00:00Hong Kong00:00Shanghai00:00Sydney00:00Fransk Polynesien00:00Silicon Valley00:00Mexico City00:00New York00:00Sao Paulo00:00Nuuk00:00Bangui00:00Linköping00:00Kyjiv00:00Kabul00:00Mumbai00:00Hong Kong00:00Shanghai00:00Sydney00:00Fransk Polynesien00:00

1

2

3

4

5

6

7

8

9

10

11

12