De Europese Unie heeft vorig jaar een verordening gepubliceerd om online kindermisbruik tegen te gaan. De EU wil onder andere de mogelijkheid hebben om detectietools voor online kindermisbruik in te zetten bij platformen met een té hoog risico en op seksueel misbruik van kinderen en té weinig preventieve maatregelen. Het wetsvoorstel is nu in behandeling bij het Europees Parlement en de Raad van Europa. Dit najaar zal erover gestemd worden.

Het onderwerp heeft al flink wat stof doen opwaaien, omdat tegenstanders zich zorgen maken om de inbreuk op de privacy. Mensen maken zich zorgen dat alle berichten gecontroleerd gaan worden, ook in versleutelde omgevingen als WhatsApp. Ook maken mensen zich zorgen om het flaggen van onschuldige foto’s, zoals vakantiekiekjes aan het strand.

In dit artikel gaan we eerst dieper in op het voorstel van de EU. Daarna laten we Celine Verheijen, expert op het gebied van online veiligheid voor kinderen en Emily Slifer, Director of Policy bij Thorn, een non-profitorganisatie die technologie ontwikkelt om online kindermisbruik te bestrijden, aan het woord. Celine vertelt wat het wetsvoorstel behelst en wat er zal veranderen met de nieuwe regelgeving. Emily geeft een inkijkje in hoe software ons kan helpen bij het tegengaan van kindermisbruik.

De achtergrond: wat speelt er?

Uit onderzoek komt een zorgwekkend beeld naar voren als het gaat om seksueel misbruik en seksuele intimidatie van jongeren in de leeftijd van 15 tot en met 17 jaar. Uit de Slachtoffermonitor van de Nationaal Rapporteur Mensenhandel en Seksueel Geweld blijkt dat 28,5% van de meisjes en 9,3% van de jongens in Nederland slachtoffer wordt van online seksuele intimidatie.

Internationaal is het beeld Niet anders. Aan 1 op de 3 kinderen wereldwijd is ooit online gevraagd om seksuele handelingen uit te voeren. Van 1 op de 5 kinderen werden seksueel expliciete beelden gedeeld zonder hun toestemming. De Internet Watch Foundation vond in 2022 meer dan 255.000 websites met beelden van kindermisbruik. Bijna een derde van dit beeldmateriaal staat op Nederlandse servers.

Het voorstel van de EU

De EU wil de productie en verspreiding van digitaal materiaal van seksueel misbruik voorkomen. In dit kader heeft de unie in mei 2022 een voorstel gepubliceerd voor een Verordening tot vaststelling van regels ter voorkoming en bestrijding van seksueel misbruik van kinderen. Het voorgestelde beleid komt in grote lijnen neer op de volgende onderdelen:

• Providers van hostingbedrijven of communicatiediensten moeten het risico beoordelen dat hun diensten worden gebruikt voor het online verspreiden van beeldmateriaal van seksueel misbruik van kinderen of voor grooming.
• Providers moeten preventieve maatregelen opstellen om dit risico te beperken.
• Als er een aanzienlijk risico bestaat kan er een tijdelijk opsporingsbevel uitgevaardigd worden om bekend en onbekend beeldmateriaal en/of grooming op te sporen. Dit gebeurt alleen als een rechter en de nationale autoriteit dit noodzakelijk achten.
• Bedrijven die online seksueel misbruik van kinderen hebben ontdekt, moeten dit melden. Er komt dus een meldingsplicht.
• Bedrijven moeten voorkomen dat kinderen apps met een groot risico op grooming downloaden.
• Nationale autoriteiten kunnen verwijderingsbevelen uitvaardigen om materiaal van het internet te verwijderen. Ook kunnen internetproviders verplicht worden de toegang tot beelden en/of video’s te blokkeren.

Verder komt er een nieuw EU-centrum. Dit centrum zal steun bieden aan providers van online diensten bij het nakomen van hun verplichtingen. Daarnaast ondersteunt het centrum ook nationale rechtshavingsinstanties en Europol met het evalueren van meldingen en helpt het centrum slachtoffers met het verwijderen van het beeldmateriaal waarop zij staan afgebeeld.

Privacy-experts maken zich juist zorgen om de gevolgen van het voorstel. De Autoriteit Persoonsgegevens (AP), de Nederlandse privacywaakhond, wijst op het risico dat communicatiediensten bij alle communicatie van alle burgers mee gaan kijken. Ook maken ze zich zorgen om de ondermijning van end-to-end-encryptie en het risico op vals-positieven, waarbij mensen ten onrechte als verdacht aangemerkt worden. Vergelijkbare zorgen worden ook geuit door Bits of Freedom, een Nederlandse stichting die opkomt voor digitale burgerrechten.

Defence for Children is voorstander van de verordening

Wij spraken met Celine Verheijen, projectcoördinator bij Defence for Children en ECPAT Nederland. Ze werkt vanuit het Kinderrechtenhuis in Leiden en houdt zich bezig met de online veiligheid van kinderen. Zij is voorstander van de nieuwe Europese verordening en ziet het als  een stap voorwaarts zowel voor het beschermen van kinderen tegen online misbruik als voor het waarborgen van de privacy bij het opsporen van dit materiaal. Ze legt in dit interview uit wat de verordening nu precies inhoudt.

Over het standpunt van Defence for Children

Deze verordening zet stappen waardoor er een gedegen weging komt van de impact op de kinderbescherming, privacy en vrijheid van meningsuiting.

Celine Verheijen

Projectcoördinator bij Defence for Children

Jullie zijn voorstander van het wetsvoorstel. Kun je uitleggen waarom?

“Wat wij sterk vinden aan deze verordening is de preventieve insteek. Door de verordening zouden alle bedrijven verplicht zijn om een risico-assessment te doen om te zien welke risico’s er zijn voor online kindermisbruik. Vervolgens moeten ze kijken met welke maatregelen ze dat risico kunnen verkleinen. Iets doen tegen online kindermisbruik is niet meer vrijblijvend, maar wordt gelijk bij het ontwerp van een platform of een online dienst meegenomen. Safety by design wordt zo de standaard.

Wat ook belangrijk is, is dat het nu niet meer aan bedrijven is om de afweging te maken tussen privacy en bestrijding van online misbruik. Deze verordening zet stappen waardoor er een gedegen weging komt van de impact op de kinderbescherming, privacy en vrijheid van meningsuiting. Er komt een onafhankelijke toets van fundamentele rechten door de Nationale Coördinatie Autoriteit (CA) en de European Data Protection Board. Dit wordt vervolgens ook getoetst door een rechter om te zien of het opsporingsbevel in belang en proportioneel is. 

Vervolgens ligt het niet meer bij een bedrijf wat de vervolgstappen zijn. Zo kunnen er geen tools gebruikt worden met een hoge foutmarge en wordt er na 12 of 24 maanden opnieuw gekeken naar de invloed van het opsporingsbevel.

Ik denk dat deze regelgeving niet alleen beter is voor de bescherming van kinderen, maar ook de privacy beschermt door de gedegen toetsing. Nu kan een platform in de algemene voorwaarden zeggen: ‘Wil je ons platform gebruiken, dan ga je akkoord dat we alle content scannen.’ Met de nieuwe wet ligt dit niet meer bij de gebruiker of het bedrijf, maar bij rechters die fundamentele rechten afwegen.”

Over algemene monitoring

Als je als bedrijf nadenkt over hoe je voorkomt dat kinderen op je platform slachtoffer worden van seksueel misbruik, valt er al veel te winnen en is detectie niet nodig.

Celine Verheijen

Projectcoördinator bij Defence for Children

Waar de meeste tegenstanders van het voorstel over vallen zijn de opsporingsverplichtingen, omdat zij dit interpreteren als continu monitoren van ‘interpersoonlijke communicatie’. Is dat een correcte interpretatie?

“Er is geen monitoringsverplichting van algemene aard. Dit is ook verboden door de Digital Services Act (DSA) en Europese wetgeving moet altijd voldoen aan andere Europese wetgeving. De wet draait om het waarborgen van een democratisch beoordelingsproces voordat detectie wordt toegestaan.

Niet alle platformen gaan dus te maken krijgen met detectie. Opsporing wordt bepaald op basis van het risico dat een platform gebruikt wordt voor online kindermisbruik. Als specialisten denken dat er een hoog risico is en de voordelen van detectie opwegen tegen de nadelen, zoals de impact op privacy, kan er een opsporingsbevel uitgegeven worden. Dit bevel is altijd tijdelijk.

Daarbij worden bedrijven verplicht om preventieve maatregelen te nemen. Daarmee kunnen bedrijven detectie ook voorkomen. Als je als bedrijf nadenkt over hoe je voorkomt dat kinderen op je platform slachtoffer worden van seksueel misbruik, valt er al veel te winnen en is detectie niet nodig.

Als er wel detectie plaatsvindt, gebeurt dit met tools die geënt zijn op online kindermisbruik. De tool scant alleen op strafbaar materiaal, zoals bekende en onbekende beelden van kindermisbruik. Je kunt het vergelijken met de controle bij de luchthaven, waarbij alleen op bepaalde materialen gelet wordt. We accepteren ook dat we door zo’n poortje moeten, omdat dat in het belang is voor de veiligheid van onze samenleving.

Vergeet ook niet dat deze technologieën nu ook al in gebruik zijn. Sinds 2010 worden er detectietools ingezet om beelden op te sporen en sinds 2020 om grooming op het spoor te komen. In Amerika is het al jaren verplicht om dit te melden en die meldingen komen al naar de EU toe. In bijvoorbeeld Facebook Messenger vindt deze detectie dus al plaats.”

Over versleutelde communicatie

Het wetsvoorstel van de EU sluit niets uit aan technologie. De verordening zorgt wel voor voldoende waarborgen, waardoor er wel altijd een afweging is tussen kinderbescherming en privacy.

Celine Verheijen

Projectcoördinator bij Defence for Children

Zal het wetsvoorstel een einde maken aan die veilige omgeving waar alleen zender en ontvanger een foto of bericht kunnen zien? Met andere woorden vrezen tegenstanders van het voorstel terecht dat de Europese Unie een einde wil maken aan end-to-end encryptie (E2EE)?

“Er bestaan technologieën die E2EE behouden, maar toch de inhoud scannen. Dit wordt nu bijvoorbeeld gebruikt om malware op te sporen in een dienst als WhatsApp. Probleem nu nog is dat het te veel data en procesgeheugen zou kosten om op dezelfde manier naar kindermisbruik te speuren. We zijn er dus nog niet.

Verschil is ook dat illegale content wordt gedeeld met de autoriteiten. Dat bij detectie van strafbaar materiaal van kindermisbruik de inhoud wél wordt gedeeld met autoriteiten is volgens ons gerechtvaardigd op grond van de ernst van het misdrijf en de noodzaak om slachtoffers te identificeren en daders te stoppen.

Wetgeving verandert niet zo snel als technologie. Het wetsvoorstel van de EU sluit niets uit aan technologie. De verordening zorgt wel voor voldoende waarborgen, waardoor er wel altijd een afweging is tussen kinderbescherming en privacy. Daar zitten natuurlijk haken en ogen aan en daarom vind ik juist die toetsing zo belangrijk. Die toetsing wordt nu overgelaten aan bedrijven, waardoor de een alle content scant en de ander niets.”

Over seksuele ontwikkeling

De technologie detecteert patronen die uniek zijn voor het proces van grooming. Bovendien hoeft niet alle communicatie gescand te worden.

Celine Verheijen

Projectcoördinator bij Defence for Children

Arda Gerkens, directeur van het Expertisebureau Online Kindermisbruik zei tegen RTL Nieuws dat kinderen nu eenmaal online seksueel experimenteren. Volgens haar hoort daar een veilige omgeving bij en kunnen chat-apps zo’n veilige omgeving bieden. In hoeverre kan de detectie zo’n veilige omgeving juist beperken?

Kinderen moeten zich wel seksueel kunnen ontwikkelen, ook LHBTI+-kinderen. De Europese Richtlijn 2011/93 – Bestrijding van seksueel misbruik en seksuele uitbuiting van kinderen en kinderpornografie stelt minimumregels en sancties op als het gaat om seksueel kindermisbruik. Daarin is nog niet opgenomen dat online seksuele experimenten tussen jongeren niet strafbaar zijn. In Nederland is dit wel opgenomen in het nieuwe Wetsvoorstel Seksuele Misdrijven.

De meeste landen vervolgen vrijwillige sexting in de praktijk niet, maar het is dus nog niet overal expliciet vastgelegd in wetgeving. Wij pleiten er daarom voor dat de Europese Richtlijn 2011/93 aangepast wordt, zodat in alle lidstaten duidelijk is dat online vrijwillige seksuele experimenten tussen minderjarigen niet strafbaar zijn. Er is dit jaar een herziening gepland van deze wet, deze wijziging is heel reëel.

De technologie detecteert patronen die uniek zijn voor het proces van grooming. Detectietools kijken vooral naar kinderen onder de 14 jaar. Bovendien hoeft niet alle communicatie gescand te worden. Bedrijven kunnen risicovolle gesprekken selecteren, bijvoorbeeld een volwassene die met meerdere kinderen praat en die geen andere connecties heeft met het netwerk van het kind. Zo kan op basis van metadata al een schifting gemaakt worden waarbij seksueel contact tussen jongeren zo veel mogelijk buiten beschouwing blijft.”

Over de risico’s voor LHBTI+’ers

Het voorstel vormt juist geen hellend vlak naar uitgebreidere detectie, maar reguleert het gebruik van tools juist strenger.

Celine Verheijen

Projectcoördinator bij Defence for Children

Arda Gerkens wijst ook op risico’s van deze detectietools voor de LHBTI+-gemeenschap in landen als Polen en Hongarije. Hoe groot is dit risico?

“De angst bestaat dat wanneer LHBTQ+ jongeren in beeldmateriaal voorkomen, zij in landen als Hongarije en Polen worden gediscrimineerd of vervolgd. Op dit moment worden ook meldingen van kindermisbruik door Amerikaanse bedrijven gemeld bij National Centre for Missing and Exploited Children (NCMEC). Beeldmateriaal wordt daarna gedeeld met de betreffende landen. Dit risico bestaat dus al. Hier moet daarom ook zeker aandacht voor zijn en discriminatie moet worden bestreden.

Voor de detectietools voor beelden wordt weleens gezegd: je zou ze kunnen voeden met ander beeldmateriaal om LHBTI+-content te herkennen. Maar dat is heel lastig. Tools zijn echt gemaakt voor het herkennen van kindermisbruik. De tool is al sinds 2010 in gebruik en we zien ook niet dat er andere content naar voren komt. Je kunt er ook geen andere beelden in stoppen zonder dat andere mensen ervan afweten.

Het voorstel vormt juist geen hellend vlak naar uitgebreidere detectie, maar reguleert het gebruik van tools juist strenger. Overheidsinstanties en nationale rechtbanken moeten het gebruik van de tools van geval tot geval beoordelen, en staan het gebruik ervan niet toe als ze niet aan strenge criteria voldoen.”

Over ‘onschuldige’ afbeeldingen

Tools zijn geënt op strafbaar materiaal en een afbeelding van een kind op het strand of in een schuimkasteel is niet strafbaar. Er is dus ook geen risico dat dit als kindermisbruik wordt gezien.

Celine Verheijen

Projectcoördinator bij Defence for Children

Rejo Zenger, beleidsadviseur bij Bits of Freedom zegt dat de technologie nog niet zo ver is om beelden van kindermisbruik te herkennen. Hij is bang dat onschuldige foto’s aangemerkt worden als kindermisbruik, zoals een foto van zijn jonge dochter in bad met een schuimkasteel.

“Foto’s van kinderen in bad en op het strand worden niet als seksueel misbruik gezien door zo’n tool. Dat gaat echt over een ander soort foto’s: beelden met seksuele handelingen tussen een volwassene en een jong kind of foto’s waarop wordt ingezoomd op de genitaliën van jonge kinderen. Tools zijn geënt op strafbaar materiaal en een afbeelding van een kind op het strand of in een schuimkasteel is niet strafbaar. Er is dus ook geen risico dat dit als kindermisbruik wordt gezien.

De tools die worden gebruikt om onbekend online kindermisbruik op te sporen zijn zelflerend en worden getraind met behulp van een hele grote dataset, waarin ook onschuldige foto’s van kinderen in bad of op het strand zitten. De tool heeft dus geleerd om dit soort afbeeldingen niet te classificeren als kindermisbruik. Daarnaast worden alle meldingen eerst door het EU Centrum gecheckt of het echt om strafbaar kindermisbruik gaat. Dit voorkomt dat onschuldig materiaal de politie bereikt.

Dit geldt ook voor grooming. Voldoe je aan een bepaald profiel, dan wordt een flinke tekst gescand om te zorgen dat de tool accuraat is. De tool begrijpt echter niet waarover je praat: hij kijkt alleen naar de patronen van grooming. Je kunt het vergelijken met een spam-filter in je mailbox. Ook die technologie kijkt alleen naar patronen, zonder je inkomende mails te begrijpen.

Er is – net als bij je spam-inbox – wel een menselijke check nodig. Je kunt niet zomaar de technologie vertrouwen en data naar de autoriteiten sturen. Die menselijke check is een privacy-inbreuk. Die data zijn dan wel geanonimiseerd, zodat degene die het leest niet weet van wie het komt. Het wordt weer gedeletet, als het geen misbruik blijkt te zijn. Alleen als het echt foute boel is, dan komen identiteitsgegevens erbij en wordt het gemeld. Tekst wordt dus alleen aan iemand gekoppeld als het echt mis is.”

Over de invloed van techbedrijven

Het internet zal net als speelgoed aan voorwaarden moeten voldoen om veilig te zijn voor kinderen, vinden wij.

Celine Verheijen

Projectcoördinator bij Defence for Children

De afhankelijkheid van techbedrijven is volgens jullie nu te groot bij de aanpak van online kindermisbruik. Gaat het voorstel die invloed daadwerkelijk verkleinen?

“Het wordt in ieder geval gereguleerd, want nu is het totaal afhankelijk van bedrijven. Ze kunnen ervoor kiezen om niks te doen en als ze wel iets doen dan kan dat veel invloed hebben op de privacy van andere gebruikers. Er is geen zicht op, geen transparantie. Dat gaat veranderen.

Internetplatforms scannen nu al communicatie en cloudopslag om ervoor te zorgen dat er geen content wordt gedeeld die niet voldoet aan de gebruiksvoorwaarden. Momenteel zijn er echter geen regels voor het wel of niet scannen en welke tools daarvoor gebruikt mogen worden. Met het nieuwe voorstel kan dit alleen nog als er een specifiek risico is dat de inzet van detectietools rechtvaardigt.

Het wetsvoorstel zorgt er aan de andere kant ook voor dat de vrijblijvendheid eraf is. Speelgoed moet ook gecontroleerd worden om aan voorwaarden te voldoen. Het internet is niet gemaakt met kinderen in het achterhoofd, maar online diensten worden wel zo gemaakt dat kinderen zo lang mogelijk online blijven. Het internet zal net als speelgoed aan voorwaarden moeten voldoen om veilig te zijn voor kinderen, vinden wij.”

Thorn ontwikkelt technologie om online misbruik te bestrijden

Emily Slifer is Director of Policy bij Thorn, een non-profitorganisatie die 10 jaar geleden is opgericht door acteurs Ashton Kutcher en Demi Moore. Thorn maakt technologie die het mogelijk maakt om seksueel kindermisbruik te bestrijden. Ze werken daarvoor samen met de tech-industrie, maar ook met overheden en NGO’s. Ze legt in dit interview uit hoe de technologie van Thorn kan helpen om misbruik op te sporen.

Over Thorn en de Europese wetgeving

We weten op welke platformen kinderen zitten en hoe ze ermee omgaan, maar ook hoe ze benaderd worden. Die kennis willen we graag inzetten.

Emily Slifer

Director of Policy bij Thorn

Op welke manier kan Thorn bijdragen aan de Europese wetgeving over online kindermisbruik?

“Aanvankelijk ontwikkelden we technologie om slachtoffers van mensen die in het buitenland kinderen misbruiken op te sporen. Gelijktijdig hebben we ook contact gezocht met tech-bedrijven om te zien wat zij deden om het verspreiden van beelden van kindermisbruik tegen te gaan. Grote bedrijven hadden hier al werk van gemaakt, maar er was toch een kloof omdat technologieën niet gedeeld werden, vooral niet met kleine en middelgrote mediabedrijven. In dit gat zijn wij gesprongen met de ontwikkeling van onze tool Safer.

Met Safer kunnen bekende en onbekende beelden van seksueel misbruik van kinderen geïdentificeerd worden. We zijn nu ook bezig met een pilot om grooming te detecteren. Ongeveer 75% van de medewerkers van Thorn doet aan engineering en data science. Maar we hebben ook ervaring met wetshandhaving en doen veel onderzoek, vooral in de VS. We weten op welke platformen kinderen zitten en hoe ze ermee omgaan, maar ook hoe ze benaderd worden. Die kennis willen we graag inzetten.

Dat doen we met campagnes zoals nofiltr, maar ook door advies te geven aan beleidsmakers vooral in de VS. Maar toen men begon te werken aan de Europese wetgeving zijn we ons ook op Europa gaan richten. We hebben besloten een behoorlijke hoeveelheid tijd en onderzoek te investeren in educatie. Wetgevers die beslissen over dit soort inhoudsmoderatie in Europa hebben dan de juiste kennis en weten wat bestaat, wat niet en hoe het werkt.

We hoeven privacy en de veiligheid van kinderen niet tegenover elkaar te zetten, maar we moeten wel allemaal met elkaar in gesprek gaan. Het is niet waar dat mensen die om privacy geven niet om kinderen geven en dat mensen die om kinderen geven niet om privacy geven. Iedereen hecht waarde aan zijn privacy en iedereen hecht waarde aan de veiligheid van kinderen. Hoe meer we erover praten, hoe beter de toekomstige wetgeving zal zijn. We hebben het altijd over waarborgen en transparantie omdat we een manier willen vinden die voor iedereen werkt.”

Over Thorn en de tool Safer

We bezitten of bewaren geen enkele data van onze klanten. We houden privacy in het oog en zorgen ervoor dat onze tools voldoen aan de AVG.

Emily Slifer

Director of Policy bij Thorn

Hoe werkt Safer, de tool die Thorn ontwikkeld heeft om online seksueel kindermisbruik te bestrijden?

“Safer is een API die momenteel door 45 bedrijven wordt gebruikt.  Onze detectietool bestaat eigenlijk uit verschillende onderdelen, zoals een classifier voor beelden en een grooming classifier. Elk bedrijf kan zelf bepalen welke onderdelen van Safer ze inzetten.

De content die gescand wordt, blijft volledig bij het platform. We bezitten of bewaren geen enkele data van onze klanten. We houden privacy in het oog en zorgen ervoor dat onze tools voldoen aan de AVG. We hebben wel een constante feedback loop met bedrijven om onze tools steeds up-to-date te houden.

Content moderatie en een menselijke check van nieuwe beelden vindt ook door de platformen zelf plaats. Wij doen dit zelf niet, maar bieden hiervoor wel een tool aan binnen Safer. Deze tool is ontwikkeld met het welzijn van de contentmoderatoren in het achterhoofd. Zo kunnen images geblurd worden en is er een directe lijn voor rapportage aan NCMEC (National Center for Missing and Exploited Children).”

Over de effectiviteit van Safer

De tool kan in benchmarktests ingesteld worden op een precisie van 99,9% en daarmee vind je 86% van de afbeeldingen van online misbruik.

Emily Slifer

Director of Policy bij Thorn

Hoe effectief is Safer in het herkennen van kindermisbruik en welke vals-positieven zijn er te verwachten?

“We gebruiken een baseline image classifier die aan de hand van een database steeds weer getraind wordt. We gebruiken daarvoor beelden van kindermisbruik, porno met volwassen en onschuldige afbeeldingen van kinderen. De classifier maakt dan zijn eigen regels om het verschil te zien. Als er zaken als misbruik worden geclassificeerd die dat niet zijn, voegen we meer informatie toe aan de dataset.

Toen we de classifier voor het eerst gingen gebruiken, kregen we bijvoorbeeld afbeeldingen van zebra’s terug. Het bleek dat er op de achtergrond van materiaal met kindermisbruik vaak zebraprints zichtbaar waren. We hebben toen afbeeldingen van zebra’s aan dataset toegevoegd om de classifier het verschil te leren. Ook nu trainen we de classifiers steeds opnieuw op basis van feedback van bedrijven.

We werken nu al zes jaar met deze tool en trainen hem steeds weer om te zorgen dat hij zo accuraat mogelijk is. De tool kan in benchmarktests ingesteld worden op een precisie van 99,9% en daarmee vind je 86% van de afbeeldingen van online misbruik. Dit zijn statistieken op basis van onze dataset, ik kan je geen informatie geven van de bedrijven waarvoor we werken.

De tool identificeert geen onschuldige afbeeldingen zoals kinderen in bad of op het strand. Misbruik heeft vaak heel specifieke patronen. Zo zijn er in 50% van de gevallen bijvoorbeeld geen gezichten zichtbaar. Ook beelden van tieners die vrijwillig seksueel experimenteren worden niet aangemerkt als misbruik. Misbruik heeft echt hele andere patronen.”

Over de Google-case

Er is een balans tussen privacy en veiligheid en wij proberen altijd die balans te vinden.

Emily Slifer

Director of Policy bij Thorn

Via het onderwerp vals-positieven komen we op de Google-case. Een vader maakte op verzoek van een arts foto’s van een infectie rond het geslachtsdeel van zijn kind. Google merkte deze afbeeldingen aan als kindermisbruik. Wat is hier misgegaan?

“De classifier van Google vond hier wat hij moest vinden: een afbeelding van een hand van een volwassene die de genitalia van een kind vasthoudt. De afbeelding is door een medewerker van Google gecontroleerd op basis van het beleid van Google. De afbeelding is daarna doorgestuurd naar NCMEC, wat volgens de Amerikaanse wet verplicht is. Vandaaruit ging dit door naar de rechtbank, waar de man vrijgesproken werd. Daarna probeerde de vader zijn account terug te krijgen, wat niet lukte.

Het probleem ligt hier bij het overall proces van het bedrijf. Daarom raden we human review aan en bouwen we verschillende stappen in het proces. Er is een balans tussen privacy en veiligheid en wij proberen altijd die balans te vinden. Je kunt online criminaliteit niet bestrijden zonder technologie, maar je moet wel een balans vinden.”

Over het opsporen van grooming

Grooming is lastig te tackelen: het gaat om tekst en is per platform net anders.

Emily Slifer

Director of Policy bij Thorn

Vooralsnog hebben we het vooral over beelden gehad, maar er is natuurlijk ook het risico op grooming. Hoe sporen jullie grooming op met deze tool?

“Met het opsporen van beelden via hashing en classifiers vinden we slachtoffers die al misbruikt zijn. Daarom wilden we ook aan technologie werken die het juist kan voorkomen. Een jaar geleden zijn we daarom begonnen met het bouwen van een tool om grooming op te sporen. We willen daarmee vooral innovatie aanzwengelen en meer mensen en bedrijven motiveren om preventief werk te doen.

Grooming is lastig te tackelen: het gaat om tekst en is per platform net anders. Op een datingwebsite is het normaal om een afspraakje te willen maken: dat is het hele punt van het platform. De conversatie kan ook seksueel zijn. Gesprekken over leeftijd en vooral minderjarigheid zijn dan weer niet wat een datingwebsite wil. Op een gaming website is het normaal om te praten over hoe oud je bent, maar gesprekken met een seksuele inslag of gesprekken over elkaar ontmoeten zijn daar juist niet gepast.

Groomingdetectie moet dus specifiek zijn per platform. We hebben een systeem met tien categorieën. Elk platform bepaalt zelf welke categorieën voor hen relevant zijn. We helpen hen dan om op basis van hun gebruiksvoorwaarden content te vinden die niet gepast is. Voor de duidelijkheid: dit wordt niet ingezet op alle content – de rekenkracht die daarvoor nodig is, is te groot – maar op specifieke plekken met een hoog risico. We gebruiken overigens geen metadata omdat we hier geen toegang toe hebben.”

Over Thorn en end-to-end encryptie

We willen deze systemen niet breken, maar we willen ook niet dat het een verzamelplaats wordt voor criminelen.

Emily Slifer

Director of Policy bij Thorn

Veel mensen maken zich zorgen om het einde van E2E-encryptie. Kan de technologie van Thorn in een versleutelde omgeving gebruikt worden?

“Allereerst wil ik zeggen dat we het debat op dit gebied verwelkomen. We hebben het over een van de ernstigste misdaden en een constant veranderend technologisch landschap. De nieuwe wetgeving heeft heel veel waarborgen ingebouwd, die er op dit moment niet zijn. Ik praat dagelijks met techbedrijven en ik kan je niet zeggen wie wat gebruikt op zijn platform. De wetgeving gaat veel meer transparantie geven. Voordat we het gaan hebben over het breken van E2EE, wil ik benadrukken dat de wetgeving heel veel regelt dat we nu niet hebben.

Op dit moment zijn er geen voorbeelden van detectie in versleutelde omgevingen. In de wetenschap zijn er wel veel proofs-of-concept en met de wilskracht en investeringen van bedrijven is het wel te realiseren. Wat nu vaak gebeurt is dat criminelen beelden uitwisselen op versleutelde platformen, omdat het dezelfde privacy en anonimiteit biedt als het dark web, maar met de bandbreedte van normaal internet. We willen deze systemen niet breken, maar we willen ook niet dat het een verzamelplaats wordt voor criminelen. Daarom willen we het hen zo moeilijk mogelijk maken.

De Europese wetgeving moet technologisch neutraal gehouden worden en dingen zoals E2EE in zicht houden. Over 10 jaar is E2EE misschien niet meer het veiligste systeem als je ziet hoe technologie evolueert. Het zal iets zijn waar ik nooit over heb nagedacht. Maar je wilt geen wet aannemen die over twee jaar gedateerd is.”

Conclusie: de balans tussen privacy en veiligheid

Na gesproken te hebben met Celine Verheijen en Emily Slifer kunnen we concluderen, dat het belangrijk is om kinderen online veilig te houden, maar we willen ook dat onze privacy gewaarborgd blijft. Die twee onderdelen hoeven elkaar gelukkig niet uit te sluiten. Het nieuwe wetsvoorstel van de EU weegt de belangen juist af en afhankelijk van hoe de definitieve versie eruit komt te zien, kan het de situatie juist verbeteren.

Bij VPNGids houden we de ontwikkelingen rondom het voorstel in ieder geval in de gaten en laten we zowel voor- als tegenstanders van het voorstel aan het woord.

Wil je als ouder zelf je kind online veilig houden? Dan heb je wellicht ook interesse in de volgende artikelen:

• Hoe bescherm je kinderen tegen online misbruik?
• Hoe ga je om met sexting bij jongeren?
• Hoe praat je met je kind over online risico’s?
• De 6 beste apps voor ouderlijk toezicht