• Nautilus
  • Cultuur
  • We hebben een gezondheidsinspectie 
nodig voor algoritmes

We hebben een gezondheidsinspectie 
nodig voor algoritmes

Nautilus | New York | Michael Segal | 16 april 2019

Algoritmes bepalen in toenemende mate ons leven. Niet alleen door apparaten die we zelf gebruiken, maar ook door overheden en bedrijven die steeds meer van ons weten. Niettemin bestaat er geen enkele regelgevende instantie die hier toezicht op houdt. Dat moet anders, vindt de Britse wiskundige Hannah Fry.

In de inleiding van haar nieuwe boek merkt 
Hannah Fry iets interessants op over de tekst ‘Hello world’. Die frase vormt vaak de complete output van het eerste programma dat leerlingen in een programmeertaal leren schrijven.

Maar volgens haar is nooit helemaal duidelijk of je dat zinnetje 
nou moet toeschrijven aan het programma dat 
tot leven komt en de wereld groet, of aan de triomfantelijke programmeur die zijn of haar eerste 
maaksel aan de wereld voorstelt. Vandaar wellicht dat je bij ‘Hello world’ al snel aan een dialoog tussen mens en machine denkt – een gedachte die actueler is dan ooit.

In haar boek Hello World [in het Nederlands vertaald als Algoritmes aan de macht] leidt Fry ons rond door een in hoog tempo gedigitaliseerde wereld. Fry is even optimistisch en enthousiast – met haar promovendi aan het Londense University College sleutelt ze zelf ook veel aan algoritmes – als bezorgd. In ons gesprek zowel als in haar boek doet ze een dringende oproep: we moeten algoritmes transparanter maken en aan regelgeving onderwerpen, en meer begrip hebben voor de feilbare mensen die ermee moeten omgaan.

Ik sprak haar telefonisch toen ze in New York was voor de promotie van haar boek.

Waarom moet er een geneesmiddeleninspectie voor algoritmes komen?

Vroeger kon je een willekeurige gekleurde vloeistof in een flesje stoppen, als geneesmiddel verkopen en daar schatrijk mee worden. Zonder erom te malen of het misschien giftig was. Daar hebben we een eind aan gemaakt, allereerst omdat het moreel verwerpelijk is, maar ook omdat het schadelijk is. Met data en algoritmes verkeren we nu in dezelfde situatie. Je kunt over iedereen alle gegevens verzamelen die je maar wilt. Die mag je analyseren zoals je wilt en gebruiken om die mensen ermee te manipuleren zoals je wilt. En je kunt algoritmes bedenken die een werkelijk gigantische invloed hebben op het leven van mensen, zowel in positieve als in negatieve zin, zonder dat daar enige vorm van controle op zit. Dat vind ik totaal krankjorum. Dus ik vind het hoog tijd voor zoiets als een geneesmiddeleninspectie, maar dan voor algoritmes. Een toezichthouder die de intellectuele eigendom van algoritmes beschermt, maar er ook op toeziet dat de maatschappelijke 
voordelen opwegen tegen de nadelen.

Waarom is geneesmiddelentoezicht een 
passende vergelijking?

Als je zo’n gekleurd goedje uit een flesje drinkt en de volgende dag val je dood neer, dan weet je zeker dat het giftig was. Maar geneesmiddelen hebben ook veel subtielere effecten, waarvan je de voors en tegens alleen kunt afwegen aan de hand van deskundige analyse. Je moet de chemische samenstelling van de verkochte middelen bestuderen en controleren of 
ze werkelijk doen wat ze beloven. Precies hetzelfde geldt voor algoritmes. Je kunt van de gemiddelde burger niet verwachten dat die zich in Bayesiaanse kansberekening of datamodellering verdiept, of genoeg van computers weet om de achterliggende code op te zoeken en te analyseren of die netjes te werk gaat.

Dat is niet reëel. Net zoals je niet kunt verwachten dat datawetenschappers zelf een gedragscode opstellen en zich daar dan ook allemaal aan houden. Dat moet echt van de overheid komen. De overheid moet die algoritmes voor ons doorlichten en controleren of ze doen wat ze beloven, en wel op zo’n manier dat het niet schadelijk is voor mensen.

Hoe kwam u ertoe om een boek over 
algoritmes te schrijven?

In 2011 kampte Londen met zware onlusten. Ik heb toen met de politie aan een project gewerkt om de verspreiding van die rellen in wiskundige modellen te vatten en met algoritmes te kijken hoe de politie daar beter mee had kunnen omgaan. We publiceerden daar een artikel over, en toen ik er in Berlijn een lezing over gaf, kreeg ik zware kritiek. Ik kreeg vragen in de trant van: ‘Wacht eens even, jij maakt dus een algoritme dat ook gebruikt kan worden om vreedzame demonstraties de kop in te drukken. Hoe kun je dat ethisch verantwoorden?’ Tot mijn schande moest ik bekennen dat ik daar helemaal niet bij had stilgestaan. Sindsdien heb ik er wel veel over nagedacht. 
En het begon me steeds meer op te vallen dat andere mensen in mijn vakgebied niet altijd de ethische 
vragen stellen die je toch wel kunt hebben bij de data die ze gebruiken en de algoritmes die ze maken. Er zit iets scheef, in de zin dat de mensen die de algoritmes maken eigenlijk geen contact hebben met de mensen die hun algoritmes gebruiken. En de mensen die ze gebruiken, hebben geen contact met de mensen 
wier levens erdoor worden beïnvloed. Ik wilde iets schrijven dat die drie groepen bij elkaar brengt.

Wat is uw favoriete algoritme?

Geoprofiling, denk ik. Omdat het zo’n krachtig 
middel is, een enorm positieve impact heeft en zo slim bedacht is. Het is een algoritme dat wordt gebruikt om seriemoordenaars en veelplegers op te sporen. De meeste seriemoordenaars plegen hun moorden niet vlak bij huis. Je wilt tenslotte niet dat de politie bij jou in de buurt komt rondsnuffelen. Anderzijds maken de meeste seriemoordenaars ook geen lange reizen om hun misdaden te kunnen 
plegen. Hoe raar het ook klinkt, ze laten zich toch leiden door gemak. Als je die twee feiten combineert in een slim algoritme dat de verspreiding analyseert van een hele reeks misdaden op de kaart, kun je daaruit afleiden waar de dader waarschijnlijk 
vandaan komt. Datzelfde algoritme is ook gebruikt om erachter te komen waar malariaverspreidende muggen in Egypte hun eitjes leggen, wie Banksy is, afgaand op waar zijn werk wordt aangetroffen, en waar bommenfabrieken staan.

Hannah Fry en natuurkundige Brian Cox op een shoot voor technologietijdschrift Tomorrow’s world. – © Lickerish Syndication / Elisabeth Hoff
Hannah Fry en natuurkundige Brian Cox op een shoot voor technologietijdschrift Tomorrow’s world. – © Lickerish Syndication / Elisabeth Hoff

Wat is uw minst favoriete algoritme?

Ik heb een hekel aan algoritmes die niet doen wat 
ze beloven. Bij het onderzoek voor mijn boek sprak ik het hoofd van een bedrijf dat… Nou ja, belachelijk gewoon. Dat zijn echt charlatans. Als je een filmscript invoert in hun neurale netwerk, beweren zij dat het algoritme aangeeft wat je daarin moet veranderen, al is het maar één woordje, om te zorgen dat de film meer opbrengt. Toen ik die directeur om bewijs vroeg dat zijn algoritme echt werkt, begon 
hij een verhaal over een grote filmster die bij een grote filmfranchise de laan uit was gestuurd, louter op grond van zijn algoritme. Toen ik zei dat dat niet bewees dat zijn algoritme werkte, dat het alleen maar bewees dat mensen in zijn algoritme geloofden, haalde hij zijn schouders op en zei iets van: ‘Ja nou ja, ik doe geen academische spelletjes.’

Aan dat soort algoritmes heb ik echt een bloedhekel. Algoritmes waarmee het enthousiasme over kunstmatige intelligentie alleen maar wordt uitgebuit voor eigen gewin. Terwijl het technisch gezien bagger is.

Wat is het gevaarlijkste algoritme?

Wat reikwijdte betreft is de ontwikkeling van het nieuwsoverzicht in Facebook heel zorgwekkend. Pakweg vijftien jaar geleden keken we allemaal 
naar dezelfde tv-programma’s en lazen we dezelfde kranten. Onze nieuwsbronnen, vooral voor politiek nieuws, waren min of meer universeel. Als zich dan een publiek debat ontspon, beschikte iedereen over dezelfde informatie. Maar sinds Facebook heeft besloten dat het een nieuwsleverancier wil zijn, 
krijg je een gepersonaliseerd nieuwsoverzicht met berichten gebaseerd op wat je vrienden leuk vinden, wat jijzelf leuk vindt en wat je eerder hebt gelezen. Het nieuws verbrokkelt tot een eindeloos aantal minieme doelgroepjes, waardoor mensen in een nationaal debat ineens langs elkaar heen praten. Ze denken dat ze over hetzelfde praten, maar ze hebben het allemaal over iets anders. Ook al voor dat gedoe met Cambridge Analytica, dat het nog veel erger maakte, denk ik dat dit al schadelijk was voor de 
politiek en de democratie. Maar zoiets kan zomaar gebeuren zonder dat iemand er bewuste kwade bedoelingen mee heeft. Het is het onbedoelde gevolg van gewoon maar ergens binnenstappen zonder van tevoren goed na te denken over de bredere gevolgen van jouw aanwezigheid in die ruimte.

We hebben het wel over privacy, maar mensen bekommeren zich niet om die van henzelf

In welk digitaal ecosysteem leeft u zelf? 
Apple, Google, Microsoft?

Ik neig meer naar Apple omdat ik denk dat privacy daar iets serieuzer genomen wordt. Dat is eigenlijk wel interessant, want het laat goed zien dat mensen zich niet om hun eigen privacy bekommeren. Er is een groot verschil tussen hoe Google en Apple met 
je foto’s omgaan. Bij Apple blijven de foto’s van jou. 
Als ze er gezichtsherkenning en beeldherkenning 
op loslaten, doen ze dat aan de hand van data op metaniveau. In hun interactie met jou bieden ze de grootst mogelijke mate van privacy waarbij zij nog 
de data kunnen verzamelen die ze nodig hebben. Maar Google neemt het eigendom van je foto’s gewoon over. Ze mogen die gebruiken om er mensen mee te volgen met behulp van gezichtsherkenning, of om hun eigen experimenten mee uit te voeren. Dat is één reden waarom ik wat meer naar de Apple-wereld neig. Safari is ook wat terughoudender in het verzamelen van gegevens dan Google’s Chrome. Maar ik denk niet dat dit veel uitmaakt voor de keuze die mensen tussen deze twee producten maken. 
Dat vind ik eigenlijk wel interessant: we hebben 
het wel over privacy, en we willen dat ze geen enge dingen gaan doen en dat er geen echt intieme 
informatie over ons naar buiten komt en tegen ons gebruikt wordt, maar ik denk dat we de neiging 
hebben om die diensten op hun woord te geloven. 
En we wanen ons ook anoniem tussen alle andere mensen die hetzelfde doen.

Moeten we het eigendom krijgen over onze eigen data?

Het meest overtuigende voorstel dat ik op dat vlak heb gezien is dat je databankiers krijgt, tussenper-sonen die dat allemaal voor je regelen. Net zoals je 
je geld op de bank zet, die het voor je bewaart en 
verstandig belegt en er een rendement over uitkeert, zo moet je je data kunnen stallen bij de databankier. Dat zou dan iemand zijn die de belangen van de 
consument behartigt, en niet die van de bedrijven.

Op dit moment zijn het anderen die dik 
verdienen aan onze data.

Bakken met geld. Een bedrijf dat er voor mij 
uitspringt is Palantir, dat in 2003 is opgericht door Peter Thiel. Het is een van de grootste succesverhalen van Silicon Valley, het is meer waard dan Twitter. 
De meeste mensen hebben er nog nooit van gehoord omdat het volledig achter de schermen opereert. 
Dit is een van die bedrijven die databases bezitten over alles wat je maar kunt bedenken, over jou en wie je bent en wat je interesses zijn. Ze weten wat je 
seksuele geaardheid is en of je daarvoor uitkomt, of 
je weleens een miskraam hebt gehad of een abortus hebt laten plegen. Hoe je denkt over wapenbezit, of 
je weleens drugs hebt gebruikt, dat leiden ze allemaal af uit de data die ze hebben, en dat wordt dan gebundeld en voor enorme bedragen verkocht.

Zou u uw DNA ooit laten testen door 23andMe [een commercieel bureau waar je je DNA kunt laten testen op voorouders en gezondheid]?

Liever niet. Ik ben best benieuwd naar de uitslag, maar het zou mij niet lekker zitten als mijn DNA 
in een database zit. Geef je daar toestemming voor, dan geldt dat niet alleen voor je eigen DNA. Je doet het meteen voor je hele familie, al je kinderen en hun eventuele nazaten. Je geeft iets weg wat nooit meer kan worden veranderd en nooit meer kan worden ingetrokken. Je DNA is de meest intieme informatie die je hebt. Hoe nieuwsgierig ik ook naar mijn afkomst ben, dat kan nooit opwegen tegen de 
potentiële nadelen.

In feite onderstreepte Watson continu dat hij er ook niet helemaal zeker van was

Moeten we proberen algoritmes perfect te maken?

We kijken daar verkeerd tegenaan. We moeten niet streven naar algoritmes die steeds accurater worden en er steeds minder naast zitten. We moeten gewoon accepteren dat algoritmes nooit perfect zullen zijn. We moeten zorgen dat we er minder afhankelijk van zijn en in elke stap van het proces rekening houden met de uiterst menselijke neiging om te veel op machines te vertrouwen. Het is een kwestie van 
ontwerp. Algoritmes moeten zo worden ontworpen dat ze zich kunnen herstellen van de fouten die zich onvermijdelijk voordoen.

Amerikaanse rechtbanken gebruiken 
COMPAS-software om te corrigeren voor 
onbewuste vooroordelen. Is dat een positieve kant van algoritmes?

Er kleven gigantische problemen aan de algoritmes die in de rechtspraak worden gebruikt, en die 
moeten echt nodig worden aangepakt. Maar inderdaad ben ik om die reden grosso modo wel voor 
het gebruik ervan. Als het algoritme om te bepalen wie in aanmerking komt voor borgtocht niet goed functioneert, dan kun je dat algoritme tenminste aanpassen en corrigeren. Menselijke rechters kun je niet vragen om het proces van hun besluitvorming een tikje bij te sturen, want eerlijk gezegd kunnen mensen je niet precies vertellen hoe ze hun besluiten nemen. Mensen denken heel slordig en chaotisch 
en irrationeel. We kunnen nog geen consequent besluit nemen over koffie. Dus net wat je zegt: 
vooraf met elkaar kunnen overleggen en bepalen 
wat we belangrijk vinden, waar wij als samenleving de grootste waarde aan hechten, dat is ontzettend 
nuttig.

*Wat bedoelt u als u zegt dat de beste 
algoritmes in elke stap van het proces 
rekening houden met de mens? *

Het beste voorbeeld hiervan lijkt me de manier 
waarop Watson van IBM de quiz Jeopardy wist te 
winnen. Het slimme van die machine was dat die niet gewoon zei: ‘Dit is het antwoord.’ Hij kwam steeds met een top drie van de meest waarschijnlijke antwoorden, met de waarschijnlijkheid uitgedrukt in een percentage. In feite onderstreepte Watson continu dat hij er ook niet helemaal zeker van was. Dat maakt enorm veel verschil. Stel dat je een gps hebt die alleen maar zegt: ‘deze route moet je volgen’ en dat jij dat blindelings doet. Dan zul je veel sneller in de problemen komen dan wanneer je gps zegt, zoals tegenwoordig meestal gebeurt: ‘Hier heb je 
drie opties, dit zijn de plus- en minpunten van elke optie, beslis jij op basis van mijn informatie nu maar hoe je gaat rijden.’

Hoe passen zelfrijdende auto’s in dat plaatje?

Er worden op dit moment twee verschillende soorten zelfrijdende auto’s gemaakt. Je hebt er waarbij het algoritme de auto volledig kan besturen en dat 
het grootste deel van de tijd ook doet. Alleen in noodgevallen moet een mens dan ingrijpen en het stuur overnemen. Het probleem is dat dit nou juist niet een van onze sterke punten is. We zijn er niet goed 
in om steeds alert te blijven en onverwachts 
complexe handelingen te moeten verrichten. Dat zijn nou juist dingen waar computers heel goed in zijn. Een computer kan zonder problemen op de 
achtergrond continu waakzaam blijven, ingrijpen wanneer nodig en dan precies de handelingen uitvoeren die hij vooraf heeft geleerd. Zo werkt het tweede type zelfrijdende auto: dan zit jij achter het stuur, maar zodra er iets gebeurt en de computer bespeurt dat er een ongeluk dreigt, neemt die het over. Dat bedoel ik met continu rekening houden met de mens.

Het is niet simpelweg een kwestie van: wat wil je dat het algoritme doet? Of: hoe wil je dat het werkt? Zo’n algoritme houdt rekening met onze menselijke neigingen en zwaktes en onze gewoonte om te veel op apparaten te vertrouwen en in slaap te vallen achter het stuur. Het is niet ontworpen als een algoritme op zichzelf, maar als een algoritme dat inspeelt op onze menselijke gebreken.

Moeten we een nieuwe intuïtie ontwikkelen voor het omgaan met algoritmes?

Dat is niet aan ons als gebruikers. Het is aan de 
mensen die de algoritmes ontwerpen om te zorgen dat hun algoritmes aansluiten bij onze menselijke intuïtie. Ik moet dan altijd denken aan de tijd waarin de iPhone werd ontwikkeld. Het bijzondere daaraan was dat het niet meer alleen om technologie draaide, maar om de gebruiker. Het ging om hoe mensen denken. Niet alleen wat mensen zeiden te willen, maar hoe ze werkelijk reageren, dat stond in elke fase van het ontwerpproces centraal. Dat moet ook bij algoritmes gebeuren. Dat je niet gewoon een stel lompe Nokia-toestellen met van die rare toetsindelingen op de markt gooit en vindt dat mensen zelf maar moeten leren hoe ze die slimmer moeten gebruiken. Maar dat je in je ontwerp vanaf nul begint en jezelf afvraagt: hoe zitten mensen in elkaar? 
Wat zijn onze gebreken? En hoe ontwerp je iets wat daar rekening mee houdt?

Auteur: Michael Segal

Hannah Fry is een Britse wiskundige en spreker. Haar onderzoek gaat over menselijke gedragsmodellen, zoals onze relaties en sociale communicatie, en over de mathematische toepassingsmogelijkheden op deze gebieden. Ze publiceerde meerdere boeken over dit onderwerp. Het laatste, Hello World. How to be Human in the Age of the Machine, verscheen in september 2018 [in december 2018 in Nederlandse vertaling verschenen als Algoritmes aan de macht. Hoe blijf je menselijk in een geautomatiseerde wereld?].

Dit artikel van Michael Segal verscheen eerder in Nautilus.
Recent verschenen
Een remedie tegen navelstaren?
Schrijf je in voor onze nieuwsbrief.
Onze nieuwsbrief wordt wekelijks verzonden.
inschrijven

Schrijf je in voor onze nieuwsbrief!

En ontvang wekelijks het beste uit de internationale pers in uw mailbox.