Gemeenten zetten steeds vaker slimme algoritmen in om vroegtijdig problemen bij burgers op te sporen. Te denken valt aan hoge schulden, schooluitval of criminaliteit. De mogelijkheden om data te koppelen en op basis daarvan voorspellingen te doen over menselijk gedrag, groeien snel. Daarmee lijkt de overheid haar grip op de samenleving te versterken. De bedoelingen zijn vaak goed, maar er zijn ook kritische juridische, ethische en bestuurskundige vragen te stellen bij de inzet van algoritmen in het sociale domein.

Albert Meijer, hoogleraar Publieke Innovatie aan de Universiteit Utrecht en verbonden aan het departement Bestuurs- en Organisatiewetenschap, houdt zich dagelijks met deze vragen bezig. Meijer onderzoekt hoe slimme algoritmen werken in het publieke domein, wat technologische innovaties betekenen voor democratische processen en hoe ze zorgen voor nieuwe samenwerkingsverbanden. Meijer: “Nieuwe technologieën overkomen ons niet zomaar, wij kunnen ze ook zelf sturen. Ik zoek manieren om technologische ontwikkelingen zo in te zetten dat ze leiden tot wenselijke uitkomsten.”

Niet nieuw

Meijer wijst erop dat de inzet van algoritmen niet nieuw is: de overheid maakt al sinds de jaren tachtig gebruik van computers die besluiten nemen en werk van ambtenaren uitvoeren. “Het Centraal Justitieel Incassobureau stuurt automatisch een bon als je te hard rijdt. Daar komt geen mens aan te pas. De hoogte van je studiefinanciering wordt volledig door algoritmen berekend. Dat er bepaalde waarden ingebakken zitten in deze technologische systemen, is ook niet nieuw. Dit zie je bijvoorbeeld duidelijk bij fraudeopsporingssystemen die de overheid heeft ontwikkeld om te voorkomen dat iemand ten onrechte een uitkering ontvangt.”

De afgelopen jaren is de inzet van algoritmen echter sterk veranderd. Meijer wijst daarvoor drie belangrijke redenen aan. ”Ten eerste zijn er veel meer data beschikbaar, en daarmee meer mogelijkheden om algoritmen in te zetten. Ten tweede zie je dat nieuwe vormen van fuzzy logic allerlei nieuwe zoekvragen mogelijk maken. Deze vorm van logica werkt met meer dan de binaire waarden van waar (1) of onwaar (0), maar ook met alle waarden daartussenin. Iets is niet meer warm of koud, maar een beetje warm. Ten derde is de belangrijkste ontwikkeling dat algoritmen slim zijn geworden: ze zijn zelflerend. Waar algoritmen eerst heel statisch waren - ze konden alleen werken met vooraf door de makers van het algoritme ingevoerde taken - kunnen slimme algoritmen tegenwoordig deze taken op basis van beschikbare data en correlaties die ze hiertussen vinden, zelf verfijnen. Dit zelflerend vermogen zorgt ervoor dat algoritmen veel complexere opdrachten kunnen uitvoeren.”

Utopie of dystopie

Volgens Meijer wordt het debat over nieuwe technologieën meestal heel zwart-wit gevoerd.” Aan de ene kant heb je de optimisten die utopische beelden schetsen van een efficiëntere wereld waarin we ook nog gelukkiger zijn. Je ziet dit ook vaak terug in toekomstbeelden van ‘slimme steden’: het wordt hartstikke duurzaam, files bestaan niet meer en criminaliteit verdwijnt. Aan de andere kant worden juist dystopieën geschetst. Door slimme algoritmen krijgen we een Big Brother-achtige samenleving, bedrijven of overheden weten alles van ons en sturen ons volledig aan. We raken onze vrijheid kwijt en normaal menselijk contact bestaat niet meer. We raken geheel gevangen in technologieën.”

Meijer is meer genuanceerd. “Er zijn zeker kritische kanttekeningen te plaatsen bij de inzet van slimme algoritmen, maar ik zie ook echt voordelen. Laat ik een voorbeeld geven: in Utrecht is de gemeente bezig met een project waarbij mensen met financiële problemen vroegtijdig worden geïdentificeerd, om te voorkomen dat zij in de schuldhulpverlening terechtkomen. Het is bekend dat mensen daar namelijk heel moeilijk weer uit komen. Als het gebruik van algoritmen dit kan voorkomen, vind ik dat een goede vorm van zorg. Mooi is ook dat de gemeente een app ontwikkelt die mensen helpt beter inzicht te krijgen in hun financiële situatie. Daarnaast wordt het project gekoppeld aan allerlei maatregelen binnen de organisatie. Mensen die in de schulden dreigen te raken, kan de gemeente eerder te hulp komen.”

Les 1: slimme algoritmen zijn geen wondermiddel

Naast mooie initiatieven ziet Meijer ook gebieden waar de inzet van slimme algoritmen problematischer is. Hij wijst op de ontwikkelingen van predictive policing, waarbij op basis van data voorspeld wordt in welke wijken het verstandig is extra politiekrachten in te zetten om bijvoorbeeld inbraken tegen te gaan, en op de bezwaren die wiskundige Cathy O’Neil noemt in haar kritische werk Weapons of Math Destruction. “Mensen zijn geneigd te denken dat data beheersbaar zijn, maar dat is vaak helemaal niet zo. Wanneer criminaliteitspatronen in bepaalde wijken zichtbaar worden en naar buiten worden gebracht, kan dat allerlei ongewenste effecten hebben. In plaats van veiliger te worden, kunnen bepaalde wijken juist een heel slechte naam krijgen. Nog onvoorspelbaarder worden de effecten wanneer deze data gekoppeld worden aan andere technologische systemen zoals Airbnb of Amazon.

Ten tweede profiteert niet iedereen van de inzet van algoritmen. Het gebruik van data is sterk gebaseerd op informatie uit het verleden, waardoor ongewenst gedrag lang aan mensen blijft kleven. Om het plat te zeggen: bij algoritmen geldt de logica van ‘eens een dief, altijd een dief’. Voor mensen die willen veranderen, helpen algoritmen niet om met een schone lei te beginnen. Het staat de vrijheid van burgers dan ook in de weg.

Ten derde kun je vragen stellen bij de veronderstelling dat we met data de wereld beter leren kennen. Data worden vaak verkeerd ingevoerd of zijn niet volledig. Politieagenten weten meestal maar een paar codes van soorten meldingen en dat kleurt het hele politieregister. Daar komt nog eens bij dat veel kennis helemaal niet gevat kan worden in data. De sociale interacties die zich afspelen in de straat - de verhalen, roddels en ontmoetingen die daar uitgewisseld worden - zijn niet zo gemakkelijk in een datasysteem op te nemen, terwijl ze wel een grote rol spelen bij wat er zoal gebeurt op straat. Een politieagent heeft dan ook vaak een veel rijker beeld van wat er speelt in de buurt. Correcter is dan ook om te zeggen dat data je de wereld niet leren kennen, maar dat zij een ander perspectief bieden dat niet noodzakelijkerwijs het juiste is.

Laatste probleem is de aanname dat data onze problemen gaan oplossen. Techno-criticus Evgeny Morozov noemt dit 'dataïsme'. Deze aanname is natuurlijk onjuist. Bij het algoritme om mensen uit de schuldhulp te houden, is het al mooi als tien procent van de mensen geholpen kan worden. Het grootste gedeelte heeft bijvoorbeeld ook psychische problemen of foute vrienden. Zij hebben heel andere zorg nodig dan een app.”

Les 3: Zorg dat slimme algoritmen de democratie versterken

Het onderzoeken hoe nieuwe technologieën uitpakken voor verschillende groepen in de samenleving hangt voor Meijer nauw samen met het belang dat hij hecht aan een goed werkende polis. Een polis staat voor Meijer voor een groep burgers die samen vorm geven aan hun leven, zoals dat vroeger gebeurde bij de oude Grieken. Het betekent dat burgers weer meer betrokken moeten worden bij de samenleving. “Ik onderzoek hoe we invulling kunnen geven aan een toekomst die recht doet aan wat we gezamenlijk willen met het publieke domein. Dit is de reden waarom de term polis ook zo leidend is voor mij. Natuurlijk”, merkt Meijer op, ”geloof ik niet dat er een eenduidig ‘wij’ is. Mensen hebben verschillende belangen en waarden. Maar het mooie aan onze samenleving is dat we gezamenlijk voor veel moeilijke problemen oplossingen hebben gevonden. We leven in een vreedzaam land, het afval wordt opgehaald en de criminaliteit is relatief laag. Natuurlijk kan alles altijd beter, maar ik heb vertrouwen in onze democratische kracht. Ik vind het dan ook belangrijk dat nieuwe technologieën zo worden ingebed dat ze die democratische kracht versterken in plaats van deze te ondermijnen. Technologieën moeten dan ook in dienst staan van hoe wij onze toekomst vorm willen geven, in plaats van andersom. Agressie op straat kan gesust worden door middel van slimme algoritmen die dit registreren en dan bijvoorbeeld lavendelgeur inzetten of de kleur van straatverlichting aanpassen, maar we moeten wel in zo’n samenleving willen leven met elkaar.”

Les 4: Voer maatschappelijk debat

Wat slimme algoritmen onderscheidt van afvalproblemen of het aanleggen van een nieuwe weg, is hun abstracte karakter. “Het bewustzijn over algoritmen is wel toegenomen, maar een echt maatschappelijk debat is er nog niet over gevoerd.“ Meijer wil de ontwikkelingen concreter maken. “In mijn onderzoeksgroep willen we een ‘PROVOTYPE’ ontwikkelen, een robotrechter, die via algoritmen recht spreekt. We willen deze robot inzetten om het gesprek aan te gaan met rechters, advocaten en verschillende groepen burgers. Wat vinden zij van zo’n soort rechter en de uitspraken die hij doet? Door het concreet te maken, kunnen we het onderwerp bespreekbaar maken en onderzoeken welke rol algoritmen in onze samenleving moeten spelen. Maatschappelijk debat is nodig over de belangrijkste vraag: of slimme algoritmen besluiten voor ons mogen nemen of dat ze alleen ter ondersteuning van de mens mogen dienen.“

Een mooi voorbeeld van hoe goed maatschappelijk debat eruit kan zien is voor Meijer het energiedebat dat onlangs in Utrecht werd gevoerd over duurzame energie. “GroenLinks-wethouder Lot van Hooijdonk organiseerde een stadsgesprek tussen burgers die door loting waren aangewezen. Dit leidde tot een andere vorm van betrokkenheid die heel mooi was en ook goed past bij de ingrijpende ontwikkelingen op het gebied van duurzame energie. Deze vorm is voor gemeenteraadsleden wel even zoeken: hoe verhouden zij zich nu tot zo’n stadsgesprek? In zekere zin worden ze daar één van de velen, plotseling komen ze op gelijke voet met de burger te staan. Dat wil niet zeggen dat politici minder belangrijk zijn, maar wel dat ze zich tot meer mensen en organisaties moeten verhouden die ook een rol spelen in het debat.“

Les 5: Slimme algoritmen vragen om richtinggevende principes

Het is bij nieuwe technologieën zoals slimme algoritmen lastig om tot een strak juridisch kader te komen. Meijer: “Wetten en regels kunnen heel bruikbaar zijn, laat ik daarover duidelijk zijn. Ze vormen alleen nooit de enige oplossing. Bij nieuwe technologieën moeten juridische kaders vanwege de snelle ontwikkelingen voortdurend aangepast worden. Je krijgt met een doorgaand leerproces te maken waarin technologie, praktijk en regelgeving elkaar constant uitdagen. Je hebt daarom bij nieuwe technologieën meer 'fluïde instituties' nodig, instituties die flexibeler kunnen reageren op de praktijk. Dit is voor politici vaak best lastig. Het betekent dat hun politieke rol verandert: het zal meer gaan om het neerzetten van richtinggevende principes in plaats van het vaststellen van wetten. De uitwerking in regels zal veel dynamischer zijn. Het werk is daarmee niet zomaar klaar.”

Les 6: Stel eisen aan algoritmen, maar kijk ook naar het technologische systeem als geheel

Het stellen van duidelijke eisen waaraan slimme algoritmen moeten voldoen is belangrijk. Meijer denkt echter niet dat het stellen van harde transparantie-eisen voor algoritmen het probleem volledig oplost. “Het lastige aan het eisen van transparantie is dat algoritmen zelf-lerend zijn. Ze passen zich constant aan. Een ander probleem is dat er vaak niet goed genoeg gebruik gemaakt wordt van transparantie. Daarnaast vrees ik dat het met transparantie net zo kan gaan als bij het installeren van een app. De gebruiksvoorwaarden worden heel ingewikkeld gemaakt en iedereen klikt er gewoon op. Uit onderzoek blijkt dat zelfs bij de meest vreemde teksten in de gebruiksvoorwaarden meer dan tienduizend mensen akkoord gaven voordat iemand erachter kwam.

Binnen de Europese Unie wordt er nu ook veel gesproken over een right to explanation en dat vind ik eigenlijk een elegantere benadering. Het principe van right to explanation houdt in dat algoritmen verplicht kunnen worden uit te leggen hoe ze tot bepaalde uitkomsten zijn gekomen. Algoritmen werken dan eigenlijk net zoals ambtenaren: naast een besluit moeten ze ook een motivatie geven. Je zou dit als ontwerpprincipe kunnen verwerken in algoritmen. Daarbij is het natuurlijk belangrijk om regelmatig te controleren of de algoritmen wel echt doen wat ze zeggen te doen.

De fout die we kunnen maken, is denken dat de discussie maar om één specifiek algoritme gaat. Uiteindelijk hebben we te maken met één groot technologisch systeem waarin verschillende soorten data en netwerken aan elkaar gekoppeld zijn. De gevolgen van het gebruik van een technologisch systeem zijn niet zomaar te overzien. Airbnb is een goed voorbeeld. Het is een vrij simpel concept, maar hoe het zou uitpakken in een stedelijke context en welke patronen het met zich meebrengt, was onmogelijk te voorspellen. Een heel concrete tip voor politici is: vraag niet alleen het algoritme goed te ontwerpen, maar vraag ook periodieke rapportages om na te gaan of de praktijk uitpakt zoals gewenst. Wat gebeurt er als je Airbnb gaat verbieden in de stad en levert dit het gewenste resultaat op? Zoek naar manieren om zo goed mogelijk te kunnen leren van deze ingrepen.“

Les 7: Stel de vraag wie de infrastructuren voor data moeten bieden

Tot slot de vraag hoe politici zich moeten verhouden tot slimme algoritmen en datagebruik in het sociale domein door burgers en commerciële partijen. Meijer: “Daar zijn we nog veel minder ver in.” Hij vertelt over initiatieven in Rotterdam en Gent, waar wordt nagedacht over een alternatief Facebook. “Facebook speelt een heel belangrijke rol in de stad, maar beide steden vinden het gek dat de data die het oplevert door een commercieel bedrijf in Silicon Valley gebruikt worden om geld aan te verdienen. Op eenzelfde manier is het ook gek dat de buurtapp die gebruikt wordt om de veiligheid te vergroten of de groenvoorziening op orde te houden, eigendom is van Whatsapp. Kan de gemeente hier geen rol in spelen? In bestuurskundige termen wordt dit ook wel de 'overheid-als-platform' genoemd: de overheid zet de infrastructuur op voor allerlei initiatieven van burgers. Eigenlijk net zoals het aanleggen van autowegen, maar dan voor data. Het is dan ook een politieke vraag of overheden op dat onderliggende niveau - de basis voor al die algoritmen - niet ook veel meer voorzieningen moeten gaan creëren, dan wel reguleren. En zo ja, welke publieke waarden we daarbij van belang vinden. Het zijn vragen die we met elkaar moeten onderzoeken.”