Bevatten berichten op Facebook terroristische inhoud? Op welke banen moet een werkloze solliciteren? Mag de politie een onderzoek instellen naar willekeurige individuen? Vroeger werden veel van deze vragen door mensen beantwoord; tegenwoordig gebeurt dat steeds vaker door geautomatiseerde besluitvormingssystemen, zowel in de private sector als bij de overheid. Deze systemen roepen grote vragen op, niet alleen op de beleidsterreinen waarvoor ze worden gebruikt, maar ook in bredere politieke zin. Hoe kunnen ze efficiëntie garanderen en tegelijkertijd, in een tijd van snel veranderende technologie, aansprakelijkheid en recht waarborgen?

Efficiënter

Algoritmes en big data wekken dezelfde verwachtingen, al is er technisch gezien sprake van twee verschillende concepten. De gedachte is dat grote computersystemen beter in staat zijn om maatschappelijke problemen op te lossen dan vergelijkbare niet-geautomatiseerde systemen. Of het nu gaat om het gebruik van algoritmes om menselijke besluitvorming volledig te automatiseren, of om het gebruik van big data om onverwachte verbanden te leggen die vervolgens kunnen worden gebruikt voor menselijke besluitvorming, beide systemen vergen grote hoeveelheden data. Van allebei wordt verwacht dat ze het openbaar bestuur efficiënter maken. Ik zal verschillende vragen aan de orde stellen met betrekking tot de transparantie, aansprakelijkheid en zelfs de juridische en grondwettelijke aanvaardbaarheid van deze systemen.

"Software eet de wereld op", stelde Marc Andreessen in 2011. Inderdaad worden mensen steeds meer omringd door technologische systemen die beslissingen nemen die ze niet begrijpen en waarover ze geen controle hebben. Dat is verontrustend, maar hoeft niet per se negatief te zijn. We kunnen het zien als een bijproduct van de huidige fase van de moderniteit, waarin mondiale economische en technologische ontwikkelingen grote hoeveelheden software-gestuurde technische producten tot gevolg hebben.

Dergelijke ‘gecodeerde objecten’ leggen allerlei opties voor besluitvorming vast die relevant zijn voor beleidsmakers in het publieke domein. Welke keuzes moet bijvoorbeeld een door software aangestuurd voertuig in een fractie van een seconde maken voordat het verongelukt? Hebben de algoritmes van quasi-monopolistische internetbedrijven de macht om verkiezingen beslissend te beïnvloeden? Zijn racistische, etnische of seksuele vooroordelen waarschijnlijker in een geautomatiseerd systeem en zijn daarbij vooroordelen aanvaardbaar, en zo ja in welke mate?

Gemakkelijke antwoorden op dergelijke kwesties bestaan niet. Toch moeten beleidsmakers er serieus aandacht aan besteden. In het verleden werden veel van de beslissingen over de ontwikkeling van software overgelaten aan bedrijven die daarbij naar eigen economisch, juridisch en ethisch inzicht handelden.

Maar deze systemen worden ook steeds vaker in het openbaar bestuur gebruikt, waar een hogere standaard geldt dan in de private sector (Bovens e.a. 2014). Als het gaat om het gebruik van big data of geautomatiseerde besluitvormingssystemen kunnen overheidsorganisaties dus niet zomaar op dezelfde wijze te werk gaan als bedrijven.

Sociale constructies

Wat zijn algoritmes eigenlijk? Ik volg hier Tarleton Gillespie, die stelt dat algoritmes “geen software hoeven te zijn. In de breedste zin zijn het gecodeerde procedures voor de omvorming van input tot gewenste output, op grond van specifieke berekeningen. Die procedures benoemen zowel een probleem als de stappen die genomen moeten worden om het probleem op te lossen.”

Algoritmes zijn dus “een reeks stappen die worden gezet om een bepaald probleem op te lossen of een omschreven uitkomst te genereren” (Diakopoulos 2015:400). Ik beperk me hier tot de digitale algoritmes in het publieke domein, die een rol spelen in subjectieve besluitvorming, waarbij geen duidelijk ‘goed’ of fout’ antwoord bestaat. Het menselijk beoordelingsvermogen wordt ook in het openbaar bestuur steeds vaker overgelaten aan geautomatiseerde systemen, die een ‘algoritmische objectiviteit’ voorspiegelen. Intussen creëren ze de sociale en institutionele voorwaarden die het leven van concrete mensen beïnvloeden. Het is daarom in hoge mate misleidend te beweren dat computersystemen neutraal zijn of zouden kunnen zijn. Technologieën zijn in werkelijkheid sociale constructies met grote politieke implicaties.

Mensenrechten

Drie belangrijke mensenrechten worden steeds weer genoemd in relatie tot algoritmes: privacy, de vrijheid van meningsuiting en het antidiscriminatiebeginsel. Over privacy in geautomatiseerde dataverwerking werden 45 jaar geleden al vragen gesteld (Sills 1970). Door de jaren heen heeft de Europese Unie belangrijke regels op het gebied van databescherming vastgelegd, zoals het ‘recht op uitleg’ (Goodman en Flaxman 2016) en het recht op toegang tot ‘kennis van de logica van elke automatische dataverwerking’ die betrekking op ons heeft (EU-richtlijn 95/46/EC).

Een van de belangrijkste kwesties op het gebied van privacy is dat databescherming eerder als een individuele dan een collectieve aangelegenheid wordt beschouwd. De Europese Autoriteit Databescherming (EDPS) heeft mede daarom een ethische adviesgroep in het leven geroepen, die de grenzen van de bestaande wetgeving op het gebied van databescherming verkent en een nieuwe digitale ethiek probeert te formuleren.

Ook de vrijheid van meningsuiting is overduidelijk in het geding bij het gebruik van algoritmes. Het rapport van de Speciale VN-rapporteur David Kaye over de bevordering en bescherming van het recht op vrije meningsuiting (A/HRC/32/38) stelt dat “algoritmes in zoekmachines dicteren wat de gebruiker te zien krijgt en in welke volgorde, en dat er sprake kan zijn van manipulatie om de inhoud te beperken en te prioriteren”.

Ook wijst hij erop dat bedrijven gebruik maken van “algoritmische voorspellingen over de gebruikersvoorkeuren en daardoor beïnvloeden welke advertenties die gebruikers te zien krijgen, hoe hun feeds op sociale media worden gerangschikt en in welke volgorde zoekresultaten verschijnen”.

Het antidiscriminatiebeginsel tenslotte wordt door het gebruik van algoritmes herhaaldelijk geschonden, zoals verschillende onderzoekers hebben laten zien (Caliskan-Islam, Bryson en Narayanan 2016; Tufekci et al. 2015). Ook zijn er aanwijzingen dat bepaalde vormen van algoritmische besluitvorming onderscheid maken op basis van sociale klasse.

Behalve deze drie spelen ook andere mensenrechten een rol, zoals het recht op onafhankelijke rechtspraak, het recht op vrije verkiezingen, werknemersrechten en zelfs het recht op leven. Beleidsmakers zullen de relatie tussen mensenrechten en algoritmes nader moeten bestuderen om ze te begrijpen.

Ondanks de twijfels en vragen over de mogelijke implicaties voor de mensenrechten, maakt de publieke sector steeds vaker gebruik van geautomatiseerde besluitvorming op terreinen die uiteenlopen van sociale zekerheid en gezondheidszorg tot het toezicht op ambtenaren en het rechtssysteem. Zo gebruiken tal van rechtbanken in de Verenigde Staten een computerprogramma dat het risico van recidive beoordeelt, waarvan is aangetoond dat het “zwarten benadeelt” (Kirchner 2016).

Tijdens hun analyse van de praktijk van het profileren van werklozen in Polen in 2015 constateerden onderzoekers zes verschillende risico’s die ook opgaan voor het gebruik van algoritmes op andere terreinen van publieke dienstverlening. Op het lijstje stonden: het ontbreken van transparante regels voor de verspreiding van openbare diensten; tekortkomingen van computersystemen als veroorzaker van arbitraire beslissingen; een kloof tussen gestelde doelen en de praktijk; een systeem gebaseerd op het ‘vermoeden van schuld’; categorisering als bron van sociaal stigma en het risico van discriminatie.

Behalve risico’s die verbonden zijn met het gebruik van automatisering door de overheid zelf, brengt ook het uitbesteden van belangrijke overheidsfuncties aan de private sector gevaren met zich mee.

Wanneer bedrijven tegelijkertijd overheidsdiensten uitvoeren (bijvoorbeeld op het gebied van sociale zekerheid) en actief zijn in de private sector (bijvoorbeeld op het terrein van private banking en verzekeringen), dan ontstaat een oneigenlijk concurrentievoordeel (Van Lingen 2016). Daarnaast zijn er in dit geval natuurlijk gegronde zorgen over de privacy en de bescherming van data.

Zwarte doos

Het gebruik van big data, algoritmes en geautomatiseerde besluitvorming confronteert de publieke sector en de overheid met grote vragen. Het gebruik ervan is al veel verder vertakt dan op dit moment publiekelijk wordt besproken; de verschuiving van besluitvorming door individuele bureaucraten naar technische systemen is al lang gaande. Aangezien dergelijke systemen steeds meer gebruikt zullen worden, is er een breed publiek debat nodig over het waarborgen van openbare aansprakelijkheid, goed bestuur en effectieve democratische controle in een tijdperk van geautomatiseerde besluitvorming.

Efficiency alleen voldoet niet als rechtvaardiging om een hele rij van procedurele administratieve waarborgen in een zwarte doos te laten verdwijnen, nog afgezien van het feit of algoritmes, big data en geautomatiseerde besluitvorming wel in die zwarte doos aangetroffen zullen worden.

De komende jaren zal de druk op de openbare financiën en de nadruk op grotere efficiency in de publieke sector toenemen. Daardoor zal ook de strijd rondom automatisering meer uitgesproken vormen aannemen. Inzet van deze strijd zal zonder twijfel zijn: welke vormen van automatisering kunnen we inzetten zonder de transparantie en aansprakelijkheidsmechanismes van de overheid op te offeren?

Uit het Engels vertaald door Robert Dorsman.

Bronnen

• M. Andreessen, ‘Why Software Is Eating The World’. Wall Street Journal, 20.8.2011.
• Artikel 29 Data Protection Working Party, Opinion 03.2013 on Purpose Limitation, Brussel.
• M. Bovens, R. E. Goodin, Th. Schillemans, The Oxford Handbook of Public Accountability, OUP Oxford 2014.
• N. Diakopoulos, ‘Algorithmic Accountability’, Digital Journalism 3, 3 (2015), 398–415.
• E. van Lingen, ‘DA Refers Net1’s Abuse of Advantage to Competition Commission’, Democratic Alliance 2016.
• T. Gillespie, ‘The Relevance of Algorithms’, in T. Gillespie e.a., Media technologies: Essays on communication, materiality, and society, MIT Press, Cambridge Mass., 2014, 167–94.
• J. Niklas, K. Sztandar-Sztanderska, K. Szymielewicz, Profiling the Unemployed in Poland: Social and Political Implications of Algorithmic Decision Making, Warschau, Panoptykon Foundation 2015.
• D. Kaye, Report of the Special Rapporteur on the Promotion and Protection of the Right to Freedom of Opinion and Expression to the Thirty-Second Session of the Human Rights Council, Genève, 2016.
• A. Mantelero, ‘Personal Data for Decisional Purposes in the Age of Analytics: from an Individual to a Collective Dimension of Data Protection’, Computer Law and Security Review 32, 2 (2016), 238–55.
• A.J. Sills, ‘Automated Data Processing and the Issue of Privacy’. Seton Hall Law Review 1970,1.