3 minuten

Video: een risicoscore tussen 0 en 100 voor elk kind

Lina Dencik en Ronald Huissen over ‘citizen scoring’

Steeds meer gemeenten voeden algoritmen met grote hoeveelheden persoonsgegevens om voorspellingen te doen over hun burgers. De Engelse stad Bristol geeft elk kind een score tussen 0 en 100, die het risico weergeeft dat het kind slachtoffer wordt van misbruik of verwaarlozing. Nederland kende tot voor kort SyRI, een systeem dat de bewoners van arme wijken binnenstebuiten keerde om fraude op te sporen. Wat is het effect van zulke voorspellende algoritmen op privacy, sociale rechtvaardigheid en het vertrouwen van burgers in hun overheid?

Over die vragen organiseerden de Green European Foundation en Wetenschappelijk Bureau GroenLinks in april een webinar. Onderstaande video's bevatten de Engelstalige presentaties van de twee inleiders van de bijeenkomst.

De eerste spreker, Lina Dencik, is lector aan de universiteit van Cardiff en co-directeur van het Data Justice Lab aldaar. Zij is een van de auteurs van het rapport Data scores as governance, over het gebruik van voorspellende algoritmen door Britse gemeenten en politiediensten. Een van de gemeenten die Denciks team onderzocht is Bristol. Daar krijgen alle kinderen en jongeren nu al een risicoscore voor misbruik, maar de gemeente overweegt om ook scores in te voeren die de risico’s op het begaan van misdaden en op drugsverslaving weergeven.

Dencik: “Bij het toekennen van scores aan burgers denken we vooral aan het Sociaal Kredietsysteem in China. Maar hoewel de context anders is, zien we het scoren van burgers door datagedreven systemen ook opkomen in Europese landen.”

 

SyRI en het vertrouwen in de overheid

Ook Nederlandse gemeenten gebruiken voorspellende algoritmen. Soms proberen zij daarmee schooluitval te voorspellen, soms fraude. Tot voor kort gebruikte een aantal gemeenten het Systeem Risico Indicatie (SyRI). Dit systeem liet een algoritme los op grote hoeveelheden persoonsgegevens en zette een rood vlaggetje bij burgers met een hoog risico op fraude. Die burgers konden aan een nader onderzoek worden onderworpen. In februari zette de rechter een streep door SyRI. Het systeem was in strijd met het mensenrecht op bescherming van de privésfeer.

De tweede spreker, journalist en onderzoeker Ronald Huissen, vertegenwoordigt het Platform Bescherming Burgerrechten. Dat platform is lid van de coalitie Bij Voorbaat Verdacht, die de rechtszaak tegen SyRI aanspande. In de video vertelt hij over de bezwaren tegen SyRI en over de gevolgen van het rechterlijke verbod op SyRI.

Net als Dencik gaat het Huissen niet uitsluitend om de privacy van burgers. Ook de sociale rechtvaardigheid is in het geding: SyRI werd uitsluitend toepast in arme wijken. Bovendien staat het vertrouwen van burgers in hun overheid op het spel. Huissen citeert de schrijver Maxim Februari, een van de klagers in de SyRI-zaak: “Als je niet langer wordt beoordeeld op basis van het overtreden van een kenbare norm, maar op basis van geheime risicoprofielen, is de angst voor repercussies aanwezig in ieder contact met de overheid.”

Reactie toevoegen

Gerelateerde artikelen