De belofte van een veilige slimme stad

Slimme camera’s die mensen identificeren aan de hand van hun irissen, handpalmen, gelaatstrekken of glimlach. Zelflerende technologie in openbare objecten om afwijkend gedrag en emoties te herkennen. Algoritmen die grote hoeveelheden data gebruiken  criminaliteit te voorspellen nog voordat deze zich voordoet. De mogelijkheden van slimme technologie om steden veiliger te maken, lijken eindeloos.

Maar dat iets technisch kan, betekent nog niet dat we het ook moeten willen. De eerste vraag is dan ook of en wanneer een technologische oplossing de meest gewenste oplossing is voor onze veiligheidsproblemen.

Een slimme stad dient haar inwoners verschillende vormen van veiligheid te bieden, met als belangrijkste fysieke, digitale, sociale en politieke veiligheid. Fysieke veiligheid draait om de bescherming van ons lijf en goed.

Sociale veiligheid berust op ons vertrouwen in elkaar en de bereidheid om elkaar te helpen, en vraagt om een zekere mate van sociale cohesie.

    Illustratie over veiligheid en technologie
    Illustratie: Sjoerd van Leeuwen

    Politieke veiligheid houdt in dat de overheid bij de uitoefening van haar taken onze grondrechten respecteert, waaronder het recht op gelijke behandeling en het recht op privacy. Anders dreigt willekeur en onderdrukking.

    Digitale veiligheid tot slot is een voorwaarde voor fysieke, sociale en politieke veiligheid. Als de informatie die over ons is opgeslagen en die we langs digitale weg uitwisselen in verkeerde handen komt, vergroot dat het risico dat we doelwit worden van criminelen, mikpunt van spot, argwaan of haat door medeburgers of voorwerp van verdenking door de overheid.

    “ Wie ongericht in het leven van een burger gaat neuzen, stuit onvermijdelijk op iets slechts ”

    In de woorden van filosoof, jurist en schrijver Maxim Februari: “Wie ongericht in het leven van een burger gaat neuzen, stuit onvermijdelijk op iets slechts. In combinatie met onbetrouwbaarheid van de data, onbetrouwbaarheid van de systemen en de (…) onbetrouwbaarheid van het menselijk individu leidt dit tot een hoogst onveilige samenleving.”

    Dat technologie de ene vorm van veiligheid kan bevorderen en tegelijkertijd andere vormen kan ondergraven, laat ik zien aan de hand van twee voorbeelden.

    Eerste is het Living Lab Stratumseind in Eindhoven, waar door middel van slimme objecten zoals lantaarnpalen met sensoren bedrijven en overheid proberen de fysieke veiligheid van het uitgaanspubliek te vergroten.

    Het tweede voorbeeld gaat over het koppelen van databestanden door systemen zoals SyRI ten behoeve van ‘voorspellend politiewerk’. De data van grote aantallen mensen worden geanalyseerd teneinde misdaden te voorkomen of verdachten op het spoor te komen.

    Sinaasappelgeur 

    “De politie wil het liefst een foto van iedereen in haar database, zodat ze precies weet wie er allemaal rondlopen. Dat gaan we ze dus mooi niet geven”, zegt Tinus Kanters, projectleider van Living Lab Stratumseind. “Of dat ook geldt voor andere living labs durf ik niet te zeggen. Daarom is nationale regulering van dit soort initiatieven hard nodig.”

    Vanuit zijn control room overziet Kanters met twintig schermen de bekende uitgaansstraat in hartje Eindhoven. Slimme lantaarnpalen detecteren hier agressie met microfoons en camera’s. Ze passen de sterkte of kleur van hun licht aan de situatie aan en schakelen zo nodig automatisch de politie in. “Als er een groepje luidruchtig ruzie begint te maken, wordt dat opgepikt door een sensor. Die waarschuwt meteen automatisch de politie.”

    Daarnaast richten lichtprojectoren zich op het kabaal en verlichten ze de boel extra. “Dat heeft al meteen invloed op het gedrag van die groep. We experimenteren ook met verschillende soorten kleur en intensiteit om agressie in te tomen via licht.”

    Living Lab Stratumseind wil ook experimenteren met gedragsbeïnvloeding via geur. Eerder onderzoek in Groningen, waar werd getest of agressie en geweld van uitgaanspubliek tegen mensen met een publieke taak kon worden teruggedrongen met sinaasappelgeur, liet kleine positieve effecten zien.

    In Eindhoven ontstond er ophef over het plan om de mensen rustig te houden met sinaasappelgeur. Kanters: “Eigenlijk raar, want met licht doen we hetzelfde en toen vond niemand het een probleem.”

    De kaders van het project voldoen aan het Internet of Things-handvest van de gemeente Eindhoven, dat beoogt de inzet van technologie in goede banen te leiden. Dit handvest bevat beginselen over privacy, dataveiligheid en maatschappelijke verantwoordelijkheid, maar gaat niet in op het gebruik van technologie voor nudging, het bevorderen van gewenst gedrag door middel van subtiele prikkels zoals licht of geur.

    “ Door geen grenzen te stellen aan nudging, kan de vrijheid van vergadering en betoging in het geding komen ”

    Bij het gebruik van nudges is onze autonomie in het geding, zeker wanneer zij gecombineerd worden met sensoren en slimme software. Niet alle vormen van nudging zijn problematisch. Weinig mensen zullen bezwaar hebben tegen verkeersdrempels, maar er zijn al meer mensen die zich ongemakkelijk voelen bij gedragsbeïnvloeding met behulp van geur, zo bleek in Eindhoven.

    Slimme technologie schept bovendien de mogelijkheid om nudges steeds beter af te stemmen op specifieke kenmerken van personen, zodat het bijvoorbeeld voor jongeren onaantrekkelijk wordt gemaakt om in groepen samen te komen in een uitgaansstraat.

    Voor zulke hypernudging is het niet eens nodig om personen te identificeren. Camera’s hoeven hen niet herkenbaar in beeld te brengen; het volstaat dat de software hen kan indelen in verfijnde categorieën. Deze vorm van manipulatie kan zich dus onttrekken aan de AVG.

    Maar hypernudging tast ook de privacy aan. In de openbare ruimte betekent privacy niet zozeer dat we door anderen met rust gelaten worden, maar dat we onszelf kunnen zijn – binnen de grenzen van de wet – en zelf kunnen bepalen met wie we omgaan.

    Als er geen grenzen gesteld worden aan nudging, kan ook de grondwettelijke vrijheid van vergadering en betoging in het geding komen, en daarmee onze politieke veiligheid.

    Goedgeluimd

    Naast slimme lantaarnpalen staan op Stratumseind zogenaamde CityBeacons. Dit zijn futuristische uitziende reclamezuilen met een groot beeldscherm, verschillende sensoren, een glasvezelverbinding en een wifirouter. Ze zijn cadeau gedaan door het gelijknamige bedrijf en via evenementenorganisator stichting Eindhoven 247 terechtgekomen in de binnenstad.

    “De mogelijkheden zijn eindeloos, maar we gebruiken maar een beperkt deel van de opties in Nederland in verband met wetgeving”, vertelt Richard Ponjee van Eindhoven 247 bij de lancering van de CityBeacons.

    “Er zitten ook camera’s in, die voldoen aan de kwaliteitseisen van de politie. Inclusief twee audience tracking camera’s. Die kunnen een heatmap maken en zo een druktebeeld genereren. Ze kunnen ook onderscheid maken tussen mannen en vrouwen, en leeftijd. En of iemand goedgeluimd is of niet.”

    Zo ver kwam het tot nu toe niet. De Autoriteit Persoonsgegevens benadrukt dat als mensen herkenbaar in beeld komen, er sprake is van verwerking van persoonsgegevens. Dat betekent dat de Europese privacywetgeving, de AVG, van toepassing is.

    Gezichtsherkenningscamera’s voor opsporing

    Hoewel ze in Eindhoven onbenut blijven, roepen de mogelijkheden van de CityBeacons voor surveillance van passanten een belangrijke vraag op: hoe vrij wandelen we nog over straat als onze gangen worden gevolgd aan de hand van de signalen van onze smartphone of onze lichaamskenmerken?

    De vraag is niet hypothetisch want de AVG bevat uitzonderingen, met name voor politie en justitie. Het is goed voorstelbaar dat de inzet van automatische gezichtsherkenning mensen niet alleen van illegale, maar ook van legale activiteiten weerhoudt, zoals deelname aan demonstraties. Te meer omdat gezichtsherkenningssoftware niet onfeilbaar is: soms wordt de verkeerde persoon geïdentificeerd als verdachte.

    De huidige software bezit bovendien een discriminerende bias: bij vrouwen en niet-witte mensen is er een grotere kans op persoonsverwisseling. Tegenover de mogelijke voordelen van camera’s met automatische gezichtsherkenning voor de fysieke veiligheid, staan dus aanmerkelijke nadelen voor de politieke en digitale veiligheid van burgers.

    Schimmige profilering

    Steeds meer overheidsinstanties, waaronder gemeenten, voorspellen door koppeling van grote databestanden het gedrag van hun inwoners, om bijvoorbeeld schooluitval, criminaliteit en huiselijk geweld in te tomen.

    Zonder het te weten worden inwoners doorgelicht, waarbij onduidelijk is welke gegevens worden gebruikt, welke analyses worden uitgevoerd en hoe de algoritmen bepalen wie er tot een risico worden bestempeld. Het Systeem Risico Indicatie (SyRI) maakt zo’n profiel van individuele burgers, nog voordat zij ergens van worden verdacht.

    SyRI staat onder verantwoordelijkheid van de minister van Sociale Zaken en Werkgelegenheid en wordt ingezet om sociale zekerheids-, arbeids- en belastingfraude tegen te gaan.

    Op verzoek van de betrokken gemeentebesturen heeft SyRI specifieke wijken in onder andere Eindhoven, Capelle aan den IJssel, Rotterdam en Haarlem doorgelicht om potentiële fraudeurs te identificeren. “Over onze werkwijze geven we geen informatie”, aldus een woordvoerder van het ministerie.

    Overheidsorganisaties als het UWV, de Sociale Verzekeringsbank en de Belastingdienst maar ook gemeenten mogen grote bestanden met gegevens bij elkaar vegen en er het algoritme van SyRI op loslaten. Het algoritme wijst adressen aan waarop bewoners zich schuldig zouden kunnen maken aan fraude, nu of in de toekomst.

      “ SyRI maakt een profiel van individuele burgers, nog voordat zij ergens van worden verdacht ”

      Verdachte huishoudens worden verder onderzocht om bewijsmateriaal te verzamelen. Het is lastig gegevens te bedenken die niet voor SyRI kunnen worden gebruikt. Onderwijsgegevens, detentiegegevens, vergunningen, zorgverzekeringsgegevens en uitkeringsgegevens zijn slechts een kleine greep.

      De meldingen van verhoogd risico worden doorgespeeld naar politie, opsporings- of inspectiediensten. Toch is de effectiviteit van SyRI twijfelachtig. In 2019 meldde de Volkskrant zelfs dat er nog geen enkele fraudeur is gepakt.

      Misbruik van overheidsvoorzieningen en belastingontduiking ondermijnen het maatschappelijk vertrouwen waarop onze sociale veiligheid is gebaseerd. Maar dat vertrouwen wordt ook ondermijnd als de overheid de inwoners van arme wijken stigmatiseert door SyRI juist op hen los te laten.

      De terughoudendheid die de burger van de overheid mag verwachten bij het koppelen van persoonsgegevens, gezien het doelbindingsvereiste, ontbreekt bij SyRI.

      Van data bezeten overheid

      Algoritmen voor voorspellende opsporing zoals SyRI kunnen bijdragen aan fysieke en sociale veiligheid, maar onze sociale, politieke en digitale veiligheid ondergraven. Dat gebeurt als de overheid bij de toepassing van de algoritmen te diep doordringt in het privéleven van onverdachte burgers, discriminatie toelaat of geen inzicht geeft in het gebruik en de weging van data door de algoritmen.

      Durven ouders nog om opvoedingsondersteuning te vragen als een overheidsalgoritme dit soort data gebruikt om risicojongeren in beeld te krijgen? Voel je je onder een van data bezeten overheid nog veilig genoeg om van je grondwettelijke vrijheden gebruik te maken?

      Diezelfde vraag wordt opgeroepen door de technologie in Living Lab Stratumseind. Hoe vrij wandel je nog over straat als je proefkonijn bent van experimenten met gedragsbeïnvloeding via onbewuste prikkels? Zonder open debat over de grenzen aan (hyper)nudging belanden we op een hellend vlak, waarbij we achteraf moeten vaststellen dat er geen weg terug meer is.

        Rechtszaak tegen SyRI

        De coalitie Bijvoorbaatverdacht.nl voert momenteel een rechtszaak tegen SyRI en een publiekscampagne over de risicoprofilering van onverdachte burgers door de Nederlandse overheid. De rechtszaak is niet kansloos omdat SyRI op gespannen voet staat met rechtsstatelijke beginselen.

        Door het gebrek aan transparantie en doordat mensen zonder concrete verdenking worden doorgelicht, heeft het systeem kafkaëske trekken. De doelbinding bij het verwerken van persoonsgegevens – die in beginsel alleen mogen worden gebruikt voor het doel waarvoor ze zijn afgestaan of een daarmee verenigbaar doel – is ver te zoeken.

        Van dataminimalisatie is geen sprake: de verzamelde gegevens geven een behoorlijk compleet beeld van iemands leven.

        Ten slotte is onafhankelijk toezicht op het systeem niet gewaarborgd. Zowel de Raad van State als de Autoriteit Persoonsgegevens waren bijzonder kritisch op de vormgeving van SyRI, maar de wet is in zowel de Eerste als Tweede Kamer als hamerstuk afgedaan.

          Literatuur

          Deze bijdrage is een sterk ingekorte versie van het hoofdstuk De belofte van een veilige slimme stad uit de bundel Handvest voor de Slimme Stad van Wetenschappelijk Bureau GroenLinks.