Log in
inloggen bij Ruimte en Wonen
Hulp bij wachtwoord
Geen account?
shop word lid
Home / Content / Artikelen

Gevaren van digitalisering

Problemen bij geautomatiseerde overheidsbesluitvorming Steven Bastiaans, Niels Jak, Jan van Oosten - 3 december 2018

De overheid neemt in toenemende mate (deels) geautomatiseerde besluiten. Ook in het ruimtelijk domein valt te verwachten dat programmatische aanpakken zullen worden uitgerold: de nieuwe Omgevingswet biedt daarvoor ruimte. De Raad van State schreef eerder dit jaar een Ongevraagd Advies over 'de effecten van de digitalisering voor de rechtsstatelijke verhoudingen', waarop het kabinet begin november reageerde. Tijd voor een overzicht.

Burgers en bedrijven worden geregeld geconfronteerd met besluiten van de overheid die (deels) geautomatiseerd zijn genomen. Het gaat hier om besluiten in de zin van artikel 1:3 Algemene wet bestuursrecht (Awb) die zonder directe menselijke tussenkomst tot stand komen. Te denken valt aan het toekennen van uitkeringen en het opleggen van aanslagen door de Belastingdienst(/Toeslagen), het Uitvoeringsinstituut Werknemersverzekeringen en de Sociale Verzekeringsbank.

Voor het omgevingsrecht is van belang het softwaresysteem AERIUS dat deels geautomatiseerde besluitvorming mogelijk maakt bij het Programma Aanpak Stikstof (PAS). Deze programmatische aanpak voorziet in een toestemmingsregime voor activiteiten die stikstofneerslag veroorzaken op Natura 2000-gebieden. De aankomende Omgevingswet voorziet in een generieke regeling voor dit instrument. waardoor het te verwachten valt dat er in de nabije toekomst meerdere programmatische aanpakken zullen worden uitgerold. Kort samengevat worden de negatieve effecten van een bepaalde activiteit in een programmatische aanpak uitgewisseld tegen de positieve effecten van maatregelen die worden getroffen in het kader van deze programmatische aanpak. Op die manier kunnen nieuwe activiteiten worden ontplooid in gebieden waarin de omgevingswaarden onder druk staan. Dit maakt het mogelijk om specifieke activiteiten, zoals projecten en andere (ruimtelijke) initiatieven (alsnog) mogelijk te maken door aan te sturen op het beheer van de gebruiksruimte in een bepaald gebied. Het is goed denkbaar dat hiervoor softwaresystemen worden ontwikkeld vergelijkbaar met AERIUS waardoor ook hier (deels) geautomatiseerde besluitvorming wordt geïntroduceerd.

Transparantieperikelen

Allereerst ontstaat het probleem dat algoritmen door middel van een programmeertaal moeten worden omgezet in machinetaal voor computers. De vraag of deze omzetting van algoritmen in een programmeertaal foutloos en nauwkeurig is gegaan, is voor een niet-ICT-specialist niet te controleren. Daarbij komt dat algoritmen gebruik maken van een groot aantal gegevens die mogelijk kunnen zijn ontleend aan diverse andere bronnen. Hierdoor wordt het voor burgers, die de behoefte voelen om de gegevens waarop het besluit is gebaseerd te controleren, zeer bewerkelijk om inzage in al deze gegevens te verkrijgen. Het is voor een burger vaak nauwelijks mogelijk om na te gaan welke regels zijn toegepast bij het nemen van het besluit en of deze regels ook daadwerkelijk doen waarvoor ze zijn bedoeld. Dit probleem van gebrek aan openbaarheid en transparantie speelt temeer indien de burger wenst bepaalde gegevens te rectificeren of te wissen.

In dit verband is van belang dat de Afdeling bestuursrechtspraak van de Raad van State (ABRvS) in een uitspraak van 17 mei 2017 met het oog op reële rechtsbescherming een toetsingskader heeft geformuleerd voor het gebruik van het al in de inleiding genoemde softwaresysteem AERIUS. Dit programma maakt deels geautomatiseerde besluitvorming mogelijk bij het PAS dat voorziet in een toestemmingsregime voor activiteiten die stikstofneerslag veroorzaken op Natura 2000-gebieden. Voor het PAS en AERIUS wordt het risico van ondoorzichtigheid van besluitvorming door de Afdeling uitdrukkelijk onderkend. Een gebrek aan inzicht in de gemaakte keuzes en gebruikte gegevens en aannames kan ertoe leiden dat een ongelijkwaardige procespositie van partijen ontstaat, omdat zij niet kunnen controleren op basis waarvan tot een besluit wordt gekomen. Vanuit het perspectief van partijen kan sprake zijn van een 'black box', aldus de ABRvS. Om de controleerbaarheid van de besluitvorming op grond van het PAS te verzekeren, heeft de Afdeling voor het bevoegd gezag de volgende norm geformuleerd:

'Ter voorkoming van deze ongelijkwaardige procespositie rust in dit geval op genoemde ministers en de staatssecretaris de verplichting om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Deze volledige, tijdige en adequate beschikbaarstelling moet het mogelijk maken de gemaakte keuzes en de gebruikte gegevens en aannames te beoordelen of te laten beoordelen en zo nodig gemotiveerd te betwisten, zodat reële rechtsbescherming tegen besluiten die op deze keuzes, gegevens en aannames zijn gebaseerd mogelijk is, waarbij de rechter aan de hand hiervan in staat is de rechtmatigheid van deze besluiten te toetsen.'

Aannames beoordelen

Het valt op dat de beschikbaarstelling zodanig moet zijn dat het mogelijk is de gemaakte keuzes en gebruikte gegevens en aannames 'te laten beoordelen'. Voor een bedrijf of diens advocaat betekent dat dat het nodig kan zijn om daarvoor een deskundige in te schakelen, bijvoorbeeld een data-analist. Eventueel zou de rechter in het licht van rechtspraak van het Europees Hof voor de Rechten van de Mens zelfs een deskundige moeten benoemen.

In een latere uitspraak van 18 juli 2018 heeft de Afdeling bestuursrechtspraak het hiervoor genoemde toetsingskader verfijnd, door ook enige verantwoordelijkheid bij de burger te leggen. Van belanghebbenden kan namelijk worden gevergd hun verzoek om informatie en inzage in de maatwerk en standaard invoergegevens en de op basis daarvan met AERIUS Calculator verrichte berekeningen tijdig in de procedure te doen. Daarbij dient – zo mogelijk – te worden aangegeven welke specifieke gegevens het betreft, opdat het bestuursorgaan daarin zo gericht en duidelijk mogelijk inzage kan geven. Ook hier kan het inschakelen van een deskundige mogelijk nodig zijn. Vermeldenswaard is dat het kabinet op dit moment verschillende onderzoeken heeft uitstaan waarbij wordt bezien hoe de benodigde transparantie door bestuursorganen geoperationaliseerd kan worden.

Robotachtige gelijkheid

Ten tweede kunnen regels, aldus de Afdeling advisering, in natuurlijke taal lang niet altijd één op één worden vertaald in een algoritme. Regels in natuurlijke taal zijn per definitie abstract, daar deze op een verscheidenheid van situaties dienen te worden toegepast en vervolgens eerst moeten worden geïnterpreteerd voordat toepassing daadwerkelijk kan geschieden. Problematisch is dat algoritmen bedoeld zijn om van toepassing te zijn op situaties met geprogrammeerde kenmerken en geen rekening kunnen houden met impliciete kennis, de noodzaak om de regel te interpreteren en met de noodzaak om alle omstandigheden van het geval mee te wegen. De Afdeling advisering concludeert dat door het verlies van een menselijke tussenkomst een burger sneller slachtoffer wordt van een 'robotachtige gelijkheid', waarbij geen aandacht meer bestaat voor de eigenheid van zijn situatie. Daarnaast vergroot digitalisering van de besluitvorming volgens de Afdeling advisering het gevaar op profilering en het nemen van besluiten op basis van statistische verbanden. Niet het verwijtbaar handelen van de burger staat in zo een geval vast, maar louter het vermoeden hiervan gebaseerd op grond van algemene kenmerken. De op 25 mei 2018 in werking getreden AVG beoogt hiertegen bescherming te bieden.

Menselijke tussenkomst

De Afdeling advisering wijst er op dat de AVG in artikel 22 bepaalt dat geautomatiseerde besluitvorming, zonder menselijke tussenkomst, in beginsel niet is toegestaan. Het belang van deze bepaling is dat de mens niet (volledig) wordt vervangen door een computer, waardoor een betrokkene in beginsel altijd het recht heeft op menselijke tussenkomst bij genomen besluiten. Op dit verbod wordt in het tweede lid van artikel 22 AVG een uitzondering gemaakt, waarbij voor de overheid met name van belang is dat het verbod niet geldt indien geautomatiseerde besluitvorming is toegestaan bij een lidstaatrechtelijke bepaling die ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene (lid 2 aanhef en onder b). Wat dit in de praktijk betekent, zal nog nader moeten worden bepaald, waarbij de vraag welke passende maatregelen gelden ter bescherming van de burger een hele relevante is, aldus de Afdeling advisering.

In de Nederlandse UAVG wordt in artikel 40 voorzien in een algemene wettelijke uitzondering: geautomatiseerde besluitvorming die geen profilering inhoudt, is toegestaan als deze noodzakelijk is om aan een wettelijke verplichting te voldoen of om een taak van algemeen belang te vervullen. Op profilering gebaseerde besluitvorming zonder menselijke tussenkomst is slechts mogelijk als een bijzondere wet daarvoor een grondslag biedt. Hierbij speelt namelijk, meer dan bij geautomatiseerde besluitvorming in algemene zin, het risico van discriminatie, aldus de Afdeling advisering. Het kabinet heeft in zijn reactie op het ongevraagd advies geschreven dat juist bij profilering door de overheid het wenselijk is om kwaliteitswaarborgen te ontwikkelen om fouten te voorkomen. Hieraan wordt momenteel door een interdepartementale werkgroep gewerkt.

Aanvankelijk had de Afdeling advisering zich in haar advies op het voorstel van de wettekst van de UAVG op het standpunt gesteld dat de AVG ook buiten de situatie van profilering een bijzondere wettelijke grondslag vereist. De regering denkt daar evenwel anders over. Het is opmerkelijk dat de Afdeling advisering zich hierover in het ongevraagd advies niet meer heeft uitgelaten. Een eventuele rechterlijke procedure over artikel 40 lid 1 UAVG zal in de toekomst uitsluitsel kunnen geven over deze kwestie. Wat ons betreft zou geautomatiseerde besluitvorming zoveel mogelijk op een specifieke wettelijke grondslag moeten berusten, wat er ook zij van de verplichtingen die voortvloeien uit de AVG. Dat dwingt de wetgever om voor de betreffende besluitvorming bewust stil te staan bij de noodzakelijkheid en proportionaliteit om een algoritme in te zetten en na te denken over de waarborgen waarin daarbij moet worden voorzien.

Daarnaast noemt de Afdeling advisering nog verschillende andere, voor de in deze bijdrage omschreven problematiek, relevante rechten voor burgers uit AVG, waaronder het recht op inzage van hun persoonsgegevens (artikel 15 AVG), rectificatie van hun persoonsgegevens (artikel 16 AVG) en zelfs het recht op gegevenswissing, of 'vergetelheid' (artikel 17 AVG). Aan de kant van de overheid noemt de Afdeling advisering nog enkele plichten uit de AVG, waaronder de verplichting tot het rechtmatig, behoorlijk en transparant verwerken van persoonsgegevens (artikel 5 AVG) en het reeds bij de inrichting van systemen rekening houden met de bescherming van persoonsgegevens (met inbegrip van het recht op inzage en rectificatie), ofwel privacy by design (artikel 25, eerste lid, AVG).

Behoorlijk bestuur in digitaal tijdperk

Gezien de geschetste ontwikkelingen over de digitalisering van besluitvorming en de hieraan verbonden risico's, voelt de Afdeling advisering zich genoodzaakt om zich te buigen over de vraag of de bestaande algemene beginselen van behoorlijk bestuur nog afdoende waarborgen bieden voor burgers ten opzichte van het handelen van een bestuursorgaan. De Afdeling advisering is van mening dat deze beginselen, in samenhang bezien met de AVG, op zichzelf al de nodige richting kunnen geven indien bestuursorganen deze op een juiste wijze interpreteren en toepassen in de relatie tussen de burger en digitale overheid. Nieuwe of specifieke ICT gerelateerde rechten zijn hiermee overbodig. Hierbij hecht de Afdeling advisering in bijzonder aan het motiveringsbeginsel en het zorgvuldigheidsbeginsel.

Het motiveringsbeginsel, zo begint de Afdeling advisering, kan zo worden uitgewerkt dat in een besluit aan de burger toegankelijk moet worden toegelicht of, en zo ja welke, automatische beslisregels zijn gebruikt. Daarnaast dient te worden toegelicht of het besluit mede voortbouwt op (geautomatiseerde) besluiten of gegevens van andere bestuursorganen eerder in de keten. Hiermee sluit de Afdeling advisering bij de uitwerking van dit beginsel duidelijk aan bij de lijn die de ABRvS in haar hiervoor genoemde AERIUS rechtspraak heeft uiteengezet. Daarnaast dienen sommige besluiten simpelweg niet geautomatiseerd genomen te worden. Een criterium dat de Afdeling advisering aan dit verbod hangt, betreft besluiten die betrekking hebben op 'zwaar ingrijpende kwesties', zoals de integriteit van het menselijk lichaam, privacy (wat weer een erg ruim begrip kan zijn) en het familie- en gezinsleven. Daarnaast wordt geadviseerd om maatwerk en 'menselijke' heroverweging in de bezwaarfase van geautomatiseerd tot stand gekomen besluiten te bevorderen.

Het zorgvuldigheidsbeginsel dient volgens de Afdeling advisering zo te worden geïnterpreteerd dat bestuursorganen ruimhartig rekening moeten houden met alle feiten en omstandigheden van het geval. Hierbij is van belang dat een bestuursorgaan een besluit moet kunnen nemen dat strikt genomen afwijkt van wat voortvloeit uit de geautomatiseerde beslisregels. Ofwel, een bestuursorgaan dient een voldoende ruime discretionaire bevoegdheid te bezitten. Zo wordt het probleem van de onterechte 'robotachtige gelijkheid' van een door een algoritme genomen besluit opgelost en kan evident onterechte benadeling van een burger worden vermeden.

In zijn reactie op het ongevraagd advies onderschrijft het kabinet dat de bestaande beginselen van behoorlijk bestuur door bestuursorganen en de rechtspraktijk tegen de achtergrond van de AVG moeten worden toegepast. Daarnaast werkt BZK samen met een aantal gemeenten aan een Code Goed Digitaal Openbaar Bestuur. Hierin worden aanvullende afspraken gemaakt over het (her)gebruik van gegevens en data.

Rechtsstatelijkheid by design

Het advies van de Afdeling advisering kan positief worden gewaardeerd. Het biedt nuttige aanknopingspunten voor wetgever en bestuur om de positie van de burger te verbeteren in zijn relatie met de digitale overheid. Voor geautomatiseerde overheidsbesluitvorming betekent dit onder meer dat de overheid telkens de balans moet zien te vinden tussen onder andere besluiten die niet geautomatiseerd tot stand behoren te komen, zoals besluiten over de integriteit van het menselijk lichaam, en het motiveren van gebruik van algoritmen en data van besluiten die wel geautomatiseerd kunnen worden genomen. Ten slotte geeft de Afdeling advisering mee om maatwerk en 'menselijke' heroverweging in de bezwaarfase van geautomatiseerd tot stand gekomen besluiten te bevorderen.

Het ongevraagd advies maakt in ieder geval duidelijk dat het borgen van de controleerbaarheid en transparantie van op algoritmes gebaseerde besluiten van groot belang is. De vraag rijst hoe, in navolging van het advies, de rechtsstatelijkheid van dergelijke besluiten vergroot kan worden. Wellicht dat bij het ontwerp van een algoritme al rekening kan worden gehouden met de uitlegbaarheid ervan ('rechtsstatelijkheid by design'). Zo is in een resolutie van het Europees Parlement uit 2017 wel het idee geopperd van een zogenoemde 'black box' die de gegevens registreert van elke handeling die het softwaresysteem uitvoert, met inbegrip van de redeneringen die tot zijn beslissingen hebben bijgedragen. Het gaat hier om rechtsstatelijkheid vooraf. In de literatuur worden ook wel suggesties gedaan om rechtsstatelijkheid achteraf te kunnen bewerkstelligen. Van Eck, Bovens & Zouridis noemen in een recent artikel in het Nederlands Juristenblad bijvoorbeeld het gebruik van een audit-functie waarmee een periodieke, steekproefsgewijze controle op de rechtmatigheid van de algoritmes plaatsvindt. Zo kan worden nagegaan of er geen discriminatie in het systeem is geslopen. Dit lijkt ons een welkome waarborg.

Reacties

x Met het invullen van dit formulier geef je Ruimte en Wonen en relaties toestemming om je informatie toe te sturen over zijn producten, dienstverlening en gerelateerde zaken. Akkoord
Renda ©2024. All rights reserved.

Deze website maakt gebruik van cookies. Meer informatie AccepterenWeigeren