Een AI-systeem dat slechts een beperkte ondersteunende rol speelt bij een overheidsbesluit, hoeft niet altijd in dat besluit te worden vermeld. Dat oordeelt de Rechtbank Den Haag in een zaak over VisualDoc, een systeem dat Bureau Documenten gebruikt bij het onderzoeken van documenten. Doorslaggevend was dat menselijke deskundigen uiteindelijk zelf de echtheid van de documenten beoordeelden. De rechtbank waarschuwt wel dat verdere ontwikkeling van VisualDoc tot een andere uitkomst kan leiden.
De zaak draaide om een man die opnieuw asiel had aangevraagd en daarvoor verschillende Turkse documenten had overgelegd. Bureau Documenten onderzocht deze stukken en concludeerde dat ze hoogstwaarschijnlijk of vrijwel zeker niet bevoegd waren opgemaakt en afgegeven. De minister verklaarde de asielaanvraag vervolgens niet-ontvankelijk.
De asielzoeker stelde onder meer dat onvoldoende transparant was geweest over het gebruik van VisualDoc. Volgens hem ging het om een zelflerend AI-systeem en had de minister moeten vermelden welke rol het systeem bij de beoordeling had gespeeld.
VisualDoc kan onder meer documenten herkennen en categoriseren en zoeken naar vergelijkingsmateriaal. Het systeem beoordeelt volgens de uitleg van de minister momenteel echter niet zelfstandig of documenten echt of vals zijn.
In deze zaak was de rol van VisualDoc nog beperkter. Het systeem probeerde eerst het soort document te herkennen. Alleen wanneer de zekerheid daarvan boven een drempel van 80 procent ligt, kan het geautomatiseerde proces verdergaan.
Bij de documenten van de asielzoeker werd die drempel niet gehaald. Daardoor stopte dat proces en nam een documentdeskundige het over. De documenten werden vervolgens door een deskundige beoordeeld en daarna door een tweede deskundige gecontroleerd.
Volgens de rechtbank is de echtheidsbeoordeling daarmee door mensen uitgevoerd en niet door VisualDoc.
Juist vanwege die beperkte rol hoefde de minister het gebruik van VisualDoc volgens de rechtbank niet in het besluit te vermelden. Voor de betrokkene zou dat volgens de rechter op dit moment geen toegevoegde waarde hebben, omdat het systeem niet de echtheid van zijn documenten beoordeelde.
Ook artikel 22 AVG, dat bescherming biedt tegen bepaalde uitsluitend geautomatiseerde besluiten, was daarom niet geschonden. De rechtbank behandelde evenmin inhoudelijk de vraag of VisualDoc een hoog-risico-AI-systeem is. Artikel 86 van de AI-verordening, waarop de asielzoeker zich beriep, was volgens de rechtbank nog niet van toepassing.
Ook het beroep op onvoldoende AI-geletterdheid slaagde niet. Gezien de beperkte inzet van VisualDoc was niet aannemelijk geworden dat de betrokken medewerkers onvoldoende AI-geletterd waren.
De rechtbank plaatst wel een belangrijke kanttekening bij haar oordeel. VisualDoc wordt verder ontwikkeld. Van de minister wordt daarom verwacht dat hij transparant blijft over die ontwikkeling. Er kan volgens de rechtbank een kantelpunt worden bereikt waarop het gebruik van het systeem wél in individuele besluiten moet worden vermeld.
Daarmee maakt de uitspraak duidelijk dat niet alleen de aanwezigheid van AI relevant is. Vooral de feitelijke rol die het systeem in de besluitvorming speelt bepaalt hoeveel transparantie van de overheid mag worden verlangd.
