Neemt AI het over in het toezicht?

Bij DNB hebben we iets met intelligentie. Nog niet zo heel lang geleden vroegen we bij sollicitanten cijferlijsten van de middelbare school op. Als je niet minstens een acht had voor Wiskunde B werd de kans dat je op gesprek mocht komen een stuk kleiner. En liefst hadden we natuurlijk een gepromoveerd econometrist als nieuwe medewerker. Ik overdrijf natuurlijk en cijferlijsten vragen we niet meer op. Maar we doen voor bepaalde functies nog wel assessments en laten sollicitanten daarbij testen op intelligentie. En dan zien we toch het liefst kandidaten die boven het academisch gemiddelde scoren.

Nieuwe hobby

Op dit moment hebben we een nieuwe hobby. We zijn een beetje gek van kunstmatige intelligentie (AI). Daar lijken we overigens niet de enigen in te zijn… Maar gemakkelijk is dat als toezichthouder nog niet. We kunnen niet zomaar een AI-tool als ChatGPT gebruiken. Die leert immers van onze vragen en onbedoeld zouden we zo geheime informatie delen, informatie over financiële instellingen of wat wij van ze vinden.

Dat probleem is nu opgelost door te werken met een afgeschermde AI-omgeving, of eigenlijk meer dan een. Die gebruiken we bijvoorbeeld om complexe en uitgebreide aanvragen van instellingen op een slimme manier te doorzoeken. Denk aan een invaarbesluit van een pensioenfonds of de modeldocumentatie van een bank. Maar er liggen legio plannen op tafel om meer te gaan doen. Hopelijk kunnen we straks bij een aanvraag al voor die is ingediend laten weten dat onze AI-tool denkt dat hij niet volledig is of fouten bevat. Het gaat ook vast wel lukken om AI-kladversies van formele besluiten te laten genereren die al voor 80% gereed zijn. Of omgekeerd, de kwaliteitscontrole van het eindproduct deels met AI te automatiseren.

Vragen mag

Ook dat kent nog wel uitdagingen. Doorzoeken of bevragen van een set documenten klinkt eenvoudig, maar bij een eerste proef op ons eigen Open Boek Toezicht —de website met toezichtinformatie—maakte de AI geen onderscheid tussen ons eigen beleid en consultatiereacties. Toch vervelend als je de tool dan vraagt wat het DNB beleid over X is en je als antwoord een voorgestelde, maar niet overgenomen, versoepeling van dat beleid krijgt.

Hallucineren

Nog erger kan het worden als de AI-tool het ook niet meer weet en gaat hallucineren. Berucht is het voorbeeld van de advocaat in de VS die zijn pleitnota met ChatGPT had gegenereerd, inclusief verwijzingen naar helaas niet bestaande jurisprudentie. Nu zijn er trucs om de kans dat dit gebeurt te beperken, maar helemaal uitsluiten dat zoiets gebeurt, kan bij een niet-deterministisch systeem niet. En in het mooie proza dat zo’n tool genereert lees je snel over de fouten heen.

Natuurlijke intelligentie

Daarom zorgen we ervoor dat er tussen wat het model genereert en wat we uiteindelijk doen altijd nog een mens kan ingrijpen. En die menselijke component helpt fouten voorkomen. Om AI goed te gebruiken moet je iets van AI weten, maar nog veel meer van je eigen vak. Dat dit goed gaat is ook nog niet vanzelfsprekend. De mensen die nu de output van een AI-tool gebruiken hebben ooit zelf het werk gedaan en zelf door hele dossiers heengeploegd en besluiten uitgeschreven (en het model is misschien wel deels op basis van hun werk getraind).

Naarmate we meer AI gebruiken, dreigt die kennis te verdwijnen. Een van onze uitgangspunten, en die van de Europese Centrale Bank, is dan ook dat AI niet tot verlies van vakkennis mag leiden. Gemakkelijker gezegd dan gedaan. Ik voorzie dat we in onze werving nog wel even blijven sturen op intelligentie van de natuurlijke soort.