De Nederlandse overheid wil vaker gebruikmaken van open en Europese AI-modellen om haar afhankelijkheid van buitenlandse technologie te verkleinen. Maar wanneer is een taalmodel eigenlijk werkelijk ‘open’ of ‘Europees’? TNO waarschuwt dat die begrippen veel minder eenduidig zijn dan ze lijken en ontwikkelde in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties criteria die overheden moeten helpen bij de keuze voor generatieve AI.
De verkenning Open en Europese taalmodellen bij de overheid – definities en afwegingen is op 1 september gepubliceerd. Het onderzoek sluit aan bij de Nederlandse Digitaliseringsstrategie (NDS), waarin het kabinet heeft afgesproken meer regie te nemen op het gebruik van AI binnen de overheid. Daarbij wil het kabinet onder meer het gebruik van Nederlandse, Europese en open taalmodellen stimuleren om risicovolle strategische afhankelijkheden te verminderen.
Dat beleidsdoel klinkt relatief duidelijk, maar blijkt in de praktijk lastig uitvoerbaar. Begrippen als ‘open source’, ‘open AI’ en ‘Europees’ hebben bij taalmodellen geen vaste, algemeen geaccepteerde betekenis. Volgens TNO kunnen aanbieders daardoor in belangrijke mate zelf bepalen hoe zij hun modellen presenteren. Dat maakt het voor overheidsorganisaties moeilijker om te beoordelen hoeveel controle zij daadwerkelijk over een model hebben.
Bij klassieke software heeft open source een redelijk vastomlijnde betekenis. Bij AI-modellen ligt dat ingewikkelder. Een aanbieder kan bijvoorbeeld de modelgewichten beschikbaar stellen, terwijl de trainingsdata en trainingscode gesloten blijven.
TNO onderscheidt daarom verschillende gradaties van openheid. Aan de ene kant staan volledig gesloten modellen die voornamelijk via een API worden gebruikt. Vervolgens zijn er modellen waarvan bijvoorbeeld alleen de gewichten, of daarnaast ook delen van de code, beschikbaar zijn. Aan het andere uiteinde staan volledig open modellen waarbij ook trainingsdata toegankelijk zijn en het model in hoge mate reproduceerbaar is.
Dat onderscheid is belangrijk omdat alleen het label ‘open’ weinig zegt over de daadwerkelijke zeggenschap van een organisatie. Een model waarvan de gewichten beschikbaar zijn, kan bijvoorbeeld lokaal worden gebruikt en aangepast, maar hoeft daarmee nog niet transparant te zijn over de data waarop het is getraind.
TNO wijst in dat verband ook op het risico van ‘open washing’: aanbieders kunnen benadrukken welke onderdelen van een model openbaar zijn, terwijl informatie die nodig is voor wetenschappelijk onderzoek of juridische toetsing gesloten blijft.
Ook het begrip ‘Europees taalmodel’ blijkt ingewikkelder dan alleen kijken naar het land waar de ontwikkelaar is gevestigd.
TNO onderscheidt drie dimensies. Ten eerste speelt de herkomst en governance van de ontwikkelaar een rol: het model wordt ontwikkeld, beheerd of substantieel aangestuurd door een organisatie die in Europa is gevestigd en onder Europees recht valt.
Daarnaast kijkt TNO naar data en infrastructuur. Relevant is waar trainingsdata vandaan komen, waar gegevens worden opgeslagen en verwerkt en op welke infrastructuur het model draait. Idealiter worden datasets volgens TNO grotendeels binnen Europa beheerd en draait het model op Europese infrastructuur of bij aanbieders die aan Europese regels voldoen.
De derde dimensie betreft Europese talen, waarden en ontwikkelkeuzes. Een model dat in Europa is ontwikkeld maar nauwelijks met Europese talen of contexten is getraind, voldoet vanuit dit bredere perspectief niet automatisch aan alle kenmerken die voor een Europees model relevant kunnen zijn.
‘Europees’ hoeft daarmee geen simpel ja-of-nee-label te zijn. Een model kan Europees eigendom hebben, maar op Amerikaanse cloudinfrastructuur draaien. Andersom kan een niet-Europese ontwikkelaar een model aanbieden dat lokaal binnen de EU wordt gehost en waarbij een organisatie veel technische controle houdt.
TNO adviseert daarom niet om één definitie als harde grens te hanteren. Overheidsorganisaties moeten verschillende kenmerken naast elkaar zetten.
Daarbij gaat het onder meer om de mate van openheid van het model, de licentie, de herkomst van de aanbieder, de locatie van dataopslag en verwerking, de gebruikte hostinginfrastructuur en de mate waarin het model is getraind op Europese talen. Ook technische factoren, zoals de omvang van het model, mogelijkheden voor fine-tuning en prestaties in het Nederlands, spelen mee. Daarnaast zijn kosten en het concrete toepassingsgebied relevant.
De uitkomst hoeft daardoor niet voor iedere toepassing hetzelfde te zijn. Een model kan technisch het beste presteren, maar tegelijkertijd leiden tot een grotere afhankelijkheid van één buitenlandse leverancier. Een ander model kan meer controle en transparantie bieden, maar duurder zijn om zelf te hosten of minder goed presteren voor een specifieke toepassing.
Overheidsorganisaties moeten daardoor verschillende belangen tegen elkaar afwegen: prestaties en kosten, maar ook transparantie, juridische voorwaarden, controle over data en infrastructuur en de afhankelijkheid van leveranciers.
Het onderzoek staat niet op zichzelf. Binnen de Nederlandse Digitaliseringsstrategie heeft het kabinet digitale autonomie nadrukkelijk als beleidsprioriteit benoemd. De overheid heeft daarbij een voorkeur uitgesproken voor Nederlandse of Europese open taalmodellen en onderzoekt onder meer hoe het gebruik van modellen zoals het Nederlandse GPT-NL kan worden gestimuleerd.
Die ontwikkeling past in een bredere beweging waarbij de overheid probeert haar afhankelijkheid van niet-Europese technologie te verminderen. Naast AI werkt het Rijk bijvoorbeeld ook aan een soevereine overheidscloud en aan een routekaart voor digitale autonomie.
De TNO-verkenning laat zien dat zo'n ambitie pas praktisch toepasbaar wordt als organisaties ook kunnen beoordelen hoe afhankelijk of autonoom een technologie daadwerkelijk is. Alleen de vestigingsplaats van een leverancier zegt daar onvoldoende over. Ook de controle over technologie, data en infrastructuur en het juridische regime waaronder een aanbieder valt, spelen een rol.
De aanbevelingen van TNO worden meegenomen in verdere visie- en beleidsvorming over generatieve AI binnen de overheid. Daarmee kan het onderzoek uiteindelijk ook praktisch belangrijk worden voor aanbestedingen en inkoopbeslissingen.
Wanneer de overheid structureel voorkeur wil geven aan open of Europese AI, moeten inkopers immers kunnen vaststellen wat daar precies onder valt. Criteria rond hosting, licenties, herkomst van leveranciers, toegang tot modelgewichten en controle over data kunnen daardoor steeds belangrijker worden bij de selectie van AI-leveranciers.
De vraag is dan niet alleen welk model het beste presteert. Overheidsorganisaties zullen ook moeten bepalen welke technologische afhankelijkheden zij acceptabel vinden en hoeveel controle zij over modellen, data en infrastructuur zelf willen behouden.
