Robustness

ALTAI deelt Technical robustness and safety in vier domeinen die in 2026 nog steeds de leidraad vormen voor evaluatie en audit. Elk domein heeft eigen meetpunten en eigen tegenmaatregelen.

1. Weerbaarheid tegen aanvallen en beveiliging. AI-systemen moeten weerstand bieden aan pogingen van derden om hun gedrag, output of prestaties te manipuleren. De dominante aanvalsklassen in 2026 zijn prompt-injectie, jailbreaks en adversariële aanvallen op trainingsdata of model-aanroepen. Anthropic toonde in 2025 dat een tweede beveiligingslaag — de Constitutional Classifiers die zowel invoer als uitvoer monitoren tegen een vooraf gedefinieerde “grondwet” — de slaagkans van jailbreaks op Claude 3.5 Sonnet terugbrengt van boven 85% naar onder 5%. Dat is geen marginale verbetering; dat is een ander beveiligingsregime.

Drie nieuwere aanvalstechnieken omzeilen de standaard turn-detectie:

• Crescendo Attacks: sturen over 5 tot 20 conversatiebeurten geleidelijk naar een schadelijk doel.
• Output Obfuscation: laten het model schadelijke informatie versluierd weergeven (chemische reagentia coderen als voedselaroma’s).
• Reconstruction Attacks: splitsen een schadelijke vraag op in onschuldig ogende stukken die pas bij reassemblage betekenis krijgen.

Defensie moet meebewegen op drie manieren:

• Turn-overstijgende monitoring: bekijk patronen over meerdere gespreksbeurten heen in plaats van alleen per bericht.
• Semantische filtering: controleer de betekenis van een antwoord in plaats van alleen letterlijke woorden.
• Periodieke aanvalssimulaties: zoek deze technieken actief op via tooling zoals Microsoft PyRIT (een red-team-toolkit die duizenden adversariële prompts genereert en de respons scoort) en NVIDIA Garak (een open-source kwetsbaarheidsscanner met dertig modules voor prompt-injectie, datalek en jailbreak-resistentie).

2. Algemene veiligheid. Het systeem moet binnen zijn operationele grenzen blijven en bij afwijkingen overschakelen naar een veilige toestand. ISO/IEC 5469 (2024) hanteert drie standaard-terugvalpatronen:

• Non-AI back-up: een traditioneel, regelgebaseerd systeem neemt het over wanneer de AI onzeker is.
• Supervisor-functie: een monitor begrenst de actieruimte van het systeem en grijpt in bij grensoverschrijdend gedrag.
• Redundantie met voters: meerdere onafhankelijk getrainde modellen vergelijken hun output om systematische fouten te detecteren.

Welk patroon past hangt af van de risicocategorie en de herstelkosten: voor onomkeerbare beslissingen biedt Non-AI back-up het hardste vangnet, voor real-time-systemen geeft de Supervisor-functie betere reactietijd.

3. Nauwkeurigheid. EU AI Act Art. 15 lid 3 vereist dat het beoogde nauwkeurigheidsniveau in de gebruiksinstructies wordt vermeld, en dat het in productie wordt gehaald. Dat klinkt eenvoudig, maar in 2026 zijn statische test-sets niet meer voldoende. Twee empirische bevindingen schudden de vooronderstellingen wakker: Chroma onderzocht 18 frontier-modellen en vond dat alle modellen degraderen naarmate de invoer-context groeit, een verschijnsel dat context-rot is gaan heten. De effectieve context-window blijkt vaak slechts 60-70% van wat aanbieders adverteren voor taken die redenering vereisen. Liu et al. (TACL 2024) beschreef het complementaire patroon: informatie in het midden van een lange invoer wordt vaak gemist, een U-vormige prestatiecurve (lost in the middle).

4. Betrouwbaarheid, terugvalplannen en reproduceerbaarheid. Reproduceerbaarheid is voor probabilistische systemen lastig maar haalbaar. De norm in 2026: seed-pinning (de ingebouwde toevalsfactor van het model uitschakelen via een API-parameter, zodat dezelfde vraag steeds hetzelfde antwoord geeft) en temperature=0 (de creativiteit-parameter op nul, zodat het model bij dezelfde invoer steeds hetzelfde antwoord geeft) om variatie te dempen, prompt-versioning (prompts als code in version control) zodat herleidbaar is welke instructies welke output gaven, en regressietests bij elke wijziging. Daarnaast: gedocumenteerde terugvalpaden, geteste rollback-mechanismen (binnen minuten naar een eerdere stabiele versie), en post-market monitoring conform Art. 72 dat actief data verzamelt over prestaties na ingebruikname.

In 2026 is robuustheid voor hoogrisico-AI-systemen geen vrijwillige kwaliteitseis meer. De EU AI Act maakt vier artikelen leidend.

Artikel 9, risicobeheer: verplicht een continu, iteratief risicobeheer-proces over de hele levenscyclus. Bekende én redelijkerwijs voorzienbare risico’s identificeren, schatten, evalueren — ook voor voorzienbaar misbruik — en restrisico’s tot een acceptabel niveau terugbrengen. Geen eenmalige beoordeling vooraf maar een proces dat blijft draaien.

Artikel 15, nauwkeurigheid en cybersecurity: vereist een passend niveau van nauwkeurigheid, robuustheid en cybersecurity, en consistentie van prestaties gedurende de hele levensduur. Lid 5 voegt expliciet toe: weerbaarheid tegen pogingen van onbevoegde derden om gebruik, output of prestaties te wijzigen via kwetsbaarheden.

Artikel 26 lid 6, deployer-logs: wie het systeem inzet (deployer) bewaart automatisch gegenereerde logs minimaal zes maanden. Zonder logs valt niet aan te tonen of het systeem deed wat het hoorde te doen.

Artikel 72, post-market monitoring: providers moeten een gedocumenteerd plan hebben om prestaties van het systeem na ingebruikname te volgen, vergelijkbaar met farmacovigilantie bij medicijnen (het wettelijk monitoren van bijwerkingen ná markttoelating). Geen “we kijken er nog eens naar”; een formeel plan met meet-momenten en drempelwaardes.

Wat geldt voor laag-risico-systemen? De zware artikelen (9, 15, 72) gelden specifiek voor hoogrisico. Voor beperkt-risico (chatbots, deepfakes, biometrische categorisatie) geldt vooral een transparantieplicht (Art. 50). Voor minimaal-risico (de meeste alledaagse AI-toepassingen) is alleen Art. 4 verplicht: AI-geletterdheid van personeel dat met het systeem werkt. Verdere robuustheidsmaatregelen zijn dan vrijwillig: wel sterk aanbevolen, maar niet wettelijk afdwingbaar.

Bovenop de AI Act stapelt NIS2. De NIS2-richtlijn (van toepassing per 18 oktober 2024) verplicht 18 kritische sectoren tot risicobeheer, incidentafhandeling en bedrijfscontinuïteit. Artikel 21 vereist meldplicht binnen 24 uur na een ernstig incident en een vol rapport binnen 72 uur. Voor AI-systemen die deel zijn van een essentiële dienst — zorg, energie, vervoer, financiën, drinkwater, digitale infrastructuur — geldt NIS2 naast de AI Act.

Standaarden vullen de wettelijke vaagheid in. Wat passend niveau in Art. 15 betekent, wordt operationeel ingevuld door ISO/IEC 25059 (kwaliteitsmodel voor AI), ISO/IEC 24029 (statistische methoden voor robuustheidsbeoordeling), ISO/IEC 5469 (functionele veiligheid) en ISO/IEC 42001 Clausule 9 (performance-evaluatie binnen een AI Management System). Daarnaast biedt het NIST AI RMF een vrijwillig kader met de Measure-functie als operationele kern voor robuustheid. Een Europese geharmoniseerde norm — EN 18286 voor AI-QMS — is in 2026 in voorbereiding.

Het komt neer op vier praktische dingen. Voor de meeste organisaties laat deze stapel zich samenvatten als: weet welke risicocategorie elk AI-systeem heeft, leg vast hoe je nauwkeurigheid meet en wanneer je ingrijpt, bewaar logs zes maanden, en heb een geoefend terugvalplan. De rest van deze pagina werkt die vier uit.

Robuustheidsprogramma’s falen op herkenbare manieren. Onder elke valkuil staat de tegenmaatregel.

1. Test-theater: een uitgebreide testketen die wel groen is maar nooit echt nieuwe gevallen aanraakt. De testset wordt eenmaal gemaakt en niet bijgewerkt; productiefouten komen er niet meer in. Tegenmaatregel: vernieuw de testset elk kwartaal met cases uit productielogs en gerapporteerde incidenten.

2. Monitoring zonder drempel: dashboards vol grafieken zonder dat ergens vastligt wanneer er actie volgt. Een waarde die “raar” is, blijft maandenlang op het dashboard staan. Tegenmaatregel: koppel aan elke metriek een drempelwaarde plus de actie die volgt; automatisch, niet via een mens die het toevallig opmerkt.

3. Rollback-illusie: het rollback-mechanisme bestaat in documentatie, maar is nooit echt geprobeerd. Wanneer er moet worden teruggerold, blijkt de oude versie incompatibel met een nieuwere database-laag. Tegenmaatregel: oefen rollback in een chaos-drill, minstens elk kwartaal, op productie-achtige data.

4. Drift-blindheid: geen continue meting tegen een referentie. De Algemene Rekenkamer beschreef het bij de Belastingdienst (mei 2025) als volgt: “Hierdoor bestaat het risico dat het algoritme minder kan gaan presteren dan bedoeld, zonder dat de Belastingdienst dit op tijd merkt en kan bijsturen.” Tegenmaatregel: monitor drift op drie assen, elk met een expliciete drempel:

• input-distributie: verschuift de mix van vragen of klantgroepen die binnenkomt?
• output-distributie: verschuift de mix van antwoorden die het model geeft?
• fout-percentage tegen ground truth: welk aandeel antwoorden wijkt af van een bekende juiste uitkomst, gemeten op een vaste evaluatie-set?

5. Adversarial-blindheid: het team test alleen op happy-path-cases. Geen gestructureerd onderzoek of het systeem onder druk faalt. Tegenmaatregel: integreer adversariële testen (Microsoft PyRIT of NVIDIA Garak) in de testketen en herhaal elk kwartaal, minimaal tegen prompt-injectie, jailbreak-pogingen en data-poisoning (het besmetten van trainingsdata met manipulatieve voorbeelden zodat het model verkeerd gedrag aanleert).

6. Single-provider-afhankelijkheid: één modelleverancier voor alles. Wanneer die uitvalt of zijn limieten optrekt, valt de hele dienst stil. Het observability-platform Datadog (dat productie-systemen meet en monitort) rapporteerde in februari 2026 dat 60% van LLM-fouten in productie te wijten was aan capaciteitslimieten bij aanbieders, niet aan modelkwaliteit. Tegenmaatregel: ontwerp een terugvalplan met meerdere aanbieders of modeltypes; gebruik een circuit breaker om bij aanhoudende fouten snel om te schakelen.

7. Reproduceerbaarheid-vergeten: prompts leven als losse strings in de code, niet als versie-beheerd document. Bij een incident is niet meer te achterhalen welke instructie het systeem op moment X gaf. Tegenmaatregel: behandel prompts als code, met version control en een review-trail (controleerbaar spoor van wie welke promptwijziging heeft beoordeeld en goedgekeurd). Zet temperature (de creativiteit-instelling van het model) op nul voor deterministische outputs (dezelfde invoer geeft dezelfde uitvoer) waar dat past, en log de exacte prompt en model-versie bij elke respons.

8. Loop blijft open: bevindingen leiden niet tot acties. Het dashboard rapporteert maandenlang dat een drempel wordt overschreden, en niemand grijpt in. Tegenmaatregel: koppel elke evaluatieronde aan een concrete actie of een onderbouwde no-action; sluit aan op de Evaluation Loop-bouwsteen (BB_07: meten, analyseren, verbeteren, opnieuw meten).

Hoe ziet robuustheid eruit wanneer de wet aan de praktijk wordt afgemeten? Drie cases uit Nederland in 2025 en 2026, één per sector.

Zorg: deskilling van endoscopisten. In een sub-studie van de Europese ACCEPT-trial (Lancet Gastroenterology, augustus 2025) onderzochten Budzyń en collega’s 1.443 colonoscopieën. Artsen die drie maanden met AI-ondersteuning hadden gewerkt vertoonden daarna — in dezelfde procedure zónder AI — een lagere adenoom-detectiegraad: 22,4% tegenover 28,4% in de controlegroep zonder AI-blootstelling. Robuustheid van het mens-AI-systeem is dus breder dan het algoritme zelf: bij overmatige afhankelijkheid degradeert de menselijke vaardigheid, en wordt het systeem kwetsbaar bij plotselinge uitval van de techniek. De oplossing zit niet in een beter model maar in bewuste oefening zonder ondersteuning, ingebed in beleid.

Landelijke overheid: drift-blindheid bij Belastingdienst en Toeslagen. De Algemene Rekenkamer publiceerde op 21 mei 2025 een verantwoordingsonderzoek over drie risicomodellen. Bij UWV (Risicoscan Verwijtbare Werkloosheid) bleek de robuustheid op orde: meeste risico’s adequaat beheerd, IT-management als aandachtspunt voor 2025. Bij Belastingdienst (carrouselfraude-detectie) ontbrak monitoring, met de drift-blindheid die de Rekenkamer letterlijk benoemde: “Hierdoor bestaat het risico dat het algoritme minder kan gaan presteren dan bedoeld, zonder dat de Belastingdienst dit op tijd merkt en kan bijsturen.” Bij Dienst Toeslagen heeft het algoritme een andere rol: niet sanctioneren maar hulp aanbieden. Het identificeert ouders die door kinderopvangtoeslag-terugbetalingen in financiële problemen dreigen te komen, zodat begeleiders hen proactief kunnen benaderen. Inmiddels zijn 7.885 ouders zo bereikt, naar schatting 80 tot 90% via het algoritme. Toch ontbreken cruciale waarborgen: het systeem voldoet niet aan de AVG, en de Rekenkamer waarschuwt dat hulpaanbod-data later voor fraudecontrole hergebruikt zou kunnen worden. Conclusie: “Gevoelige gegevens van een kwetsbare groep ouders zijn daarmee niet goed beschermd.” Drie systemen, drie patronen: proactieve drift-bewaking (continu meten of het systeem nog binnen de verwachte werking valt) is het verschil tussen aantoonbaar werkende AI en stille degradatie.

Lokale overheid: chatbots vóór de gemeenteraadsverkiezingen 2026. De Autoriteit Persoonsgegevens onderzocht voorafgaand aan de gemeenteraadsverkiezingen van maart 2026 vier grote chatbots op vragen over lokale partijen. Resultaat: lokale partijen werden in minder dan 1% van de stemadviezen genoemd, terwijl ze 30% van de stemmen halen. AP-conclusie: de chatbots geven een “skewed picture” (vertekend beeld) door een bias naar landelijke partijen die online zichtbaarder zijn. Voor lokale overheden is een algemeen-robuust model dus niet voldoende: modellen moeten getraind of gefilterd worden op lokale context, of ze zijn voor gemeentelijke informatieverstrekking ongeschikt.

De bredere context volgens de zesde editie van het AP Rapport AI & Algoritmes Nederland (maart 2026): de AI Impact Barometer (de AP-score-kaart die negen indicatoren van AI-governance volgt) is verslechterd; vier pijlers krijgen “insufficient progress”:

• kaders en bevoegdheden voor AI-toezicht
• geharmoniseerde en praktisch toepasbare standaarden
• registratie en transparantie van algoritmes en AI-systemen
• zichtbaarheid van incidenten en borging van geleerde lessen

Organisaties verschuiven aandacht volgens AP “away from safety and values-driven development towards protecting and reinforcing competitive positions”.

De volwassen 2026-toolstack voor robuustheid kent vier lagen.

Observability (het lezen van wat een systeem in productie doet: welke aanvragen binnenkomen, hoe het model reageert, waar het misgaat). Datadog LLM Observability koppelt AI-metrieken aan infrastructuurdata (GPU-gebruik, reactietijd) en is sterk in het signaleren van rate-limit-storms (pieken die de capaciteitslimiet van de modelaanbieder raken). Arize Phoenix is open-source en gericht op RAG-evaluatie, embedding-drift en hallucinatie-detectie. Langfuse (open-source, self-hostbaar) biedt diepe tracing (stap-voor-stap-volging van elke aanroep in de keten) van agent-workflows; cruciaal om te begrijpen waar in een keten van beslissingen iets misgaat.

Adversariële test-frameworks simuleren wat een aanvaller zou doen. Microsoft PyRIT automatiseert red-teaming (beveiligingsexperts die zich als aanvaller opstellen om kwetsbaarheden bloot te leggen) met duizenden gegenereerde prompts en scoort hoe goed het model standhoudt. NVIDIA Garak is een open-source kwetsbaarheidsscanner met meer dan 30 modules voor prompt-injectie, data-lek (gegevens die uitlekken die het systeem niet had mogen prijsgeven), hallucinatie en jailbreak-resistentie. Beide horen in de testketen, niet alleen in een eenmalige assessment.

Betrouwbaarheids-mechanismen in productie. Canary-releases volgens een vast schema (1% → 5% → 20% → 50% → 100%) met automatische rollback bij drempel-overschrijding. Shadow-mode deployment om een nieuw model parallel aan productie te draaien zonder gebruikersimpact. Circuit breakers die bij aanhoudende fouten de aanroepen tijdelijk stoppen en automatisch overschakelen op een fallback-pad (elegant degraderen). Salesforce Agentforce (de AI-agent-laag in het Salesforce-platform) schakelt bij meer dan 40% fout-percentage in 60 seconden voor OpenAI-verkeer over naar Azure OpenAI: de circuit-breaker als productie-beschermer.

Compliance-laag. Tooling die helpt aan te tonen dat aan de wet wordt voldaan, in drie categorieën:

• Model-registry-software (zoals MLflow, Weights & Biases, of voor veel organisaties simpelweg een spreadsheet) waarin alle ingezette AI-systemen worden gecatalogiseerd: doel, eigenaar, modelversie, dataset, risico-tier. Voor overheidsorganisaties is het algoritmeregister (het openbare register van de Rijksoverheid waarin overheidsorganisaties hun AI-systemen vastleggen) de wettelijke publicatie-bestemming; veel teams synchroniseren hun interne registratie daarmee. Voor de AI Bill of Materials (een stuklijst van alle modellen, datasets en libraries in een AI-product met hun versies) wordt het CycloneDX-formaat gebruikt: een open standaard die oorspronkelijk voor software-stuklijsten is ontwikkeld en uitgebreid is voor AI.

• Logging- en tracing-tools (zoals OpenTelemetry, de ELK-stack of Datadog Audit Trail) die alle aanroepen over frontend, backend en LLM aan één trace-id koppelen. Zodra dat staat, is een audit-vraag (“wat is er gebeurd op 12 maart om 14:23?”) in één zoekquery beantwoordbaar, zonder handmatig logs uit zes systemen samen te puzzelen.

• Monitoring-dashboards die de post-market monitoring (Art. 72 EU AI Act: verplichte prestatie-rapportage na ingebruikname) automatiseren: drempelwaardes, drift-metrieken en incident-rapportages in één overzicht.

Die laag is in 2026 nog vol-in-ontwikkeling; voor de meeste organisaties is een spreadsheet plus een gestructureerd kwartaal-overzicht voorlopig genoeg.

Robuustheid is geen geïsoleerd thema. Het landt in concrete bouwstenen en raakt direct aan drie andere waarborgen.

Bouwstenen die Robustness operationaliseren staan in de sectie hieronder uitgewerkt. Evaluation Loop (BB_07: meten, leren en verbeteren in een gesloten cyclus) is de operationele kern; drift-bewaking en regressie-tests zijn precies wat ALTAI onder Reliability (de HLEG-deelvereiste voor betrouwbaar gedrag onder alle omstandigheden) vraagt. Dynamic Context (BB_03: de juiste informatie op het juiste moment) is waar context-rot en stale context als stille faalmodi optreden. Tool Integration (BB_05: AI verbinden met de buitenwereld) is de kwetsbaarste schakel met externe koppelingen. Model Engines (BB_06: de denk- en rekenkern) is waar de modelkeuze het robuustheidsprofiel bepaalt.

Andere waarborgen raken aan robuustheid op verschillende plekken:

• Privacy (GR_03: persoonsgegevens onder controle, van trainingsdata tot model-output) overlapt op data-bescherming bij adversariële aanvallen zoals membership inference (achterhalen of een specifieke persoon in de trainingsdata zat) en training-data-extractie (gevoelige bron-data terug-genereren uit het getrainde model). De HLEG-traditie scheidt de twee bewust: data-bescherming valt onder Privacy, weerbaarheid van het systeem onder Robustness.

• Fairness (GR_05: gelijke uitkomsten over groepen) raakt aan robuustheid via systematische bias-detectie. Een AP-conclusie van maart 2026: bij recruitment-AI accumuleert bias over de hele keten, van vacature-tekst tot screening. Robuustheid bij Fairness betekent: continue bias-monitoring met drempelwaardes, niet één eenmalige bias-audit.

• Accountability (GR_07: aantoonbare verantwoording) raakt aan incident-respons. De grens loopt zo:

  • Technische mechanismen (horen bij Robustness): rollback, kill-switch, observability-tooling.
  • Organisatorische mechanismen (horen bij Accountability): RACI-rollenmatrix, escalatiepaden, audit-trails, post-mortem-cultuur.

  RACI staat voor responsible, accountable, consulted, informed: per actie vastleggen wie het doet, wie eindverantwoordelijk is, wie wordt geraadpleegd, wie wordt geïnformeerd. Beide zijn nodig: een werkend rollback-mechanisme zonder duidelijke verantwoordelijkheid valt stil zodra niemand op de knop durft te drukken.