De EU is ongetwijfeld de huidige wereldleider als het gaat om AI-regulering. Hoe gebrekkig de nieuwe AI-wet ook mag zijn, het is een belangrijke prestatie. Het Verenigd Koninkrijk neemt een meer afwachtende houding aan, ondanks dat het zijn ambitie kenbaar maakt om een verantwoordelijke wereldspeler te zijn door in november vorig jaar de wereldwijde AI-veiligheidstop te organiseren. Kort daarna publiceerde het Britse National Cyber Security Centre (NCSC) een nieuwe reeks richtlijnen voor de ontwikkeling van veilige AI-systemen.
De richtlijnen worden door de Amerikaanse Cybersecurity and Infrastructure Security Agency (CISA) geprezen als een ‘belangrijke mijlpaal’ en zijn een geweldige eerste stap om ontwikkelaars te helpen security-by-design-principes in hun werk te integreren. Het nog betere nieuws is dat ze bestaande best practices kunnen gebruiken om hen te helpen.
Wat houden de NCSC-richtlijnen in?
Het nieuwe document is relevant voor aanbieders van alle systemen die AI bevatten – of deze nu helemaal opnieuw zijn gebouwd of bovenop bestaande services. Ze zijn ook onderschreven door Amazon, Google, Microsoft en OpenAI, evenals door meerdere andere landen, waaronder de hele G7, plus Chili, Tsjechië, Estland, Israël, Nigeria, Noorwegen, Polen, Singapore en Zuid-Korea. De richtlijnen zijn opgesplitst in vier secties:
Veilig ontwerp
Overwegingen in de eerste fase van de AI-ontwikkeling zijn onder meer:
- Vergroot het bewustzijn van bedreigingen en risico's onder datawetenschappers, ontwikkelaars, senior leiders en systeemeigenaren. Ontwikkelaars zullen moeten worden getraind in veilige codeertechnieken en veilige en verantwoordelijke AI-praktijken
- Pas een ‘holistisch proces’ toe om bedreigingen voor het AI-systeem te beoordelen en begrijp de potentiële impact op het systeem en de gebruikers/de samenleving als de AI wordt aangetast of zich ‘onverwachts’ gedraagt
- Ontwerp het systeem met het oog op veiligheid, functionaliteit en prestaties. Hiervoor is een supply chain nodig risicobeheeren de integratie van de ontwikkeling van AI-softwaresystemen in bestaande veilige praktijken
- Begrijp de afwegingen en voordelen op het gebied van beveiliging bij het kiezen van een AI-model. De keuze van de modelarchitectuur, configuratie, trainingsgegevens, trainingsalgoritme en hyperparameters moet worden gemaakt in overeenstemming met het dreigingsmodel van de organisatie en regelmatig opnieuw worden beoordeeld
Veilige ontwikkeling
Overweeg in de ontwikkelingsfase:
- Beoordeling en monitoring van de beveiliging van de toeleveringsketen gedurende de levenscyclus van het AI-systeem. Leveranciers dienen zich aan dezelfde normen te houden als de organisatie voor andere software hanteert
- Identificeren, volgen en beschermen van AI-gerelateerde assets, inclusief modellen, gegevens, aanwijzingen, software, documentatie, logs en beoordelingen
- Documenteren van de creatie, werking en levenscyclusbeheer van modellen, datasets en meta-prompts
- Het beheren en volgen van technische schulden gedurende de levenscyclus van het AI-model
Veilige implementatie
Kijk in de implementatiefase naar:
- Het beveiligen van infrastructuur volgens best practice-principes, zoals toegangscontrole voor API's, modellen en gegevens, en scheiding van omgevingen die gevoelige code bevatten
- Continue best practice bescherming van het model tegen directe en indirecte toegang
- Het ontwikkelen van probleembehandeling procedures
- Modellen, applicaties of systemen pas vrijgeven na veiligheidsevaluatie zoals red team-oefeningen
- Het standaard implementeren van een veilige configuratie, zodat gebruikers gemakkelijker de juiste dingen kunnen doen
Veilige bediening en onderhoud
In de operationele fase suggereert het NCSC dat organisaties:
- Bewaak en log systeeminvoer in overeenstemming met privacy en gegevensbescherming vereisten, om compliance, audit, onderzoek en herstel mogelijk te maken
- Volg een ‘secure-by-design’-benadering voor updates
- Doe mee aan mondiale gemeenschappen die informatie delen en veiligheid mogelijk maken onderzoekers om kwetsbaarheden te onderzoeken en te rapporteren
Hoe een ISMS kan helpen
Een informatiebeveiligingsbeheersysteem (ISMS) kan er veel toe bijdragen dat de AI-systemen en het gebruik van een organisatie veilig, veerkrachtig en betrouwbaar zijn, aldus Sam Peters, CTO van ISMS.online. Hij stelt dat naleving van ISO 27001 een “schaalbare, top-down informatiebeveiligingscultuur” oplevert, gebouwd op “risicogestuurde, procesgebaseerde beveiliging”, die ontwikkelaars kan helpen de NCSC-richtlijnen te volgen.
“Het mooie van ISO 27001 is dat het infosec omschrijft als een kwestie van organisatorisch bestuur”, vertelt Peters aan ISMS.online.
“Door deze governance-aanpak voor de AI-beveiligingsstrategie te hanteren, kunnen organisaties erop vertrouwen dat ze de beveiliging duurzaam kunnen opschalen in plaats van alleen maar een inhaalslag te maken. Teams hebben ook duidelijkheid over de basisverwachtingen. Uiteindelijk vermindert dit het risico, ook al worden AI-systemen en -gebruik exponentieel complexer.”
Peters ziet zeven belangrijke kruispunten tussen ISO 27001 en de NCSC-richtlijnen:
Risicobeoordelingen:
ISO 27001 schrijft regelmatige infosec-risicobeoordelingen voor, die kunnen helpen kwetsbaarheden, bedreigingen en aanvalsvectoren in AI-systemen bloot te leggen.
Beleid en procedures:
Een ISMS vereist uitgebreid beleid en processen voor het beheer van de beveiliging. Deze kunnen op maat worden gemaakt voor AI-systemen en worden afgestemd op de NCSC-richtlijnen.
Toegangscontroles:
Op rollen gebaseerde toegangscontrole en privilegebeheer zijn vereist door ISO 27001 en kunnen ook helpen de toegang tot gevoelige AI-middelen zoals datasets en modellen te beperken.
Leveranciers management:
ISO 27001-vereisten voor audits en contractuele overeenkomsten kunnen helpen bij het beheersen van risico’s in relaties van derden met AI-leveranciers.
Probleembehandeling:
De ISO-norm bevat ook eisen voor incidentbeheer die organisaties kunnen gebruiken om te reageren op beveiligingsincidenten die AI-systemen treffen.
Beveiligingsbewaking:
De registratie-, monitoring- en waarschuwingscontroles die nodig zijn voor naleving van ISO 27001 kunnen organisaties helpen afwijkend AI-systeemgedrag te detecteren en op incidenten te reageren.
Beveiligingsbewustzijn en training:
De ISO 27001-vereisten op dit gebied kunnen worden uitgebreid om ervoor te zorgen dat belangrijke belanghebbenden de unieke beveiligingsuitdagingen van AI-systemen begrijpen en op de hoogte blijven van de nieuwste bedreigingen en best practices.
De volgende stappen
“Naarmate AI-technologieën evolueren en steeds meer ingebed raken in alledaagse processen, zal de overlap tussen AI-beveiliging en informatiebeveiliging waarschijnlijk toenemen op gebieden als gegevensbeveiliging, robuustheid van modellen, verklaarbaarheid en vertrouwelijkheid – die allemaal rechtstreeks voortbouwen op de fundamenten van informatiebeveiliging”, zegt Peters. concludeert.
“Dit vereist een alomvattende benadering van beveiliging, waarbij rekening wordt gehouden met zowel traditionele informatiebeveiligingsprincipes als de unieke uitdagingen die AI-technologieën met zich meebrengen.”
Zullen de NCSC-richtlijnen een brede acceptatie krijgen? Aangezien ze vrijwillig zijn, is de jury daar nog niet over uit. Maar voor elke organisatie die AI-systemen ontwikkelt, zijn ze ten zeerste aanbevolen. Het is beter om nu de tijd en moeite te steken in het ontwerpen van secure-by-design-systemen, dan het risico te lopen op een ernstige inbreuk in de toekomst. Een dergelijk incident kan de organisatie vele malen meer kosten om te herstellen en te herstellen van de reputatie.







