De Britse overheid zet flink in op AI. Gezien de staat van de overheidsfinanciën en een langdurige nationale productiviteitsdaling, moet dat in veel opzichten ook wel. Een ambitieus Actieplan voor AI-kansen aangekondigd in januari heeft veel te bieden. Maar waar kansen zijn, zijn ook risico's.
Daarom is het bemoedigend om te zien dat de overheid ook concrete stappen zet om de veiligheid van het AI-ecosysteem te verbeteren. Aangekondigd slechts twee weken na het actieplan zal een nieuwe 'wereldprimeur'-gedragscode ontwikkelaars, systeembeheerders en andere belanghebbenden helpen bij het bouwen, implementeren, onderhouden en monitoren van hun AI-systemen in overeenstemming met best practices voor beveiliging. De hoop is dat de code uiteindelijk de basis zal vormen voor een nieuwe internationale ETSI-standaard.
Waarom we het nodig hebben
Hoewel de technologie snel vordert, kennen we al enkele van de belangrijkste bedreigingen die AI vormt voor bedrijven als het niet veilig is ontworpen. Deze omvatten:
- Prompt injection-aanvallen waarmee kwaadwillende actoren ingebouwde veiligheidsvoorzieningen kunnen omzeilen om misbruik te maken van grote taalmodellen (LLM's) voor duistere doeleinden. Het dark web is naar verluidt al overspoeld met “jailbreak-as-a-service”-aanbiedingen die precies dit mogelijk maken.
- Kwetsbaarheden en verkeerde configuraties in AI-systeemcomponenten, die kunnen worden uitgebuit/gebruikt om gevoelige trainingsgegevens of modellen te stelen of te "vergiftigen". Dergelijke beveiligingslekken zijn al ontdekt in de hele toeleveringsketen, inclusief vectordatabases, open-sourcecomponenten en LLM-hostingplatforms.
- Denial of service, als een aanvaller een ongewoon grote invoer in een LLM invoert
- Openbaarmaking van gevoelige gegevens (bijvoorbeeld klantgegevens) via de reactie op een prompt van een gebruiker, ongeacht of dit onbedoeld of kwaadaardig is
De waarheid is dat moderne AI-systemen een al breed cyberaanvalsoppervlak voor bedrijven uitbreiden, inclusief API's, LLM-modellen, open source-code, trainingsdatasets, front-end-interfaces en cloudinfrastructuur. Het risico op kwaadwilligheid groeit naarmate ze in meer bedrijfsprocessen en -applicaties worden ingebed. OWASP Top 10 voor LLM-aanvragen is een goed begin. Maar het is geen uitputtende lijst van AI-gerelateerde beveiligingsrisico's.
Voor wie het is
De gedragscode zelf is van toepassing op een aantal belangrijke stakeholders. Deze omvatten:
- Softwareleveranciers die AI-diensten aan klanten aanbieden
- Softwareleveranciers die AI intern gebruiken, ongeacht of deze intern of door een derde partij is ontwikkeld
- Reguliere organisaties die AI-systemen voor intern gebruik creëren
- Reguliere organisaties die alleen AI-componenten van derden gebruiken voor intern gebruik
Alleen “AI-leveranciers” die modellen of componenten verkopen, maar deze niet daadwerkelijk ontwikkelen of implementeren, vallen waarschijnlijk buiten de “scope” van deze code.
Wat staat er in de code?
De gedragscode is verdeeld in 13 'principes' die elke fase van de AI-levenscyclus bestrijken, van ontwerp, ontwikkeling, implementatie, onderhoud tot einde levensduur. Deze zijn:
- Bewustwording verhogen van AI-beveiligingsbedreigingen en -risico's door cybersecuritypersoneel en de bredere werknemersbasis te trainen.
- Ontwerp AI-systemen voor veiligheid, functionaliteit en prestaties op basis van grondige planning en risicobeoordelingen.
- Bedreigingen evalueren/modelleren en risico's die samenhangen met het gebruik van AI beheren door middel van beveiligingsmaatregelen en continue monitoring.
- Maak menselijke verantwoordelijkheid mogelijk en toezicht op AI-systemen.
- Activa identificeren, volgen en beschermen door middel van een uitgebreide inventarisatie en trackingtools die rekening houden met onderlinge afhankelijkheden en connectiviteit.
- Veilige infrastructuur zoals API's, modellen, data en training- en verwerkingspijplijnen. Dit zou een beleid voor het bekendmaken van kwetsbaarheden en incidentbeheer/systeemherstelplannen moeten omvatten.
- Beveilig de software-toeleveringsketen door middel van risicobeoordelingen, mitigerende maatregelen en documentatie.
- Documentgegevens, modellen en prompts met een duidelijk audittrail van systeemontwerp en onderhoudsplannen na implementatie. Documentatie is nodig om zorgen over datavergiftiging weg te nemen wanneer openbare trainingsdata wordt gebruikt.
- Voer geschikte tests en evaluaties uit alle modellen, toepassingen en systemen worden gecontroleerd voordat ze door onafhankelijke testers worden geïmplementeerd.
- Veilig implementeren door eindgebruikers te vertellen hoe hun gegevens worden gebruikt, benaderd en opgeslagen. Stakeholders moeten ook beveiligingsrelevante updates, begeleiding bij beheer en configuratie en assistentie bieden om de impact van een incident te beperken en te beperken.
- Zorg voor regelmatige beveiligingsupdates, patches en mitigaties.
- Systeemgedrag bewaken door het loggen van systeem- en gebruikersacties en het detecteren van afwijkingen, beveiligingsinbreuken of onverwacht gedrag in de loop van de tijd.
- Zorg voor een correcte verwijdering van gegevens en modellen bij het buiten gebruik stellen of overdragen van het eigendom van een model of trainingsgegevens.
De bouwstenen op hun plaats zetten
Het goede nieuws is dat best-practice cybersecurity-normen organisaties kunnen helpen om te voldoen aan de code. ISO 27001 wordt in het document zelf genoemd, maar David Cockcroft, sectormanager informatiebeveiliging bij ISOQAR, beweert dat ISO 42001 het beste past. Deze relatief nieuwe norm is ontworpen om organisaties te helpen bij het opzetten, implementeren, onderhouden en continu verbeteren van een Artificial Intelligence Management System (AIMS).
"De fundamentele links naar ISO 42001 zijn vanaf het begin duidelijk. Het publiek en de stakeholders binnen de gedragscode zijn direct verbonden met de organisatorische context en de rol van de organisatie in de AI-levenscyclus die in de norm wordt aangetroffen", vertelt hij aan ISMS.online.
“Alle principes binnen de gedragscode kunnen worden gekoppeld aan de clausules en controles binnen de 42001-norm.”
Andreas Vermeulen, hoofd AI bij Avantra, is het daarmee eens.
"Door ISO 42001 te integreren met de huidige beveiligingsnormen kunnen organisaties de naleving van de code verbeteren, waardoor wordt gewaarborgd dat AI-specifieke beveiligings- en operationele risico's adequaat worden aangepakt, waardoor de algehele beveiligingshouding van AI wordt verbeterd", vertelt hij aan ISMS.online.
“Het Verenigd Koninkrijk geeft een sterk voorbeeld door uitgebreide richtlijnen op te stellen die de veilige en beveiligde inzet van AI-technologieën garanderen. Deze inspanningen positioneren het als een leider in de verantwoorde ontwikkeling van AI-systemen.”
Op ISMS.online, we hebben eerder in twijfel getrokken of de ambitieuze AI-plannen van de overheid ook cyberrisico's kunnen injecteren in de infrastructuur en applicaties die nodig zijn om haar veelgeprezen "decennium van nationale vernieuwing" te voeden. Het is dus goed om wat nuttige richtlijnen te zien die worden gepubliceerd naast vaak vage beloften van door technologie aangestuurde groei.
"De nieuwe gedragscode, die we in samenwerking met wereldwijde partners hebben opgesteld, zal niet alleen helpen de veerkracht van AI-systemen tegen kwaadaardige aanvallen te vergroten, maar ook een omgeving creëren waarin Britse AI-innovatie kan gedijen", aldus Ollie Whitehouse, technisch directeur van NCSC.
Naarmate de code zich ontwikkelt tot een internationale standaard, kan deze in de toekomst de facto de basis vormen voor AI-beveiliging.
