Er zijn niet veel bedrijven die in hun eentje $ 1 biljoen aan marktkapitalisatie van de Amerikaanse aandelenmarkt kunnen wegvagen. Toch is dat precies wat de Chinese AI-startup DeepSeek beheerd eind januari na de introductie van een nieuw model waarvan wordt beweerd dat het werkt voor een fractie van de kosten van OpenAI met vergelijkbare resultaten. Sindsdien zijn de markten hersteld en is er nieuws naar buiten gekomen over ernstige beveiligings- en privacyproblemen met het DeepSeek-R1 large language model (LLM) en de front-end app van het bedrijf.

Maar voordat CISO's hun schouders ophalen en verdergaan, moeten we dit in context plaatsen. Alleen omdat de technologie van DeepSeek als hoog risico is bestempeld, betekent dit niet dat andere modellen helemaal foutloos zijn. Beveiligingsteams hebben mogelijk best practice-normen nodig om hen te helpen bij het navigeren door risico's in deze snel evoluerende ruimte.

Wat is er mis met DeepSeek?

Think één stuk onderzoekDeepSeek-R1 heeft twee belangrijke problemen:

 

  • Het is kwetsbaar voor ‘jailbreaking’ via prompt-injectie. Met andere woorden, door specifieke prompts in te voeren, kunnen gebruikers de ingebouwde veiligheidsvoorzieningen omzeilen die door DeepSeek-ontwikkelaars zijn ingevoegd, wat resulteert in onethische en ronduit gevaarlijke outputs. Toen Kela-onderzoekers de LLM bijvoorbeeld aanspoorden om een ​​"kwaadaardige" persona aan te nemen, vrij van ethische of veiligheidsbeperkingen, was het heel blij met het verstrekken van een infostealer-malwarescript, suggesties over welke cybercrime-marktplaatsen te bezoeken en zelfs begeleiding bij het maken van een zelfmoorddrone
  • Het is vatbaar voor “hallucinaties” – bijvoorbeeld door op verzoek een lijst met persoonlijke informatie over senior OpenAI-medewerkers te verstrekken, die onjuist was

Een aparte studie van EncryptieAI bevestigt dat DeepSeek geneigd is om misinformatie en schadelijke content te leveren. Het beweert dat het model:

  • 3x meer bevooroordeeld dan Claude-3 Opus
  • 4x kwetsbaarder voor het genereren van onveilige code dan OpenAI's O1
  • 4x giftiger dan GPT-4o
  • 11x meer kans op schadelijke output in vergelijking met OpenAI O1
  • 3.5x waarschijnlijker om chemische, biologische, radiologische en nucleaire (CBRN) inhoud te produceren dan OpenAI O1 en Claude-3 Opus

Er ontstonden nog meer zorgen over de beveiliging van de back-endinfrastructuur van DeepSeek nadat een beveiligingsleverancier ontdekt een openbaar toegankelijke database van het bedrijf, waarin zeer gevoelige gegevens worden blootgesteld, waaronder logstromen, API-geheimen en operationele details.

Afzonderlijke analyse van SecurityScorecard onthult een reeks beveiligings- en privacyproblemen met de DeepSeek Android-app, waaronder:

  • Zwakke beveiliging, zoals hardgecodeerde encryptiesleutels, zwakke cryptografische algoritmen en SQL-injectierisico's
  • Overdreven brede gegevensverzameling over gebruikers, waaronder invoer, apparaatgegevens en toetsaanslagpatronen, die allemaal op servers in China worden opgeslagen
  • Onbekende gegevensuitwisseling met Chinese staatsbedrijven en TikTok-moederbedrijf ByteDance, en vage privacybeleid

Anti-debuggingtechnieken die gewoonlijk worden ingezet om beveiligingsanalyses te belemmeren.

Het deksel op de LLM-risico's tillen

Hoewel concurrerende modellen zoals die van OpenAI als veel veiliger worden beschouwd, zou het onverstandig zijn om aan te nemen dat de risico's die DeepSeek-R1 benadrukt, elders niet aanwezig zijn.

"Het zich ontvouwende DeepSeek-incident mag niet worden misbruikt als een handige reden om plotseling ernstige schendingen en AI-gerelateerde risico's van andere GenAI-leveranciers te vergeten. Anders missen we door de bomen het bos", betoogt ImmuniWeb CEO, Platt Law cybersecurity partner en Capitol Technology University professor Ilia Kolochenko.

Of organisaties nu een LLM van derden zoals DeepSeek gebruiken of er zelf een ontwikkelen/finetunen, ze moeten zich ervan bewust zijn hoe het het aanvalsoppervlak van het bedrijf kan vergroten. Mogelijke risicopunten zijn onder meer het model zelf, de data waarop het is getraind, alle API's, open-sourcebibliotheken van derden, front-endapplicaties en back-end cloudinfrastructuur.

OWASP heeft samengesteld a Top 10 voor LLM-aanvragen een opsomming van de belangrijkste beveiligingsproblemen, waarvan sommige DeepSeek hebben beïnvloed. Dit zijn:

  1. Snelle injectiekwetsbaarheden die uitgebuit kan worden door specifieke invoer te creëren om het gedrag van het model te veranderen, waarbij veiligheidsvoorzieningen worden omzeild.
  2. Openbaarmaking van gevoelige informatie die bedrijfsgeheimen of klantgegevens kunnen omvatten.
  3. Kwetsbaarheden in de toeleveringsketen, zoals bugs in open-sourcecomponenten, die kunnen worden misbruikt om onbedoelde uitvoer te creëren, gevoelige gegevens te stelen of systeemstoringen te veroorzaken.
  4. Vergiftiging van gegevens en modellen, waarbij pre-training, fine-tuning of insluiting van gegevens wordt gemanipuleerd om kwetsbaarheden, achterdeurtjes of vooroordelen te introduceren.
  5. Onjuiste uitvoerverwerking, als gevolg van onvoldoende validatie, sanering en behandeling, wat mogelijk kan leiden tot hallucinaties of beveiligingsproblemen.
  6. Overdreven agentschap vloeit voort uit overmatige functionaliteit, rechten en/of autonomie en kan leiden tot een groot aantal negatieve uitkomsten, waaronder inbreuken en nalevingsproblemen.
  7. Systeemprompt lekkage, Dit gebeurt wanneer systeemmeldingen gevoelige informatie bevatten, waardoor aanvallers deze informatie kunnen misbruiken.
  8. Zwakke punten in vectoren en inbedding zijn specifiek voor LLM-systemen die gebruikmaken van Retrieval Augmented Generation (RAG) en kunnen worden misbruikt om schadelijke inhoud te injecteren, modeluitvoer te manipuleren of toegang te krijgen tot gevoelige informatie.
  9. Misinformatie, die grotendeels voortkomt uit hallucinaties.
  10. Onbeperkte consumptie, die voortkomt uit ‘overmatige en ongecontroleerde gevolgtrekkingen’ en kan leiden tot een weigering van de dienst.

Kan ISO 42001 helpen?

Het goede nieuws is dat CISO's die de kracht van LLM's binnen hun activiteiten willen benutten en/of aan klanten willen leveren, dit op een manier kunnen doen die deze risico's beperkt, dankzij een baanbrekende nieuwe standaard. ISO 42001 biedt een raamwerk om een ​​AI Management System (AIMS) op te zetten, te implementeren, te onderhouden en continu te verbeteren. Het bestrijkt de volledige levenscyclus van AI-systemen en helpt organisaties om:

  • Integreer ethische principes in de AI om vooroordelen te voorkomen en mensenrechten te respecteren
  • Vergroot de transparantie van AI-systemen en algoritmen om vertrouwen en verantwoording te bevorderen
  • Identificeer, beoordeel en beperk risico's zoals die welke door OWASP worden benadrukt en in DeepSeek worden aangetroffen
  • Verbeter de naleving door AI-activiteiten af ​​te stemmen op bestaande wettelijke en regelgevende kaders
  • Bevorder een cultuur van continue verbetering in het beheer van AI-systemen

Kolochenko vertelt ISMS.online dat dergelijke normen geen wondermiddel zijn, maar wel een waardevol doel kunnen dienen.

“De nieuwe ISO 42001-norm zal zeker waarde toevoegen aan het opvullen van het regelgevingsvacuüm op het gebied van AI, hoewel incidenten met AI – waaronder zeer ernstige – waarschijnlijk exponentieel zullen blijven toenemen”, betoogt hij.

Corian Kennedy, Senior Threat Insights & Attribution Manager bij SecurityScorecard, gaat nog een stap verder.

"Zowel ISO 42001 als ISO 27001 bieden governance- en beveiligingskaders die helpen bij het beperken van risico's van onveilige apps van derden, zoals DeepSeek en risicovolle LLM's - of deze nu extern of intern zijn gebouwd", vertelt hij aan ISMS.online.

“Samen helpen ze de risico's van onveilige AI-modellen te verminderen door strikt bestuur af te dwingen, de naleving van regelgeving te versterken om ongeautoriseerde blootstelling van gegevens te voorkomen en interne AI-systemen te beveiligen met toegangscontroles, encryptie en leveranciersonderzoek.”

Kennedy wijst er echter op dat ISO 42001 weliswaar een ‘solide basis voor AI-beveiliging, privacy en governance’ kan bieden, maar dat het mogelijk geen contextueel bedrijfsrisico kent.

“Daarom is het de verantwoordelijkheid van degenen die zich bezighouden met cyberverdediging om aanvullende controles te implementeren op basis van de context van het dreigingslandschap en ter ondersteuning van de bedrijfsvoering”, betoogt hij.