Onderzoekers hebben een fout in Microsoft 365's Copilot, "EchoLeak", beschreven, waarmee aanvallers gevoelige bedrijfsgegevens kunnen exfiltreren zonder enige interactie met de gebruiker. Zijn bedrijven, nu dit soort problemen toenemen, laks met de dreiging van AI?

In juni maakten onderzoekers bekend dat ze een fout hadden gevonden in Microsoft 365's Copilot waarmee kwaadwillenden gevoelige bedrijfsgegevens kunnen exfiltreren in een 'zero-click'-aanval, waarbij geen interactie van de gebruiker vereist is.

Bijgenaamd "EchoLeak" en vermoedelijk de eerste van zijn soortde kwetsbaarheid maakt gebruik van ontwerpfouten die zijn gevonden in ophalen augmented generatie-gebaseerde chatbots en AI-agenten, aldus onderzoekers bij Aim Labs.

In een blog, legden de onderzoekers uit hoe ze een nieuwe exploitatietechniek gebruikten, genaamd Large Language Model (LLM) Scope Schending. "Dit vertegenwoordigt een belangrijke stap voorwaarts in het onderzoek naar hoe dreigingsactoren AI-agenten kunnen aanvallen – door gebruik te maken van de mechanismen van interne modellen", schreven ze.

Microsoft heeft het probleem opgelost voordat het in echte aanvallen kon worden gebruikt, maar EchoLeak toont de zeer reële risico's die het met zich meebrengt. AI-tools in het bedrijfsleven.

Nu dit soort kwetsbaarheden steeds vaker aan het licht komen, rijst de vraag of bedrijven laks zijn met de dreiging die AI vormt. En welke stappen moeten ze nemen om ervoor te zorgen dat ze veerkrachtig zijn?

AI-gebaseerde bedreigingen

AI-tools brengen tal van risico's met zich mee voor bedrijven. Hoewel ze bijvoorbeeld getraind zijn om behulpzaam te zijn, begrijpen ze niet altijd wat niet gedeeld mag worden, zegt Sam Peters, Chief Product Officer bij ISMS.online.

Een van de grootste risico's schuilt in de manier waarop generatieve AI-systemen worden getraind of aangestuurd. "Ze kunnen onbedoeld gevoelige informatie opslaan of openbaar maken, zonder kwade bedoelingen", waarschuwt Lillian Tsang, senior advocaat gegevensbescherming en privacy bij advocatenkantoor Harper James.

Bij een slechte configuratie kunnen AI-tools zelfs klant- of werknemersgegevens opdreunen als reactie op prompts. "Achtergrondprocessen kunnen gecachte of getokeniseerde informatie blootleggen via interacties met externe systemen", legt Tsang uit. "Het meest verontrustende is dat de gebruiker mogelijk nooit weet dat er verkeerd met zijn gegevens is omgegaan, wat detectie en reactie alleen maar moeilijker maakt."

Wat de situatie nog erger maakt, is de snelheid waarmee AI wordt geïmplementeerd. AI-tools worden steeds vaker diep in de bedrijfsinfrastructuur ingebed – vaak met "vage beleidsregels" of "beperkt inzicht in hoe ze data verwerken en opslaan", aldus Robert Rea, Chief Technical Officer bij Graylog.

Kwetsbaarheden in AI-tools gooien nog meer olie op het vuur. EchoLeak is een duidelijk teken dat de beveiligingsmodellen waarop bedrijven vertrouwen niet goed te vertalen zijn naar AI, aldus Emilio Pinna, directeur bij SecureFlag. "Tools zoals Copilot werken met meerdere bronnen en rechten en halen automatisch gegevens op om de productiviteit te verhogen. De uitdaging is dat AI niet dezelfde duidelijke grenzen volgt als traditionele apps."

AI-tools, zoals Microsoft Copilot, zijn ongetwijfeld krachtig, maar ze zijn slechts zo veilig als de systemen en governance eromheen, zegt Peters. "Ik denk dat dit incident aantoont dat het werkelijke risico van AI op dit moment niet alleen ligt in opzettelijk misbruik; het gaat om onbedoelde blootstelling."

Risicobewust

Zoals EchoLeak aantoont, is de dreiging reëel en neemt deze toe, maar experts denken dat sommige bedrijven laks zijn met de gevaren die AI-tools met zich meebrengen. Dit komt deels doordat er zoveel aandacht is voor wat AI kan, in plaats van de risico's die het met zich meebrengt.

“Bedrijven zijn tot op zekere hoogte momenteel verblind door de nieuwigheid van AI en de mogelijkheden ervan”, vertelt Joseph Thompson, advocaat in het commerciële en technologische team van Birketts LLP. ISMS.online"We vragen ons niet af of het veilig is, wat de risico's zijn en hoe we onszelf en onze bedrijven kunnen beschermen."

Het grootste probleem is dat veel organisaties AI nog steeds zien als een extraatje, in plaats van iets dat fundamenteel verandert hoe data wordt benaderd en openbaar gemaakt, zegt Peters. "Er wordt vanuit gegaan dat leveranciers alles onder controle hebben."

De realiteit is echter dat AI niet in een isolement zit, zegt hij. "Het heeft invloed op alles. Die onderlinge verbondenheid is precies wat het zo riskant maakt zonder de juiste controles."

Naarmate AI diep wordt geïntegreerd in de belangrijkste productiviteitssuites, nemen de bijbehorende risico's aanzienlijk toe, aldus Rea. "AI-systemen functioneren niet langer als geïsoleerde tools, maar evolueren naar alomtegenwoordige lagen die zijn ingebed in applicaties, API's en communicatiekanalen. Deze wijdverbreide integratie vergroot de kans op misbruik, onbedoelde blootstelling van gegevens en datalekken."

Als er nu niets wordt gedaan om het probleem aan te pakken, zal het alleen maar erger worden. Naarmate de technologie zich ontwikkelt, zal AI steeds meer data, systemen en workflows beïnvloeden, waardoor de potentiële aanvalsoppervlakken aanzienlijk toenemen, aldus Thompson.

Tegelijkertijd zullen bedrijven te maken krijgen met steeds geavanceerdere aanvalsmethoden die door tegenstanders worden gebruikt. "Aanvallers zullen zich niet langer uitsluitend richten op code en infrastructuur, maar zich meer richten op AI-gedrag zelf", waarschuwt Thompson.

Door al deze factoren wordt AI-governance steeds complexer en is het nodig dat teams uit het hele bedrijf samenwerken om naleving te bewaken en potentiële bedreigingen het hoofd te bieden, aldus Thompson.

Versterking van AI-bestuursstrategieën

EchoLeak is allereerst een wake-upcall, zegt Thompson. "Het gaat niet alleen om het oplossen van de kwetsbaarheid en verdergaan. Organisaties moeten zowel de mate als de manier waarop AI wordt geïntegreerd in bedrijfskritische systemen heroverwegen."

Nu er steeds meer AI-tools en -toepassingen op de markt komen, moeten bedrijven snel handelen. Dit vereist "een serieuze stap voorwaarts" in de manier waarop bedrijven AI-governance aanpakken, aldus Peters. "Hoe saai het misschien ook klinkt, dit omvat zaken als duidelijke dataclassificatie, strengere toegangscontroles, betere monitoring en, cruciaal, het trainen van je personeel om te begrijpen hoe deze tools zich gedragen."

Het is de moeite waard om de NIST-richtlijnen te overwegen AI-risicobeheerkader, wat bedrijven helpt de voordelen van de technologie te realiseren en tegelijkertijd de risico's ervan te beperken. ISO 42001:2023 Het raamwerk geeft ook aan hoe AI-beheersystemen binnen organisaties op verantwoorde wijze kunnen worden opgezet en onderhouden.

Effectieve governance kan geen bijzaak zijn. Als dat wel zo is, heb je al gefaald, zegt Peters. Om governance effectief te laten zijn en je bedrijf te beschermen, moet het vanaf het begin worden ingebouwd in je risico- en compliancestrategieën, adviseert hij.

"Geen enkel bedrijf kan het zich veroorloven om 'nee AI' te zeggen. We willen allemaal profiteren van de voordelen, maar dat moet wel verantwoord gebeuren", legt Peters uit.

Dat betekent dat u zichzelf kritische vragen moet stellen over waar uw gegevens zich bevinden, hoe deze door uw bedrijf en uw leveranciers stromen en wie – of wat – er toegang toe heeft.

"Ik maak me zorgen dat als bedrijven hier nu niet op inspelen, ze constant op incidenten zullen reageren in plaats van ze te voorkomen", zegt Peters. "Vanuit zakelijk oogpunt zal dit, gezien de snelheid van de AI-ontwikkeling, snel onhoudbaar worden."