Wat kan er gedaan worden om de controle terug te winnen nu het probleem van schaduw-AI in de financiële sector steeds erger wordt?
Met behulp van tools zoals die van OpenAI ChatGPT alomtegenwoordig worden, schaduw-AI Dit vormt een steeds groter wordend probleem voor de financiële sector. De tools brengen diverse risico's met zich mee, waaronder datalekken en hallucinaties, wat nog verergerd wordt door het feit dat financiële instellingen in veel gevallen niet eens weten dat ze deze tools gebruiken.
Nu AI zich aan de rand van organisaties sneller ontwikkelt dan de governance kan bijbenen, moet de sector leren omgaan met dit snel evoluerende risico. Hoe kunnen leiders op het gebied van beveiliging en compliance de controle over schaduw-AI terugkrijgen?
Blootgestelde sector
De financiële sector is een sterk gereguleerde sector die met enorme hoeveelheden gevoelige gegevens werkt en daardoor bijzonder kwetsbaar voor schaduw-AI. "De sector verwerkt waardevolle, streng gereguleerde gegevens onder constante druk om snel te handelen", aldus Leslie Nielsen, CISO bij Mimecast. "Die combinatie zorgt ervoor dat werknemers naar elk hulpmiddel grijpen dat hen helpt hun werk te doen – vaak voordat de organisatie er ook maar enig idee van heeft."
Dit kan er echter ook toe leiden dat werknemers zeer gevoelige en vertrouwelijke gegevens in AI-modellen invoeren. Mark McClain, oprichter en CEO van SailPoint, noemt het voorbeeld van een ongeautoriseerde tool die wordt gebruikt voor het afhandelen van een leningaanvraag. "Die tool zou financiële gegevens verzamelen, kredietgeschiedenis analyseren, voorwaarden opstellen, de kredietbeoordeling faciliteren en met belanghebbenden communiceren."
Hij suggereert echter dat een agent met onbeperkte toegang tot bedrijfssystemen gegevens verkeerd zou kunnen interpreteren, risicovolle leningen zou kunnen goedkeuren of onbedoeld klantgegevens zou kunnen openbaar maken, wat zou kunnen leiden tot schendingen van de regelgeving of reputatieschade.
Meerdere AI-tools
Het meeste schaduwgebruik van AI is praktisch en taakgericht, omdat werknemers tools gebruiken die hen helpen tijd te besparen of handmatige inspanningen in hun dagelijkse werk te verminderen.
Het scala aan tools dat in financiële bedrijven wordt gebruikt, is inderdaad breder dan de meeste beveiligingsteams beseffen, zegt Nielsen van Mimecast. "In de financiële sector gebruiken medewerkers algemene tools zoals ChatGPT, AI-gestuurde e-mail- en vergaderplatformen, transcriptie- en samenvattingsdiensten en analysetools. Ze stellen klantcommunicatie op, vatten documenten samen en analyseren gegevens, en beheren hun werklast met tools die hun werkgevers nooit hebben beoordeeld of goedgekeurd."
Het gedrag dat de meeste risico's met zich meebrengt, is niet geavanceerd, benadrukt hij. "Werknemers uploaden documenten naar externe AI-tools. Ze sturen werkmails door naar privéaccounts om toegang te krijgen tot AI-functies. Ze plakken gevoelige context in prompts omdat de tool daarmee beter presteert."
Hoewel dit type AI-gebruik niet kwaadaardig is, scannen AI-functies zoals die nu in persoonlijke e-mailaccounts worden aangeboden, automatisch de inhoud. "Dit betekent dat vertrouwelijke bedrijfsgegevens in systemen van derden of trainingsmodellen terecht kunnen komen zonder dat iemand het doorheeft", waarschuwt Nielsen.
Geen schaduw-IT
Het risico is zorgwekkend, maar bij de aanpak ervan moet schaduw-AI niet worden verward met schaduw-IT. Ze op dezelfde manier behandelen is "een vergissing", zegt Nielsen. "Schaduw-IT gaat over ongeautoriseerde applicaties die buiten het toezicht van IT opereren. Het risico zit hem vooral in de zichtbaarheid en controle van de tools. Schaduw-AI introduceert een tweede laag: de data die in die tools wordt ingevoerd, de output die wordt gegenereerd en de manieren waarop die informatie kan worden bewaard, hergebruikt of openbaar gemaakt."
Shadow AI is niet zomaar schaduw-IT met een chatbot eraan vastgeplakt, beaamt Christopher Jess, senior R&D-manager bij Black Duck. Hij noemt modelspecifieke risico's zoals "lekken van gevoelige gegevens, gefabriceerde maar overtuigende output, snelle injectie en ingebedde AI-functies in software die er al goedgekeurd uitziet".
De risico's zijn groter in de financiële dienstverlening, omdat de input gevoeliger is en de wettelijke gevolgen van blootstelling ernstiger zijn, aldus Nielsen van Mimecast. "Wanneer een medewerker klantgegevens invoert in een externe AI-tool om sneller een rapport te genereren, schuilt het risico niet alleen in de tool zelf. Het gaat erom of die gegevens worden opgeslagen, wie er toegang toe heeft en of ze binnen de grenzen vallen die de organisatie volgens de wet moet handhaven." algemene verordening gegevensbescherming (AVG) of andere kaders.”
Er is ook een breder risico dat vaak over het hoofd wordt gezien: verantwoording en de integriteit van beslissingen, aldus Nielsen. "Wanneer door AI gegenereerde outputs de communicatie met klanten of operationele beslissingen beïnvloeden zonder duidelijk toezicht, kunnen organisaties de herkomst of nauwkeurigheid niet aantonen. Dat is zowel een governanceprobleem als een beveiligingsprobleem."
AI blokkeren
Het blokkeren van AI-tools op de werkplek helpt niet. Sterker nog, experts zeggen dat het de situatie kan verergeren. Werknemers die duidelijke efficiëntievoordelen zien, zullen vaak alternatieve manieren vinden om AI-tools te gebruiken, of hun toevlucht nemen tot gevaarlijkere methoden om resultaten te behalen.
"In plaats van goedgekeurde zakelijke tools te gebruiken, wenden medewerkers zich mogelijk tot persoonlijke accounts, browserextensies of gratis AI-platformen met nog minder inzicht of toezicht", aldus Callum Beckwith, technisch leider softwareontwikkeling bij Capture Expense. IO.
Tegelijkertijd is het argument van een bedrijf als "we hebben het verboden" geen verdediging die de toezichthouder zal accepteren nadat de overtreding al heeft plaatsgevonden, voegt Ben Jacob-Smith, oprichter van de Obsessed Group, eraan toe.
"Organisaties die zich uitsluitend richten op beperkingen vergroten vaak het risico in plaats van het te verkleinen."
Herstel het evenwicht
Het lijkt misschien complex, maar het is mogelijk om de balans tussen productiviteit en controle te herstellen door te zorgen voor continu toezicht en het gebruik van geïntegreerde managementsystemen.
In dit kader kunnen AI-governancekaders helpen., zoals ISO 42001 en ISO 27001 voor informatiebeveiligingsbeheersystemen.
Ondertussen de NIST AI-raamwerk voor risicobeheer Het biedt een nuttig uitgangspunt om na te denken over AI-specifieke risico's en beheersmaatregelen, aldus Beckwith. "Het biedt organisaties een gestructureerde manier om te beoordelen hoe AI-systemen worden ontworpen, gebruikt en beheerd gedurende hun gehele levenscyclus, waarbij belangrijke aspecten zoals gegevensverwerking, betrouwbaarheid en verantwoording aan bod komen.
Financiële instellingen moeten zich ook bewust zijn van het volgende: EU AI-wetDit geldt voor elk Brits bedrijf waarvan de AI-systemen EU-klanten bedienen.
Het is duidelijk dat de uitdaging van schaduw-AI groeit nu er een golf aan AI-tools op de markt komt. Maar dit is niet te voorkomen. Omdat AI-tools de productiviteit kunnen verhogen, is het doel voor leiders op het gebied van beveiliging en compliance in de financiële sector niet om innovatie af te remmen, maar om deze veilig te begeleiden, aldus Beckwith.
Om de controle terug te krijgen, adviseert Beckwith om "gestructureerde, zichtbare en gecontroleerde trajecten" voor AI-gebruik te creëren. "Dit begint met inzicht in waar AI al binnen het bedrijf wordt gebruikt. Van daaruit kunnen organisaties duidelijke verwachtingen formuleren voor acceptabel gebruik en gegevensverwerking, afgestemd op de wettelijke en compliance-eisen."
Hij is van mening dat het belangrijkste doel moet zijn om werknemers effectieve tools te bieden voor hun werk. Het aanbieden van goedgekeurde tools maakt omwegen overbodig, terwijl realistische training werknemers helpt te begrijpen hoe ze AI op een verantwoorde manier kunnen gebruiken in praktijksituaties, zoals het samenvatten van interne beleidsregels, aldus Beckwith. "Het doel is hier niet perfectie, maar beheerd, controleerbaar en goed begrepen gebruik."
Breid je kennis uit
Blog: Kredietinbreuk: API-risico's zetten het bestuur van de financiële toeleveringsketen onder de loep.
