Generatieve AI (GenAI) heeft de hype van de industrie bereikt sinds het eind 2022 op het toneel verscheen. Nu belandt het in wat Gartner "de dal van desillusie" noemt, omdat implementaties niet aan de torenhoge verwachtingen voldoen. In 2023, McKinsey schatte dat GenAI jaarlijks het equivalent van $ 2.6 biljoen tot $ 4.4 biljoen zou kunnen toevoegen in 63 use cases. Maar minder dan een jaar later beweerde minder dan 30% van de AI-leiders Volgens Gartner waren hun CEO's tevreden met de ROI van projecten.

Erger nog, de bedrijfsrisico's die gepaard gaan met het gebruik van de technologie kunnen aanzienlijk zijn. Vraag het maar aan Deloitte Australië, dat onlangs werd bekritiseerd vanwege het opnemen van door AI gegenereerde fouten in een rapport van de federale overheid. Nu organisaties zich haasten om de technologie te implementeren voor een concurrentievoordeel, worden governance-richtlijnen essentieel.

Deloitte liep een rood gezicht op

Het 237 pagina's tellende rapport van Deloitte werd oorspronkelijk in juli gepubliceerd op de website van het Department of Employment and Workplace Relations. volgens rapportenDe bevindingen suggereerden een discrepantie tussen de systemen die de overheid gebruikt om fraude met sociale voorzieningen aan te pakken en de daadwerkelijke beleidsdoelstellingen. Universitair onderzoeker Chris Rudge ontdekte echter dat er iets niet klopte.

Na verder onderzoek vond hij naar verluidt 20 fouten in het rapport, waaronder:

  • Een verzonnen citaat van een federale rechter, wiens achternaam verkeerd gespeld was
  • Tien verwijzingen naar een boek met de titel The Rule of Law and Administrative Justice in the Welfare State, dat in werkelijkheid niet bestaat
  • Onjuiste toeschrijving van dat boek aan een professor van de Universiteit van Sydney
  • Verwijzingen naar niet-bestaande rapporten die worden toegeschreven aan experts op het gebied van juristen en softwaretechniek

Deloitte Australië reageerde naar verluidt met de mededeling dat de "kwestie rechtstreeks met de klant is opgelost". De overheid meldde echter dat het adviesbureau ermee had ingestemd een deel van de AU$ 440,000 ($ 290,000) aan projectkosten terug te betalen. In een bijgewerkte versie van het rapport waren de fouten blijkbaar verwijderd en werd in een nieuwe openbaarmaking vermeld dat Azure OpenAI was gebruikt om het te schrijven.

Hallucinaties en meer

Deloitte Australië is niet de enige die zich schaamt voor AI op de werkvloer. Een rapport van concurrent KPMG uit april blijkt datTerwijl 67% van de werknemers AI gebruikt om hun productiviteit te verbeteren, geeft bijna zes op de tien (57%) toe dat ze fouten hebben gemaakt in hun werk vanwege fouten die door de technologie werden gegenereerd.

Hallucinaties vormen een hardnekkig probleem, vooral wanneer openbaar beschikbare AI-tools worden gebruikt voor bepaalde taken die een hoge mate van domeinexpertise vereisen. Ze worden soms, maar niet altijd, veroorzaakt door onvolledige of onjuiste trainingsgegevens. Het risico is echter dat de AI zo zelfverzekerd is dat een niet-expert erin trapt.

Hallucinaties vormen echter niet het enige risico dat voortvloeit uit het gebruik van AI op de werkplek. Gebruikers kunnen per ongeluk gevoelige bedrijfs-IP of klantinformatie delen met een openbaar model. Dit brengt aanzienlijke risico's met zich mee op het gebied van datalekken en compliance, omdat dezelfde informatie theoretisch gezien aan andere gebruikers kan worden doorgegeven. Er bestaat ook een risico op diefstal door de modelontwikkelaar. AI-tools zelf kunnen kwetsbaarheden bevatten of het doelwit zijn van aanvallen die bedoeld zijn om onbedoelde resultaten te genereren.

Deze risico's zijn niet theoretisch. Het ISMS Rapport Staat van Informatiebeveiliging 2025 Uit onderzoek blijkt dat 26% van de Britse en Amerikaanse bedrijven het afgelopen jaar te maken heeft gehad met een datavergiftigingsaanval. Een derde (34%) maakt zich zorgen over de toename van schaduw-AI in de organisatie.

Deze risico's zouden kunnen toenemen door de wijdverbreide toepassing van agentische AI, die is ontworpen om autonoom te werken in verschillende workflows met veel minder menselijk toezicht om taken uit te voeren. De zorg is dat het veel langer kan duren om te detecteren wanneer de agent zich vreemd of niet-conform gedraagt.

Voor organisaties zoals Deloitte Australië kan ongecontroleerd gebruik van AI hen blootstellen aan reputatie-, financiële en compliancerisico's. In dit specifieke geval was de financiële klap voor een organisatie van de omvang van Deloitte gering. Maar het incident zou potentiële nieuwe klanten wel eens aan het denken kunnen zetten voordat ze een deal sluiten.

Is ISO 42001 de redding?

Dit is niet de eerste keer dat AI-hallucinaties mensen en organisaties in verlegenheid brengen die beter zouden moeten weten. In 2023 bleek dat een Amerikaans advocatenkantoor citeerde nepgevallen en citaten die ChatGPT had bedacht in een letselschadezaak. De federale rechter beschreef het destijds als "een ongekende omstandigheid". Hoewel ontwikkelaars werken aan manieren om dit soort hallucinaties te minimaliseren, is de kans groter dat andere bedrijven in de voetsporen van Deloitte Australië treden naarmate de technologie vaker zonder adequate bescherming en toezicht wordt gebruikt.

Voor Ruth Astbury, medeoprichter van ExpandAI, is de zaak "een pijnlijke herinnering dat AI-risico niet alleen technisch is – het is organisatorisch en raakt alle aspecten van bedrijfsrisicomanagement." Ze betoogt dat er een groot gebrek was aan voldoende "governance, verantwoordingsplicht en continu menselijk toezicht", wat uiteindelijk leidde tot een incident dat enorme reputatieschade voor het bedrijf zou kunnen veroorzaken.

"Wanneer AI-tools worden uitgerold zonder gedefinieerd eigenaarschap, ethische grenzen of gebruiksbeleid, innoveer je niet – je zet de reputatie van je merk op het spel", vertelt ze aan ISMS.online. "De zakelijke risico's van onbeheerde AI variëren van datalekken en vooroordelen tot nalevingsfouten en verlies van vertrouwen van klanten."

Hoewel AI onderzoekers kan helpen, mag het nooit de "ouderwetse beoordeling, verfijning en bevestiging van feiten" vervangen, voegt Astbury eraan toe. "Wat verrassend is, is dat dit gebeurde bij een van de Big Four-adviesbureaus", vervolgt ze. "AI-partners en senior consultants leven en ademen hun domein. Ze kunnen, en moeten, verwijzingen of beweringen in rapporten herkennen die ze nooit eerder zijn tegengekomen of die duidelijk hallucinaties zijn."

Het antwoord zou ISO 42001 kunnen zijn. Deze norm is ontworpen om organisaties te helpen bij het opzetten, implementeren, onderhouden en continu verbeteren van AI-managementsystemen.

"De oplossing is eenvoudig: organisaties hebben een gestructureerde aanpak van AI-risicomanagement nodig, helder beleid, transparante besluitvorming en personeelstraining die verantwoording op elk niveau integreert. Dit is waar AI-governance, ondersteund door een AI-managementkader zoals ISO/IEC 42001, om de hoek komt kijken", legt Astbury uit.

ISO/IEC 42001 biedt een managementsysteem voor AI, net zoals ISO 27001 dat doet voor informatiebeveiliging. Hiermee wordt gegarandeerd dat continu AI-bestuur, risicomanagement, monitoring en ethisch ontwerp in elk AI-initiatief worden ingebouwd.

Er is nog een lange weg te gaan voordat AI-tools echt op de markt komen. De beroemde Gartner Plateau van productiviteit. Maar om dat te bereiken, zullen organisaties zich moeten realiseren dat menselijke expertise altijd een vereiste zal blijven voor succesvolle use cases.