Die crisis ontstond bijna aan het begin van de pandemie. FICO vertelde aan Reuters dat de AI-tools van het bedrijf uit Bozeman, Montana, om banken te helpen bij het identificeren van fraude met creditcards en debetkaarten, tot de conclusie kwamen dat fraudeurs het drukker hadden dan normaal omdat er veel online werd gewinkeld.

De AI-software vertelde banken om miljoenen legitieme aankopen te weigeren, op een moment dat consumenten naarstig op zoek waren naar toiletpapier en andere benodigdheden.

Maar volgens FICO kregen consumenten uiteindelijk te maken met weinig weigeringen. Het bedrijf zei dat een wereldwijde groep van 20 analisten die de systemen constant in de gaten houden, tijdelijke aanpassingen aanbeveelt die een blokkade van de uitgaven voorkomen. Het team wordt automatisch gewaarschuwd voor ongebruikelijke koopactiviteiten die de AI zouden kunnen verwarren, waarop in totaal 9.000 financiële instellingen vertrouwen om fraude op 2 miljard kaarten te detecteren.

Dergelijke bedrijfsteams, die deel uitmaken van het opkomende beroepenspecialisme van machine learning operations (MLOps), zijn ongebruikelijk. In afzonderlijke onderzoeken van vorig jaar stelden FICO en het adviesbureau McKinsey & Co vast dat de meeste onderzochte organisaties op AI gebaseerde programma's niet regelmatig controleren nadat ze deze hebben gelanceerd.

Het probleem is dat er veel fouten kunnen optreden wanneer de omstandigheden in de echte wereld afwijken van de voorbeelden die gebruikt worden om AI te trainen, volgens wetenschappers die deze systemen beheren. In het geval van FICO verwachtte de software meer in-persoon dan virtueel winkelen, en de omgekeerde verhouding leidde tot een groter aandeel transacties die als problematisch werden gemarkeerd.

Seizoensgebonden variaties, veranderingen in de gegevenskwaliteit of gedenkwaardige gebeurtenissen - zoals de pandemie - kunnen allemaal leiden tot een reeks slechte AI-voorspellingen.

Stelt u zich eens een systeem voor dat zwemkleding aanbeveelt aan zomerkopers en zich niet realiseert dat joggingbroeken geschikter zijn geworden door COVID lockdowns. Of een gezichtsherkenningssysteem dat defect raakte omdat maskeren populair was geworden.

De pandemie moet een "wake-up call" zijn geweest voor iedereen die AI-systemen niet nauwlettend in de gaten hield, omdat het talloze gedragsveranderingen teweegbracht, aldus Aleksander Madry, directeur van het Center for Deployable Machine Learning aan het Massachusetts Institute of Technology.

Omgaan met drift is een enorm probleem voor organisaties die AI gebruiken, zei hij. "Dat is wat ons op dit moment echt weerhoudt van deze droom dat AI een revolutie in alles teweegbrengt."

De Europese Unie is van plan om volgend jaar al een nieuwe AI-wet aan te nemen die enige controle vereist. Het Witte Huis riep deze maand in nieuwe AI-richtlijnen ook op tot monitoring om ervoor te zorgen dat "de prestaties van het systeem na verloop van tijd niet onder een acceptabel niveau komen".

Problemen traag opmerken kan veel geld kosten. Unity Software Inc, wiens advertentiesoftware videogames helpt om spelers aan te trekken, schatte in mei dat het dit jaar 110 miljoen dollar omzet zou mislopen, of ongeveer 8% van de totale verwachte inkomsten, nadat klanten zich terugtrokken toen de AI-tool die bepaalt aan wie advertenties worden getoond, niet meer zo goed werkte als voorheen. De schuld lag ook bij het AI-systeem dat leerde van beschadigde gegevens, aldus het bedrijf.

Unity, gevestigd in San Francisco, weigerde commentaar te geven buiten de winstverklaringen om. Leidinggevenden zeiden dat Unity bezig was met het implementeren van waarschuwings- en hersteltools om problemen sneller op te sporen en gaven toe dat uitbreiding en nieuwe functies voorrang hadden gekregen op bewaking.

Vastgoedmarktplaats Zillow Group Inc kondigde afgelopen november een waardevermindering van $304 miljoen aan op huizen die het kocht - op basis van een prijsvoorspellend algoritme - voor hogere bedragen dan waarvoor ze konden worden doorverkocht. Het bedrijf uit Seattle zei dat de AI geen gelijke tred kon houden met de snelle en ongekende marktschommelingen en stapte uit de koop-verkoopbusiness.

NIEUWE MARKT

AI kan op veel manieren fout gaan. Het bekendst is dat trainingsgegevens die scheefgetrokken zijn op basis van ras of andere lijnen kunnen leiden tot oneerlijk bevooroordeelde voorspellingen. Volgens de enquêtes en industrie-experts controleren veel bedrijven nu gegevens vooraf om dit te voorkomen. In vergelijking daarmee houden maar weinig bedrijven rekening met het gevaar van een goed presterend model dat later kapot gaat, zeggen deze bronnen.

"Het is een dringend probleem," zegt Sara Hooker, hoofd van onderzoekslab Cohere For AI. "Hoe werk je modellen bij die afgezaagd raken als de wereld eromheen verandert?"

Verschillende startups en cloud computing giganten zijn in de afgelopen jaren begonnen met het verkopen van software om prestaties te analyseren, alarmen in te stellen en fixes te introduceren die samen bedoeld zijn om teams te helpen de AI in de gaten te houden. IDC, een wereldwijde marktonderzoeker, schat dat de uitgaven aan tools voor AI-activiteiten in 2026 minstens 2 miljard dollar zullen bedragen, tegen 408 miljoen dollar vorig jaar.

Durfkapitaalinvesteringen in bedrijven die AI ontwikkelen en uitvoeren zijn vorig jaar gestegen tot bijna $13 miljard, en dit jaar is er tot nu toe $6 miljard binnengestroomd, volgens gegevens van PitchBook, een bedrijf uit Seattle dat financieringen bijhoudt.

Arize AI, dat vorige maand 38 miljoen dollar ophaalde bij investeerders, maakt monitoring mogelijk voor klanten als Uber, Chick-fil-A en Procter & Gamble. Chief Product Officer Aparna Dhinakaran zei dat ze bij een vorige werkgever moeite had om snel te zien of AI-voorspellingen slecht werden en dat vrienden elders haar vertelden over hun eigen vertragingen.

"In de wereld van vandaag weet je pas dat er een probleem is als het twee maanden later gevolgen heeft voor het bedrijf," zei ze.

FRAUDE SCORES

Sommige AI-gebruikers hebben hun eigen bewakingsmogelijkheden gebouwd en dat is wat FICO naar eigen zeggen heeft gered aan het begin van de pandemie.

Er gingen alarmbellen af naarmate er meer aankopen online plaatsvonden - wat de branche "card not present" noemt. Historisch gezien zijn meer van deze uitgaven frauduleus en de stijging duwde transacties hoger op FICO's schaal van 1 tot 999 (hoe hoger, hoe waarschijnlijker dat het om fraude gaat), aldus Scott Zoldi, chief analytics officer bij FICO.

Zoldi zei dat de gewoonten van consumenten te snel veranderden om het AI-systeem te herschrijven. Daarom adviseerde FICO Amerikaanse klanten om alleen transacties met een score van meer dan 900 te beoordelen en af te wijzen, in plaats van 850, zei hij. Hierdoor hoefden klanten 67% van de legitieme transacties boven de oude drempel niet te controleren en konden ze zich in plaats daarvan richten op echt problematische gevallen.

Klanten ontdekten 25% meer van de totale fraude in de VS tijdens de eerste zes maanden van de pandemie dan verwacht en 60% meer in het Verenigd Koninkrijk, aldus Zoldi.

"Je bent niet verantwoordelijk met AI tenzij je controleert," zei hij.