Een andere video, met hetzelfde decor, toont Modi's rivaal Mamata Banerjee dansend in een saree-achtige outfit, maar de achtergrondmuziek bestaat uit delen van haar toespraak waarin ze kritiek uit op degenen die haar partij hebben verlaten om zich bij die van Modi aan te sluiten. De staatspolitie is een onderzoek gestart en zegt dat de video "de openbare orde kan verstoren".
De verschillende reacties op video's die met behulp van kunstmatige intelligentie (AI) zijn gemaakt, onderstrepen hoe het gebruik en misbruik van de technologie toeneemt en zorgen baart bij toezichthouders en veiligheidsfunctionarissen nu 's werelds dichtstbevolkte land enorme algemene verkiezingen houdt.
Gemakkelijk te maken AI-video's, die bijna perfecte schaduw- en handbewegingen bevatten, kunnen soms zelfs digitaal geletterde mensen misleiden. Maar de risico's zijn groter in een land waar veel van de 1,4 miljard mensen technische problemen hebben en waar gemanipuleerde inhoud gemakkelijk sektarische spanningen kan aanwakkeren, vooral in verkiezingstijd.
Volgens een onderzoek van het World Economic Forum dat in januari werd gepubliceerd, wordt het risico van verkeerde informatie voor India de komende twee jaar groter geacht dan het risico van besmettelijke ziekten of illegale economische activiteiten.
"India loopt al een groot risico op desinformatie - met AI in beeld kan het zich met een snelheid van 100X verspreiden," zei de in New Delhi gevestigde consultant Sagar Vishnoi, die enkele politieke partijen adviseert over het gebruik van AI bij de verkiezingen in India.
"Ouderen, vaak geen technisch onderlegde groep, trappen steeds vaker in nepverhalen die door AI-video's worden ondersteund. Dit kan ernstige gevolgen hebben, zoals het aanwakkeren van haat tegen een gemeenschap, kaste of religie."
De nationale verkiezingen van 2024 - die zes weken duren en eindigen op 1 juni - zijn de eerste waarbij AI wordt ingezet. De eerste voorbeelden waren onschuldig en beperkten zich tot enkele politici die de technologie gebruikten om video's en audio te maken om hun campagnes te personaliseren.
Maar grote gevallen van misbruik haalden in april de krantenkoppen, waaronder deepfakes van Bollywood-acteurs die kritiek hadden op Modi en nepclips waarbij twee van Modi's topmedewerkers betrokken waren en die leidden tot de arrestatie van negen mensen.
MOEILIJK TEGEN TE GAAN
De Indiase verkiezingscommissie waarschuwde politieke partijen vorige week voor het gebruik van AI om desinformatie te verspreiden en deelde zeven bepalingen van de informatietechnologie- en andere wetten mee die gevangenisstraffen tot drie jaar kunnen opleveren voor overtredingen, waaronder vervalsing, het verspreiden van geruchten en vijandschap.
Een hoge nationale veiligheidsfunctionaris in New Delhi zei dat de autoriteiten zich zorgen maken over de mogelijkheid dat nepnieuws tot onrust leidt. De gemakkelijke beschikbaarheid van AI-tools maakt het mogelijk om zulk nepnieuws te produceren, vooral tijdens verkiezingen, en het is moeilijk om dit tegen te gaan, zei de ambtenaar.
"We hebben geen (adequate) controlecapaciteit... de steeds veranderende AI-omgeving is moeilijk bij te houden," zei de ambtenaar.
Een hoge verkiezingsfunctionaris zei: "We zijn niet in staat om de sociale media volledig te controleren, en dan hebben we het nog niet eens over het controleren van de inhoud."
Ze wilden niet geïdentificeerd worden omdat ze geen toestemming hadden om met de media te spreken.
AI en deepfakes worden steeds vaker gebruikt bij verkiezingen elders in de wereld, waaronder in de VS, Pakistan en Indonesië. De nieuwste verspreiding van de video's in India laat zien voor welke uitdagingen de autoriteiten staan.
Al jaren is er een panel van het Indiase IT-ministerie dat naar eigen goeddunken of na het ontvangen van klachten opdracht geeft tot het blokkeren van inhoud die de openbare orde kan schaden. Tijdens deze verkiezingen hebben de verkiezingswaakhond en de politie in het hele land honderden ambtenaren ingezet om problematische inhoud op te sporen en te laten verwijderen.
Terwijl Modi's reactie op zijn AI-dansvideo - "Ik vond het ook leuk om mezelf te zien dansen" - luchtig was, stelde de politie van Kolkata in de deelstaat West-Bengalen een onderzoek in tegen X-gebruiker, SoldierSaffron7, voor het delen van de Banerjee-video.
Dulal Saha Roy, de cybercrimineel van Kolkata, deelde een getypte mededeling op X waarin hij de gebruiker vroeg om de video te verwijderen of "aansprakelijk te worden gesteld voor strenge strafrechtelijke vervolging".
"Ik verwijder dat niet, wat er ook gebeurt," vertelde de gebruiker aan Reuters via X direct messaging, waarbij hij weigerde zijn nummer of echte naam te delen omdat hij bang was voor politieacties. "Ze kunnen (mij) niet traceren."
Verkiezingsfunctionarissen vertelden Reuters dat de autoriteiten sociale mediaplatforms alleen kunnen vertellen dat ze inhoud moeten verwijderen en dat ze het nakijken hebben als de platforms zeggen dat de berichten niet in strijd zijn met hun interne beleid.
VIGGLE VIDEOS
De dansvideo's van Modi en Banerjee, met respectievelijk 30 miljoen en 1,1 miljoen weergaven op X, werden gemaakt met behulp van een gratis website, Viggle. De site maakt het mogelijk om met een foto en een paar basisaanwijzingen in een handleiding binnen enkele minuten video's te genereren waarop de persoon op de foto danst of andere levensechte bewegingen maakt.
Medeoprichter Hang Chu van Viggle en het kantoor van Banerjee reageerden niet op vragen van Reuters.
Naast de twee dansende AI-video's is er nog een andere 25 seconden durende Viggle-video die zich online verspreidt waarin Banerjee voor een brandend ziekenhuis verschijnt en het opblaast met een afstandsbediening. Het is een AI-veranderde clip van een scène uit de film The Dark Knight uit 2008, waarin de vijand van Batman, Joker, een ravage aanricht.
De video is al 420.000 keer bekeken.
De politie van West-Bengalen is van mening dat dit in strijd is met de Indiase IT-wetgeving, maar X heeft geen actie ondernomen omdat het "sterk gelooft in het verdedigen en respecteren van de stem van onze gebruikers", volgens een e-mailbericht van X aan de gebruiker, dat Reuters heeft ingezien.
"Ze kunnen me niets doen. Ik nam dat (bericht) niet serieus," vertelde de gebruiker aan Reuters via X direct messaging.
