Nvidia domineert de markt voor het trainen van AI-modellen met enorme hoeveelheden gegevens. Maar nadat die AI-modellen zijn getraind, worden ze ingezet voor wat "inferentie" wordt genoemd, door taken uit te voeren zoals het genereren van tekstreacties op prompts en het beslissen of een afbeelding een kat bevat.

Analisten denken dat de markt voor datacenter-inferentiechips snel zal groeien naarmate bedrijven AI-technologieën in hun producten verwerken, maar bedrijven als Google van Alphabet Inc. onderzoeken nu al hoe ze de extra kosten kunnen beperken die dat met zich meebrengt.

Een van die grote kosten is elektriciteit, en Qualcomm heeft zijn geschiedenis in het ontwerpen van chips voor apparaten die op batterijen werken, zoals smartphones, gebruikt om een chip te creëren die de Cloud AI 100 wordt genoemd en die een zuinig energieverbruik nastreeft.

In testgegevens die woensdag zijn gepubliceerd door MLCommons, een ingenieursconsortium dat testbenchmarks bijhoudt die veel worden gebruikt in de AI-chipindustrie, versloeg de AI 100 van Qualcomm het vlaggenschip van Nvidia, de H100-chip, bij het classificeren van afbeeldingen, op basis van het aantal datacenterserver-query's dat elke chip per watt kan uitvoeren.

De chips van Qualcomm haalden 197,6 servervragen per watt tegen 108,4 vragen per watt voor Nvidia. Neuchips, een startup opgericht door de Taiwanese chipacademicus Youn-Long Lin, nam de eerste plaats in met 227 queries per watt.

Qualcomm versloeg Nvidia ook in objectdetectie met een score van 3,2 zoekopdrachten per watt tegenover 2,4 zoekopdrachten per watt van Nvidia. Objectdetectie kan worden gebruikt in toepassingen zoals het analyseren van beelden van winkels om te zien waar het winkelend publiek het vaakst komt.

Nvidia behaalde echter de toppositie in zowel absolute prestatie als energie-efficiëntie bij een test van natuurlijke taalverwerking, de AI-technologie die het meest wordt gebruikt in systemen zoals chatbots. Nvidia haalde 10,8 samples per watt, terwijl Neuchips de tweede plaats innam met 8,9 samples per watt en Qualcomm de derde plaats innam met 7,5 samples per watt.