AMD toonde zijn nieuwste end-to-end compute- en softwaremogelijkheden voor Microsoft-klanten en -ontwikkelaars. Door gebruik te maken van AMD-oplossingen zoals AMD Instinct MI300X-accelerators, ROCm open software, Ryzen AI-processors en -software en Alveo MA35D-media-accelerators, kan Microsoft een krachtig pakket tools bieden voor AI-gebaseerde implementaties in tal van markten. De nieuwe Microsoft Azure ND MI300X virtuele machines (VM's) zijn nu algemeen beschikbaar, waardoor klanten zoals Hugging Face toegang krijgen tot indrukwekkende prestaties en efficiëntie voor hun meest veeleisende AI-workloads.

De Azure ND MI300x v5 VM-serie, die eerder in november 2023 in preview werd aangekondigd, is nu beschikbaar in de regio Canada Central voor klanten om hun AI-werklasten uit te voeren. Deze VM's bieden toonaangevende prestaties en een indrukwekkende HBM-capaciteit en geheugenbandbreedte, waardoor klanten grotere modellen in het GPU-geheugen kunnen plaatsen en/of minder GPU's kunnen gebruiken, wat uiteindelijk helpt om stroom, kosten en tijd voor oplossingen te besparen. Deze VM's en de ROCm-software die ze voedt, worden ook gebruikt voor Azure AI Production workloads, waaronder Azure OpenAI Service, waardoor klanten toegang hebben tot GPT-3.5- en GPT-4-modellen.

Met AMD Instinct MI300X en de bewezen en kant-en-klare ROCm open software stack, is Microsoft in staat om toonaangevende prijs/prestatie te behalen op GPT-inferentie workloads. Naast Azure AI productiewerklasten is Hugging Face een van de eerste klanten die deze VM's gebruikt. Door hun modellen in slechts een maand tijd naar de ND MI300X VM's te porten, was Hugging Face in staat om indrukwekkende prestaties en prijs/prestatie voor hun modellen te realiseren.

Als onderdeel hiervan kunnen ND MI300X VM-klanten Hugging Face modellen naar de VM's brengen om eenvoudig en efficiënt NLP-toepassingen te maken en te implementeren. Daarnaast kunnen ontwikkelaars AMD Ryzen AI-software gebruiken om AI-inferentie te optimaliseren en te implementeren op AMD Ryzen AI-pc's. Ryzen AI-software stelt toepassingen in staat om te draaien op de neurale verwerkingseenheid (NPU) die gebouwd is op de AMD XDNA-architectuur, de eerste speciale AI-verwerkingssilicium op een Windows x86-processor2. Terwijl het draaien van AI-modellen op een CPU of GPU alleen de batterij snel kan leegtrekken, werken AI-modellen met een Ryzen AI-laptop met voeding op de ingebouwde NPU, waardoor CPU- en GPU-resources vrijkomen voor andere computertaken.

Hierdoor gaat de batterij aanzienlijk langer mee en kunnen ontwikkelaars LLM AI-workloads en gelijktijdige toepassingen efficiënt en lokaal op de laptop uitvoeren. Microsoft heeft de AMD Alveo MA35D media-accelerator geselecteerd om zijn enorme live streaming video workloads aan te drijven, waaronder Microsoft Teams, SharePoint video en andere. De Alveo MA35D is speciaal gebouwd om live interactieve streamingdiensten op schaal aan te drijven en zal Microsoft helpen om een video-ervaring van hoge kwaliteit te garanderen door de verwerking van video te stroomlijnen, waaronder videotranscodering, decodering, codering en streaming met adaptieve bitrate (ABR).

Met behulp van de Alveo MA35D-accelerator in servers die worden aangedreven door 4e generatie AMD EPYC-processors, krijgt Microsoft: Mogelijkheid om servers en cloudinfrastructuur te consolideren - door gebruik te maken van de hoge kanaaldichtheid, energie-efficiënte en ultra-low latency videoverwerkingsmogelijkheden van de Alveo MA35D, kan Microsoft het aantal servers dat nodig is om zijn hoogvolume live interactieve streamingtoepassingen te ondersteunen, aanzienlijk verminderen. Indrukwekkende prestaties - de Alveo MA35D is uitgerust met ASIC-gebaseerde videoverwerkingseenheden die de AV1-compressienorm ondersteunen en AI-gebaseerde optimalisaties voor videokwaliteit die zorgen voor soepele en naadloze video-ervaringen. Toekomstbestendige AV1-technologie - met een upgradepad om opkomende standaarden zoals AV1 te ondersteunen, biedt de Alveo MA35D Microsoft een oplossing die zich kan aanpassen aan veranderende vereisten voor videoverwerking.

4e generatie AMD EPYC-processoren drijven talrijke VM's aan voor algemene doeleinden, geheugenintensieve, computergeoptimaliseerde en versnelde computer VM's op Azure. Deze VM's laten de groei en vraag naar AMD EPYC-processoren in de cloud zien en kunnen tot 20% betere prestaties leveren voor VM's met een algemeen doel en geheugenintensieve VM's met een betere prijs/prestatie, en tot 2x de CPU-prestaties voor rekengeoptimaliseerde VM's in vergelijking met de vorige generatie VM's met AMD EPYC-processoren op Azure. De Dalsv6, Dasv6, Easv6, Falsv6 en Famsv6 VM-series zijn nu in preview en zullen in de komende maanden algemeen beschikbaar worden.