Amazon Web Services gaat voor een update aan voor zijn Graviton4-chip met 600 gigabits per seconde aan netwerkbandbreedte. De cloudprovider positioneert de chip als alternatief voor Nvidia’s dure GPU’s in het AI-landschap.
Dat schrijft CNBC. De grootste uitdaging voor AWS ligt in de AI-infrastructuur. Hier moet Amazon het opnemen tegen Nvidia’s dominantie. Tijdens de AWS re:Invent 2024-conferentie in december kondigde het bedrijf Project Rainier aan: een AI-supercomputer voor Anthropic, waarin AWS 8 miljard dollar investeert.
Gadi Hutt, Senior Director voor Customer and Product Engineering bij AWS, benadrukt dat Amazon de trainingskosten voor AI wil verlagen. Nvidia’s GPU’s zijn duur, waardoor bedrijven op zoek gaan naar alternatieven. Anthropic’s Claude Opus 4 AI-model draait op de Trainium2-chips van AWS. Project Rainier wordt aangedreven door meer dan een half miljoen van deze chips.
De Graviton4-chip staat centraal in de custom-chipstrategie van Amazon. Ali Saidi, distinguished engineer bij AWS, vergelijkt de snelheid van 600 gigabits per seconde met een machine die 100 muziek-cd’s per seconde kan lezen.
Het gehele chipportfolio van Amazon komt uit Annapurna Labs in Austin, Texas. Deze faciliteit ontwikkelt behalve Graviton4 ook andere chips voor AWS. Eerder dit jaar introduceerde AWS nieuwe EC2-instances op basis van Graviton4, waarbij de prestaties fors verbeterden ten opzichte van de vorige generatie.
Volgende generatie al onderweg
AWS kijkt al vooruit naar de volgende stap. Trainium3 komt dit jaar uit en belooft dubbele prestaties vergeleken met Trainium2. Tegelijkertijd moet het energieverbruik met 50 procent omlaag. De vraag naar deze chips overtreft nu al het aanbod, stelt Rami Sinno, director of engineering bij Annapurna Labs.
Voor Amazon is dit onderdeel van een bredere strategie om de complete AI-infrastructuurstack te controleren. Van netwerk tot training en inferentie wil het bedrijf alles in eigen hand hebben. De Graviton4-update komt voor het einde van juni beschikbaar, laat een AWS-woordvoerder weten.