8223 Router met een throughput van 51,2 Tbps maakt het mogelijk om AI-workloads verspreid over meerdere datacenters te draaien, zonder prestatieverlies.
Vrijwel alle lezers zullen bekend zijn met de termen scale up en scale out. Kort door de bocht betekent scale up dat er binnen een rack extra capaciteit bijkomt voor workloads, scale out houdt in dat er horizontaal geschaald word door extra racks neer te zetten.
Met de aankondiging van de 8223 Router en de Silicon One P200 richt Cisco zich echter op een relatief recente toevoeging aan de schalingswoordenschat, namelijk scale across. Het idee hierachter is dat AI-modellen dermate groot beginnen te worden dat ze niet meer binnen een enkel datacenter kunnen draaien. Zoals Martin Lund, EVP Common Hardware Group bij Cisco het verwoordt in gesprek met ons: “De vraag naar compute is groter dan het vermogen dat binnen een enkel datacenter geleverd kan worden. We kunnen datacenters niet groot en snel genoeg bouwen.”
Netwerkuitdaging van scale across
Scale across als oplossing voor het kunnen draaien van enorme AI-workloads brengt echter ook de nodige uitdagingen met zich mee. Hoe zorg je ervoor dat je alle beschikbare compute optimaal gebruikt als je meerdere datacenters met elkaar verbindt? “Dat is geen eenvoudig probleem om op te lossen”, geeft Lund aan. Zeker niet als het doel is om dit zo efficiënt mogelijk te doen.
“Je kunt natuurlijk pakketjes opnieuw verzenden als ze niet aangekomen zijn, maar AI-training houdt daar niet vaan”, vervolgt hij. Die maken gebruik van check pointing om optimaal te kunnen werken. Een suboptimale verbinding zorgt er uiteindelijk ook voor dat er kostbare GPU-cycles verloren gaan en dat peperdure GPU’s af en toe niks staan te doen. Dat moet te allen tijde voorkomen zien te worden, is het idee.
Deep buffering met Silicon One P200 in 8223-router
Bij Cisco zijn ze van mening dat ze met de nieuwe Silicon One P200-chip bovenstaand probleem hebben opgelost. Deze chip biedt een throughput van 51,2 Tbps (20 miljard pakketjes per seconde) en kan doorschalen naar een totale bandbreedte van tot 3 exabit per seconde. Daarmee zou het vooralsnog ruimschoots moeten volstaan.
Een van de onderscheidende kenmerken van de Silicon One P200-chip die in de nieuwe 8223-router zit (beschikbaar in OSFP- and QSFP-varianten) is deep buffering. Dan gaat het niet zozeer om het feit dat de chip er gebruik van maakt. Deep buffering zelf is niet nieuw en wordt ook aangeboden in producten van andere leveranciers. Het unieke aan de P200 is volgens Lund dat het dit veel efficiënter doet. “We hebben een dichtheid die twee keer hoger is dan die van oplossingen van concurrenten”, geeft hij aan. Daarmee zorgen de diepe buffers niet voor de vertragingen die die andere oplossingen wel hebben, is het idee.
Daarnaast is het ook nog goed om te vermelden dat Silicon One een unified chip is. Dat houdt in dat routing en switching plaatsvinden binnen een enkele chip. Dit levert volgens Lund enorme energiebesparingen op. Volgens hem krijg je met Silicon One routing en switching aan het stroomverbruik dat we doorgaans associeren met alleen switching. Alleen al het aantal producten dat nodig is om de verbinding tussen datacenters te leggen is met Silicon One vele malen kleiner dan wanneer er een niet-unified stack wordt gebouwd.
Security ingebouwd
De prestaties van de Silicon One P200 zijn op papier in ieder geval behoorlijk indrukwekkend. Als je bedenkt dat Cisco deze prestaties biedt met ingebouwde security (MACsec en IPSec) en dat de chip klaar is voor post-quantum cryptografie (PQC), dan zijn de prestaties nog net iets indrukwekkender. Quantum Key Distribution (QKD) komt er volgens Lund over een tijdje ook aan.
Tot slot wijst Lund tijdens ons gesprek op de telemetrie die standaard beschikbaar is bij systemen die gebruikmaken van de nieuwe Siicon One P200. “Alle telemetrie die je maar nodig kunt hebben, is ingebouwd”, stelt hij. Als voorbeeld noemt hij IPM, waarmee hardware-gebaseerde latency-metingen gedaan kunnen worden tussen endpoints.
Open platform
Een van de zaken waar Cisco bij deze lancering behoorlijk wat nadruk op legt, is het feit dat de nieuwe Silicon One P200-systemen open zijn. “Klanten kunnen alleen de chip kopen en er zelf een heel product omheen bouwen, of het volledige product kopen en daar SONiC op draaien, of het volledige product met Cisco’s eigen IOS-XR erop”, geeft Lund aan. Dat biedt verschillende opties voor inzet op verschillende locaties.
Let wel, deze openheid is niet zozeer omdat Cisco daar per se voor kiest. Dat doet het uiteindelijk natuurlijk wel, maar vooral omdat klanten (in het geval van de P200 zijn dat vooral hyperscalers en soortgelijke partijen) erom vragen. Hyperscalers ontwikkelen zelf veel software voor de eigen datacenters en draaien veel op SONiC (al geven ze het allemaal een eigen naam). Op andere plekken kan een volledig kant-en-klare uitrol van een Silicon One P200-gebaseerd syseem juist de voorkeur hebben.
Als we hem vragen naar hoe SONiC en IOS-XR zich tot elkaar verhouden, is Lund duidelijk. De software van Cisco biedt veel meer opties dan SONiC. Daarmee is het echter niet per definitie altijd de beste optie. Dat moeten klanten per use-case zelf bepalen.
Silicon One P200: krachtige toevoeging aan groeiend aanbod
Al met al is de 8223-router op basis van de Silicon One P200 weer een nieuw lid van de Silicon One-familie die Cisco over de jaren heen heeft gebouwd. Met de enorme throughput en de inherente efficiëntie van het Silicon One-design maakt de P200 een volgende grote stap in AI mede mogelijk. Overkoepelend betekent het voor Cisco dat het nu voor meerdere uitdagingen op het gebied van schaalbaarheid een antwoord heeft. Dat maakt van Cisco (enigszins onder de radar) een grote en belangrijke speler in de AI-economie. Het feit dat Cisco de nieuwe P200-chip al voor lancering levert aan hyperscalers doet een rooskleurige toekomst vermoeden.
Lees ook: Cisco geeft strijd om slimste switches ter wereld nieuwe impuls