Flash-gebaseerde storage is de oude vertrouwde harddisk of HDD gestaag aan het vervangen. Dit zal niet stoppen tot de laatste HDD van de band rolt in een fabriek van Seagate, Toshiba of Western Digital, al kan dat nog wel een behoorlijke tijd duren. Dit jaar krijgt de HDD-markt weer enkele klappen te verwerken. Het gat in maximale capaciteit tussen flash en HDD wordt alleen maar groter en we verwachten ook groot nieuws uit de hoek van de hyperscalers.
De markt voor flash wordt steeds groter. Dat heeft er voor een belangrijk deel mee te maken dat QLC-gebaseerde flash het prijspunt sterk naar beneden heeft gebracht. 20 dollarcent per gigabyte is dan vaak het bedrag waar het over gaat. Dit, gekoppeld aan de hogere prestaties van flash ten opzichte van HDD’s, maakt flash een realistisch alternatief voor magnetische schijven.
Van boven naar beneden in de markt
Waar flash in eerste instantie vooral werd ingezet op high-end storage arrays, zie je het de laatste jaren steeds verder naar beneden gaan in de markt. Pure Storage heeft in de afgelopen jaren met zowel de FlashArray//E en FlashBlade//E zogeheten capacity flash in het aanbod opgenomen. NetApp heeft dat vorig jaar ook gedaan, met de AFF C-serie en de ASA C-serie. Dat heeft ervoor gezorgd dat flash sterk is gegroeid. De cijfers die Pure, dat alleen flash voert in het productportfolio, jaar na jaar realiseert spreken boekdelen. Eerder dit jaar hoorden van een contactpersoon bij NetApp dat de groei in all-flash daar voor vrijwel 100 procent op het conto van de nieuwe C-series te schrijven is. Dat is kort door de bocht dus allemaal omzet die flash afpakt van HDD’s, die NetApp overigens ook nog aanbiedt in andere productlijnen.
De groei van flash gaat vanzelfsprekend niet 100 procent organisch. Dat wil zeggen, het is niet altijd zo dat klanten er specifiek om vragen. Er is bedrijven zoals Pure Storage en NetApp ook het nodige aan gelegen om het succesvol te maken. Er is immers veel in geïnvesteerd. Dus deze bedrijven zullen het ook zeker stevig pushen.
Ook dan geldt echter dat het betaalbaar moet zijn. En dat is het dus tegenwoordig. Het gaat dan niet alleen om de initiële aanschafkosten of zelfs de tarieven voor een Storage-as-a-Service-aanbod. Ook zaken zoals stroomverbruik en opslagdichtheid spelen hierin een rol. Op dat punt zijn SSD’s in de regel ook in het voordeel (meer hierover verderop in het artikel). Er zijn wel wat nuances aan te brengen op het gebied van stroomverbruik van SSD’s en HDD’s, die we in dit artikel hebben behandeld, maar wij hebben tot nu toe nog geen berekening gezien waarin HDD’s op schaal minder stroom verbruiken dan SSD’s.
HDD vs flash: oud tegen nieuw
Flash is steeds interessanter aan het worden voor organisaties. De kans dat HDD’s nog iets terug gaan winnen van het verloren terrein is vrijwel nihil. De ontwikkelingen op het gebied van flash gaan namelijk onverminderd door. Dat zagen we recent goed tijdens Pure Accelerate, het jaarlijkse evenement van Pure Storage. Daar kondigde Pure Storage de nieuwste generatie van de zelf ontwikkelde Direct-Flash Module (DFM) aan. Deze flash-modules stopt het bedrijf in alle FlashArrays en FlashBlades die het aan klanten levert.
Door het specifieke ontwerp van de DFM kan Pure Storage enorme sprongen maken in capaciteit. Vorig jaar nog maar kondigde het een DFM aan met een capaciteit van 75TB. Een jaar later heeft Pure dit al opgekrikt naar 150TB. Let wel, dit allemaal zonder dat de module zelf groter wordt uiteraard. Anders passen ze niet meer in de systemen. Als je het helemaal platslaat is een DFM niet veel meer dan een heleboel NAND dat Pure op een printplaat plakt. De aansturing vindt plaats vanuit Pure1. Als een bedrijf in de markt NAND-flash ontwikkelt met een hogere dichtheid, dan kan Pure dat vrij snel in een DFM verwerken. De nieuwe 150TB-DFM’s maken bijvoorbeeld gebruik van nieuwe QLC-technologie van Kioxia.
Bovenstaande architectuur is radicaal anders dan die van harddisks en SSD’s. Zo gebruiken SSD’s een extra laag met tabellen die in DRAM opgeslagen worden. Deze tabellen mappen de writes van de SSD’s naar het flashgeheugen. Daarvoor moet ruimte op de SSD vrijgemaakt worden. We hebben het hier over 1GB per 1TB. Daarnaast moeten SSD’s ook overprovisionen, om er zeker van te zijn dat ze altijd kunnen leveren. Denk aan overwrites die ze moeten doen vanwege problemen met de I/O alignment. Dit overprovisionen gaat al snel om zo’n twintig procent. Voor HDD’s gelden dezelfde dingen overigens, alleen gaat het daar om nog hogere percentages. Feitelijk zijn standaard SSD’s dus niet veel anders qua architectuur dan HDD’s. Al zijn de prestaties natuurlijk wel beter en verbruiken ze minder stroom.
Voor de volledigheid: er is in principe niet per se iets mis met het in de markt zetten van flash op een soortgelijke architectuur als HDD’s. Dat zorgt vanzelfsprekend voor een betere adoptie, omdat je kort door de bocht simpelweg een HDD uit een systeem kunt trekken en er een SSD voor in de plaats in kunt prikken. In laptops en desktops zorgde dit meteen voor een dermate grote prestatieverbetering dat het vrij snel een no-brainer werd om de overstap te maken. Ook in datacenteromgevingen presteren SSD’s beter dan HDD’s, al duurde het daar vooral vanuit capaciteitsbeperkingen en prijs een stuk langer voor SSD’s er relatief gangbaar werden.
Rek is er nog lang niet uit bij flash, bij HDD’s gaat ontwikkeling veel langzamer
Flash, of het nu SSD’s zijn of DFM’s, heeft sowieso al een grote voorsprong op HDD’s als het gaat om capaciteit. Waar we bij HDD’s met pijn en moeite inmiddels rond de 30TB zitten, zijn er al SSD’s van 100TB te koop. De 150TB-DFM van Pure komt er nu dus ook aan. Sterker nog, het bedrijf heeft al gezegd dat het volgend jaar met een module komt van 300TB. We verwachten dat ook SSD’s qua capaciteit stevige sprongen zullen blijven maken. De sprongen die HDD’s gaan maken zullen kleiner zijn. Binnen de 3,5-inch form factor zijn enorm grote sprongen inmiddels erg lastig geworden.
Als je bedenkt dat de HDD-industrie minimaal zo’n 15 jaar bezig is geweest om HAMR (Heat Assisted Magnetic Recording) te ontwikkelen, is het laaghangende fruit wel geplukt en daarmee ook de snelle innovatie er ruimschoots uit. HAMR kan nog richting de 100TB per HDD, is de verwachting, maar dan zal er toch weer iets nieuws moeten komen. Als dat ook weer heel lang duurt, zullen de HDD-fabrikanten zich ook achter de oren gaan krabben en meer in gaan zetten op flash.
Tijdens Pure Accelerate hadden we de mogelijkheid om te spreken met John Colgrove, een van de oprichters van Pure Storage. Coz, zoals hij door vrijwel iedereen genoemd wordt, is vanaf het begin van Pure Storage in 2009 all-in gegaan op flash (eerst SSD’s, daarna de eigen DFM’s). In het begin was dat best lastig, omdat de eerste generatie SLC-flash peperduur was. Inmiddels ziet hij al meer dan een decennium dat de prijs van flash zeer steil naar beneden gaat, veel steiler dan die van HDD’s. Let wel, voor Pure ligt dit wel anders dan voor andere flash-aanbieders in de markt. De DFM’s van Pure zijn niet afhankelijk van DRAM, dus ook niet van de prijs daarvoor. Die kan ervoor zorgen dat SSD’s (die wel DRAM gebruiken) minder snel in prijs dalen dan de zelf ontwikkelde DFM’s.
Een belangrijke vraag is hoe lang de lijn steil naar beneden blijft gaan. Flash is op dit moment een haalbaar alternatief voor delen van de opslagmarkt, maar met name op het gebied van koudere opslag is de HDD voor veel bedrijven nog altijd interessanter. De flashmarkt zal dus snel genoeg door moeten blijven innoveren om ook daar de HDD te kunnen vervangen. Is dat niet het geval, dan is het wellicht tijd om voorbij flash te gaan kijken.
Moeten we al voorbij NAND-flash kijken?
Als we Coz vragen of we wellicht niet voorbij flash moeten kijken, antwoordt hij daar kort en krachtig ‘Nee’ op. Dat is nog helemaal niet nodig volgens hem. “De reden hiervoor is dat het allemaal om het kostenplaatje draait”, legt hij uit. Hij ziet nog altijd geen technologie die beter presteert dan NAND-flash en ook commercieel interessant genoeg is.
Er zijn overigens wel degelijk technologieën geweest die beter zijn dan NAND-flash. Coz haalt Optane aan, op basis van 3D XPoint. Dat is zo’n tien jaar geleden door Intel en Micron in de markt gezet. Het werd tussen DRAM en flash in gepositioneerd en had eigenschappen van beide technologieën. “Optane was veel beter dan flash, maar ook veel te duur”, geeft Coz aan. Dat laatste geeft altijd de doorslag. Je kunt zulke mooie technologie ontwikkelen, als het te duur is, gaat het niet succesvol zijn. Optane vs flash kan dus prima in het rijtje met Betamax vs VHS en FireWire vs USB, om een paar bekende voorbeelden te noemen.
Daarnaast is er op dit moment ook nog geen reden om voorbij flash te gaan kijken, vervolgt Coz. Hij ziet nog helemaal geen tekenen dat de steile neerwaartse curve van prijs per GB snel gaat afvlakken. “Het gaat hard voorbij disk blazen, nieuwe technologieën gaan flash nooit inhalen als dit niet vertraagt. En dat gaat nog wel een tijdje duren”, volgens hem. Hij wijst erop dat QLC NAND op dit moment net door de 200 lagen is gegaan. Hoe meer lagen, hoe hoger de dichtheid. De verwachting is dat QLC tot 1000 lagen kan. Dus daar zit nog heel veel toekomst in, als het niet ook te ingewikkeld wordt om die 1000 lagen te bereiken.
Het verbaast zelfs Coz af en toe nog hoeveel rek er in NAND-flash zit: “Als je me vijf jaar geleden had gevraagd wanneer we bij PLC flash [flash met cellen van vijf lagen, red.] zouden uitkomen, had ik 2025 gezegd. Nu zeg ik 2028 of later.” Ook hier geldt de wetmatigheid weer die Coz hierboven aanhaalde: zolang iets economisch goed schaalt, moet je er niet aankomen als het alternatief minder eenvoudig in de markt te zetten is. Coz stelt dan ook de volgende retorische vraag: “PLC is moeilijker dan QLC, dus waarom zou je dat doen als het niet nodig is?”
Wanneer gaan hyperscalers over naar flash?
Als we Coz zo eens aanhoren, zal het nog wel even duren tot de verhoudingen tussen HDD’s en flash stabiliseren. Tot die tijd zal flash alleen maar meer van de HDD-markt gaan veroveren. De hyperscalers spelen hierin een belangrijke rol. Dat is, samen met datacenters van grote bedrijven, de voornaamste afzetmarkt voor HDD’s. Charlie Giancarlo, de CEO van Pure Storage, noemt hyperscalers in gesprek met ons de soft underbelly van de HDD-markt. Volgens hem bestaat zo’n 60 procent van de business van HDD-fabrikanten uit de verkoop van harde schijven aan hyperscalers. Als dat wegvalt, is dat dus een serieus probleem.
Dat laatste lijkt best eens te kunnen gaan gebeuren in de nabije toekomst. Giancarlo: “De eerste hyperscaler gaat nog dit jaar voor flash kiezen. We hebben op dit moment gesprekken met meerdere hyperscalers. Een ervan ligt duidelijk voorop. Ik heb er vertrouwen in dat die nog dit jaar gaat tekenen.” Let wel, dit betekent niet dat de eerste hyperscaler dan ook al meteen FlashArrays en/of FlashBlades gaat afnemen. Het betekent dat deze gaat werken aan een design ervoor. Maar vanaf volgend jaar zouden de eerste orders dan wel binnen kunnen komen bij Pure. “Deze ontwikkeling is nog maar eens een bewijs dat we op het juiste prijsniveau zitten”, voegt de CEO van Pure toe. Dat is iets wat niet alleen Pure maar ook andere spelers in de flash-markt al enige tijd zeggen.
HDD’s zijn er nog wel een tijdje, maar hoe lang nog?
Zelfs als hyperscalers flash gaan afnemen, betekent dit niet meteen het einde van de HDD. Dat heeft echt nog wel wat tijd nodig. Het is erg lastig te voorspellen wanneer er een kruis gaat over de productie van HDD’s. Het verleden heeft geleerd dat het best lastig kan zijn om opslagmedia definitief uit te roeien. Begin juli lazen we nog dat Japan eindelijk de floppy disk met pensioen heeft gestuurd. En zo zijn er ongetwijfeld nog wel meer voorbeelden te vinden. De traditionele harde schijf zal er ook echt nog wel een tijdje zijn.
Wanneer zal de HDD daadwerkelijk dood zijn? De deadline van 2028 die Pure Storage vorig jaar tijdens Accelerate stelde in alle disk is done-retoriek lijkt ons iets te optimistisch vanuit het perspectief van flash. Pure heeft hier uiteraard de nodige belangen bij, dus het is niet gek dat die partij het wat rooskleurig schetst voor zichzelf. Toen we vorig jaar doorvroegen bleek overigens al snel dat Pure niet bedoelde dat er vanaf 2028 geen HDD’s meer verkocht worden. Het ging bij die voorspelling over systemen die HDD’s gebruiken.
Als na de eerste hyperscaler echter ook de andere hyperscalers een voor een overstappen, kan het echter een stuk sneller gaan dan je wellicht verwacht. Dan zullen HDD’s sneller marktaandeel gaan verliezen aan flash dan dat het aandeel groeit door de nog altijd sterk groeiende vraag naar opslag. In combinatie met de nog altijd dalende prijs per GB voor flash en de rek die er nog in flash zit, zal de vervanging van HDD door flash doorzetten. Uiteraard moet de supply chain het aankunnen, dus het is voor de flashmarkt niet handig als iedereen vandaag of morgen overstapt. Dat kunnen de fabrieken simpelweg niet aan.
Er zullen ongetwijfeld nog geruime tijd use-cases blijven voor HDD’s, al zien we inmiddels ook een opleving van tape voor (zeer) koude storage. Het kan zomaar zijn dat we uiteindelijk uitkomen in een wereld waarin de opslag verdeeld wordt over flash en tape. Al lijkt tape, dat voornamelijk ingezet wordt voor archivering, concurrentie te kunnen krijgen van keramiek-gebaseerde opslag. Pure Storage lijkt daar in ieder geval toekomst in te zien, getuige de recente investering in Cerabyte. Hoe dan ook, HDD’s komen dan in een situatie terecht waarin ze te groot zijn voor het servet en te klein voor het tafellaken. En dat is geen situatie met veel perspectief.
Lees ook: Pure Storage wil harddisks definitief overbodig maken