Bijzonderheden van server-ssd's
Ssd’s versnellen niet alleen desktop-pc’s en notebooks, maar ook servers. Moderne server-ssd’s onderscheiden zich niet alleen qua bouwvorm en aansluitingen van de gangbare ssd’s, maar ook wat betreft functieomvang, robuustheid en firmware.
De moderne ssd’s voor desktops en notebooks zijn razendsnel en kunnen honderden terabytes aan geschreven data aan. Je zou denken dat ze met die prestaties ook bij servers een goed figuur zouden moeten kunnen slaan. Maar het kan nog beter.
Op desktop-moederborden zitten tegenwoordig één, vaak twee en soms zelfs drie M.2-slots voor snelle PCIe-ssd’s. Als dat niet voldoende is, dan kun je er nog een PCIe-insteekkaart bij gebruiken waarop tot vier extra PCIe-ssd’s aangesloten kunnen worden – en dan heb je al meer dan een dozijn terabyte aan snelle opslagruimte in je pc. Voor het gebruik in een server is een dergelijke oplossing echter niet geschikt. Aan de ene
kant heeft de cpu dan al snel een tekort aan PCIe-lanes en aan de andere kant zijn dergelijke inbouwsituaties moeilijk te beheren. Als er een ssd uitvalt, dan moet je de hele computer uitzetten en de ssd omwisselen. Dat kun je bij een office-pc wel doen, maar niet bij een server die zonder onderbrekingen zijn werk moet doen omdat honderden medewerkers er gebruik van maken.
BOUWVORMEN
Klassieke rackservers kunnen schijven van 3,5”- en 2,5”-formaat aan. Vanuit die traditie zijn ook veel server-ssd’s in 2,5”-formaat beschikbaar. De meeste daarvan zijn 15 millimeter hoog en dus een stuk dikker dan de huidige desktop-ssd’s, die meestal 7 millimeter hoog zijn.
In die grotere behuizingen is natuurlijk meer ruimte beschikbaar, bijvoorbeeld voor een tweede printplaat met extra flashchips. Soms bestaat de bovenkant uit koelribben voor een betere warmteafvoer. Het grootste voordeel van een rackserver is dat je harde schijven en ssd’s er tijdens het werken gewoon uit kunt halen om bijvoorbeeld een kapotte schijf door een nieuwe te
vervangen – hot swap genoemd. De storage-software die op de achtergrond draait herkent dat en vervangt de verloren data. Server-ssd’s zijn ook verkrijgbaar in de vorm van een PCIe-insteekkaart, maar die hebben dezelfde nadelen als de afzonderlijke M.2-ssd’s.
NIEUWE FORMATEN
De beschikbare plek in een serverruimte is meestal krap. Hoe meer opslagcapaciteit er in een rack past des te beter, want ruimte kost geld. Voor rekencentra met heel veel opslagruimte zijn dan ook twee nieuwe ssd-formaten ontwikkeld die een hogere dichtheid mogelijk maken: NF1 en E1/E3.
NF1 werd oorspronkelijk onder de naam NGSFF (Next Generation Smal Form Factor) ontwikkeld en heeft een tijd lang de naam M.3 gehad. De bouwvorm lijkt dan ook op die van M.2 – ook de aansluiting is hetzelfde. De printplaat is 110 millimeter lang en met 30,5 millimeter duidelijk breder dan een M.2-ssd. Daardoor passen er twee flashchips naast elkaar op de printplaat en wordt de mogelijke capaciteit meer dan verdubbeld.
Samsung heeft met de PM983 NVMe-ssd al een dergelijke ssd in het assortiment met zo’n 4 TB aan opslagcapaciteit en exemplaren met maximaal 16 TB zullen volgen. In een normale 19-inch behuizing met een hoogte van 44,45 millimeter (1HE, hoogte-eenheid) passen er 36 van die ssd’s naast elkaar, wat betekent dat de totale capaciteit van zo’n NF1-behuizing op meer dan 550 TB kan komen te liggen.
Concurrenten daarvan zijn de Ruler-ssd’s van Intel, ontwikkeld onder het label EDSFF (Enterprise & Datacenter Storage Form Factor) en inmiddels door het industrieconsortium SNIA (Storage Networking Industry Association) gestandaardiseerd als E1.L (38,4 mm × 318,75 mm), E1.S (31,5 mm × 111,5 mm) en E3 (76 mm x 104,9 of 142,2 mm). Ook die ssd’s passen in een 1HEbehuizing.
Een E1.L-ssd moet tot aan 32 TB flashgeheugen kunnen bevatten, en 32 van die ssd’s passen dan naast elkaar in één 19”-rack. De totale capaciteit komt daarmee op 1 PB (petabyte) – ongeveer het achtvoudige van een van U.2-ssd’s voorziene 1HE-server. Op dit moment zijn er echter nog alleen versies met 8 TB opslagruimte op de markt.
Die ssd’s zijn ook nog niet volop verkrijgbaar. De prijzen liggen rond de 3000 euro. Een server daarmee vol stoppen is nu nog voornamelijk interessant voor projectbedrijven en OEM’s – met een prijs van 35 cent per gigabyte kost 1 petabyte aan ssd-opslag immers ongeveer 350.000 euro. E1-modules zijn met vier tot acht PCIe-lanes verbonden, de bredere met zestien. De connectoren werken op dit moment met PCIe 3.0, maar moeten ook voor PCIe 4.0 en zelfs voor PCIe 5.0 goed genoeg zijn.
Een gemeenschappelijk kenmerk bij de nieuwe ssd-formaten zijn de leds aan de voorkant, waaraan je de status kunt aflezen. Een beheerder kan daaraan snel zien of er een ssd defect is. De ssd’s zijn verder hot-pluggable en kunnen dus tijdens het gebruik verwisseld worden.
INTERFACES
De oeroude SATA-interface is bij desktop-pc’s nog altijd razend populair, ook al worden er steeds meer ssd’s met PCIe-aansluiting verkocht.
Bij servers is SATA nog wel gebruikelijk, maar veel fabrikanten gaan voor Serial Attached SCSI (SAS). Ssd’s en ook harde schijven met SAS hebben vaak een wat hoger energieverbruik dan SATA-schijven, maar zijn wel beter geschikt voor servergebruik door onder meer uitgebreide managementfuncties.
Daarnaast zijn er modellen met twee aansluitingen, dual-port-SAS genoemd. Die twee poorten kunnen voor het verhogen van de snelheid gebruikt worden – SAS 12G haalt op zijn snelst bijvoorbeeld 1,2 GB/s per poort – of voor het verhogen van de bedrijfszekerheid: ze kunnen op twee controllers tegelijk worden aangesloten, zodat bij het uitvallen van één controller toch nog toegang tot de data mogelijk is.
Dat wordt normaal gesproken bij storage-systemen gebruikt, terwijl servers meestal alleen met single-port-aansluitingen werken.
SAS gebruikt de SATA-stekkerverbindingen, maar in licht aangepaste vorm: de poorten hebben een extra uitstulping tussen de data- en stroomaansluiting. Daardoor kun je geen SATA-kabel in een SAS-apparaat stoppen, maar wel een SAS-kabel in een SATA-apparaat.
Er zijn systeembeheerders die weliswaar dure SAS-controllers kopen, maar daar goedkope SATAschijven op aansluiten. Voor echt snelle ssd’s is echter
ook SAS te langzaam. Dan komt de U.2-interface om de hoek kijken – elektrisch compatibel met de M.2-standaard, maar in een 2,5-inch behuizing en daarom geschikt voor een rackserver.
Daarbij wordt een aangepaste SAS-verbinding gebruikt met extra contacten op het tussenstuk en bovenop de printplaat. De multifunctionele stekker SFF-8639 past daardoor op SATA-, SAS- en U.2-schijven.
Moderne servers met SFF-8639-stekkers maken een gemengde samenstelling mogelijk met oude SASschijven, goedkope SATA-ssd’s en snelle U.2-ssd’s. Een gemengde vorm is alleen mogelijk als de hostadapter op het servermoederbord dat ondersteunt. Dat doet bijvoorbeeld de Broadcom 9400 TriMode.
De verbinding met de backplane gaat via stekkers volgens SFF-8643 (Mini-SAS HD x4). Die hostadapter kan bijvoorbeeld snelle ssd’s gebruiken als cache voor goedkope harde schijven.
STROOMVOORZIENING
Server-ssd’s werken normaal gesproken met een voedingsspanning van 12 volt, met soms een extra aansluiting voor 3,3 volt voor het opvragen van de apparaatinformatie vóór het starten van de schijf zelf.
Servers moeten vooral onder belasting effectief kunnen werken, dus het idle-energieverbruik is daarbij minder van belang. Servers moeten zoveel mogelijk draaien en zo weinig mogelijk pauze houden. De U.2-interface is geschikt voor een belasting tot 25 watt, en dus moeten ssd-fabrikanten met die bovengrens rekening houden.
HET LEVEN NA FLASH
NAND-flash is goedkoop, goed verkrijgbaar en snel – maar voor veel toepassingen niet snel genoeg. Langzamerhand komen er allerlei alternatieven. Vooral Intel staat daarbij vooraan met zijn Optane genoemde opslaggeheugen. Dat heeft Intel samen met Micron ontwikkeld onder de naam 3D XPoint.
Micron wil het geheugen in de toekomst onder de naam QuantX op de markt brengen. Intel en Micron zullen de samenwerking aan het eind van dit jaar beeindigen, daarna willen beide bedrijven zelfstandig doorontwikkelingen doorvoeren. Optane zit qua snelheid en prijs tussen NAND-flash en DRAM in en moet vooral servertoepassingen op stoom kunnen brengen. Intel heeft ook een paar Optane-ssd’s in het assortiment, die opvallen door een bijzonder korte latentie [1,2] – dat kan bij een databaseserver de boel aardig sneller maken.
Ook Samsung met Z-NAND en Toshiba-WD met XLflash beloven korte latenties. Bij beide gaat het niet om nieuwe technieken, maar om geselecteerd flashgeheugen dat meestal in de SLC-modus wordt gebruikt. Samsung heeft bijvoorbeeld de 983ZET op het programma staan. Een ssd met Toshiba’s XL-flash is voor zover wij weten nog niet beschikbaar.
Ook STT-MRAM is een niet-vluchtig geheugen dat in ssd’s ingebouwd zou kunnen worden – als het niet zo duur was. Volgens Kevin Conley, CEO van de enige fabrikant, kost 1 GB ongeveer 1000 dollar. Daarom wordt STT-MRAM alleen in enkele speciale gevallen gebruikt, bijvoorbeeld voor het back-uppen van flashtabellen bij stroomuitval.
BEVEILIGING
Als een ssd uitvalt, moet die vervangen worden – zo simpel is het. Maar als een defecte ssd naar een reparateur gestuurd wordt, mogen daar geen bedrijfsgegevens meer op staan. Defecte ssd’s zijn echter niet meer te wissen, dus de beveiliging moet al eerder gebeuren.
Daarom slaan veel enterprise-ssd’s hun data in principe versleuteld op. Dat helpt ook meteen als er een nieuwe moet worden gekocht: alle data op een niet meer nodige ssd zijn automatisch onleesbaar.
De schijven zijn met storage-software echter ook handmatig te wissen door de voor het versleutelen benodigde sleutel te veranderen – dat is een kwestie van een paar seconden.
Daarnaast zijn veel enterprise-ssd’s beveiligd tegen een onverwachte stroomuitval. Meestal wordt dat Power Loss Data Protection genoemd. Vaak worden condensatoren gebruikt (SuperCaps) die nog een tijdje stroom kunnen leveren, waardoor het voor de controller mogelijk is om de data in het DRAM naar het flashgeheugen te schrijven. Daarbij gaat het onder meer om de beheerinformatie, oftewel welk blok met welke data gevuld is.
LEVENSDUUR
De makers van server-ssd’s bieden die vaak aan in verschillende varianten. Micron heeft van de 9300-serie bijvoorbeeld de varianten Max en Pro in het assortiment. De verschillen zitten in de levensduur (endurance): de Pro-versie is geoptimaliseerd voor lees-intensieve toepassingen, terwijl de Max-variant meer geschikt is voor gebruik met gemengde schrijf- en leestoepassingen.
De maximale capaciteit van de 9300 Pro is met 15,36 TB hoger dan die van de Max, die maximaal maar 12,8 TB ter beschikking kan stellen. De 9300 Max gebruikt die bijna 20 procent verschil als extra overprovisioning-reserve.
Daardoor komt Micron voor de 9300 Max uit op een endurance van 74,4 PB, terwijl de garantie van de 9300 Pro al na 33,6 PB afloopt. De hoeveelheid data waarmee een ssd bij een garantietermijn van vijf jaar dagelijks te beschrijven is, valt makkelijker te begrijpen: die zit bij de Max op het drievoudige van zijn capaciteit (3 DWPD, Drive Writes Per Day), terwijl de Pro maar één DWPD aankan.
Voor bijzonder schrijfintensieve taken zijn er ssd’s die tot wel het tienvoudige van hun capaciteit per dag aankunnen – natuurlijk voor een bijbehorende pittige prijs.
Dat hoge uithoudingsvermogen behalen de ssd’s niet uitsluitend door een grote overprovisioning-reserve, maar ook het gebruikte geheugen speelt een rol. Al tijdens het testen van de NAND-dies in de productiestraat worden bijzonder goede dies apart gehouden. Die gebruikt men dan later voor dit soort server-ssd’s. Sommige fabrikanten noemen dat geselecteerde geheugen eMLC- of eTLC-flashgeheugen. De e staat daarbij voor enterprise.
CONTROLLERS
Hoe meer flashkanalen een ssd-controller kan aanspreken, des te beter allerlei schrijfoperaties te parallelliseren zijn – waardoor de schrijfsnelheid alleen maar toeneemt. Daar waar typische SATA-controllers genoeg hebben aan vier kanalen, gebruiken PCIe-controllers er meestal acht. Bij server-ssd’s worden controllers met tot aan 18 kanalen gebruikt.
De controllers hebben daarbij nog de taak te zorgen voor een consistente performance. De schrijfprestatie moet bijvoorbeeld gedurende de totale gebruikstijd hetzelfde blijven en niet minder worden door een stijgende temperatuur of hogere belasting. Bovendien is de firmware van server-ssd’s geoptimaliseerd voor de normaal bij een server voorkomende toegangspatronen.
NVME-NAMESPACES
Voor bepaalde taken, bijvoorbeeld bij het starten van virtuele machines van een server, kunnen NVMe-namespaces voor meer overzicht zorgen. Daarbij gaat het om een functie die een ssd in afzonderlijke en individueel adresseerbare schijven indeelt.
Die virtuele ssd’s krijgen dan ook allemaal een eigen commando-queue. Voor de hostcontroller ziet een met NVMe-namepaces geconfigureerde ssd eruit
als aparte schijven en ook het besturingssysteem en de hypervisor zien ze op die manier. Volgens de fabrikanten heeft dat vooral voordelen bij gedistribueerde NVMe-opslagsystemen als ‘NVMe over Fabrics’ (NVMeoF), bij objectopslag met Ceph en bij virtuele opslagnetwerken als vSAN.
Een ssd is echter niet in oneindig veel namespaces op te delen. De genoemde 9300-serie ondersteunt er bijvoorbeeld maximaal 32. Ten opzichte van het opdelen van een ssd in verschillende partities is het grote voordeel vooral de exclusieve toegang tot de commandoqueues.
SEQUENTIEEL VERSUS RANDOM
De servertoepassingen en de bijbehorende toegangsscenario’s zijn bij het selectieproces ook dingen waarmee je rekening moet houden: bij een fileserver staan sequentiële benaderingen op de voorgrond, terwijl bij databases vooral toegang tot willekeurige adressen belangrijk is. Soms gaat het om snel kunnen lezen, en een andere keer om snel schrijven.
Bij het uitkiezen van een ssd moet je dus vooral rekening houden met hoe je hem wilt gaan belasten. In een gemengde omgeving is dat nog niet zo makkelijk, dan moet je zelf gaan meten en experimenteren.
In veel gevallen zul je echter naar een gespecialiseerde dienstverlener gaan en naar de aanbiedingen kijken voor complete serveromgevingen. Het kopen van een speciale server-ssd is dan ook alleen in speciale gevallen zinvol.
Literatuur
[1] Sneller opstarten, Intel Optane SSD 800P, c’t 5/2018, p.24 [2] Snelle Optane-ssd, Intel SSD 905P, c’t 9/2018, p.20