Wat is high-performance computing (HPC)?
High Performance Computing (HPC) verwijst naar de praktijk van het samenvoegen van rekenkracht op een manier die veel meer vermogen biedt met traditionele computers en servers mogelijk zou zijn. HPC – of supercomputing – is te vergelijken met het dagelijkse computergebruik, alleen veel krachtiger. Het is een manier om op zeer hoge snelheden enorme hoeveelheden data te verwerken met behulp van meerdere computers en opslagapparaten die fungeren als één samenhangend geheel. HPC maakt het mogelijk om enkele van 's werelds grootste problemen op het gebied van de wetenschap, de techniek en het bedrijfsleven te onderzoeken en hier antwoorden op te geven.
Tegenwoordig wordt HPC gebruikt om complexe, prestatie-intensieve problemen op te lossen, en steeds meer organisaties verplaatsen HPC-workloads naar de cloud. HPC in de cloud verandert de economische aspecten van productontwikkeling en onderzoek omdat er minder prototypes nodig zijn, sneller wordt getest en de marktintroductietijd wordt verkort.
Hoe werkt HPC?
Sommige workloads, zoals DNA-sequencing, zijn simpelweg te immens om door één computer te worden verwerkt. Door HPC- of supercomputeromgevingen worden deze grote en complexe uitdagingen aangepakt met afzonderlijke knooppunten (computers) die samenwerken in een cluster (verbonden groep) om in korte tijd enorme hoeveelheden data te verwerken. Het maken en verwijderen van deze clusters wordt in de cloud vaak geautomatiseerd om kosten te besparen.
HPC kan op veel soorten workloads worden uitgevoerd, maar de twee meest voorkomende zijn belemmerend parallelle workloads en strak gekoppelde workloads.
Belemmerend parallelle workloads
Dit zijn rekenproblemen die zijn onderverdeeld in kleine, eenvoudige en onafhankelijke taken die tegelijkertijd kunnen worden uitgevoerd, vaak met weinig of geen onderlinge communicatie. Een bedrijf kan bijvoorbeeld 100 miljoen creditcardrecords indienen bij individuele processorkernen in een cluster van knooppunten. Het verwerken van één creditcardrecord stelt niets voor en wanneer 100 miljoen records over de cluster zijn verspreid, kunnen die kleine taken tegelijkertijd (parallel) met verbazingwekkende snelheden worden uitgevoerd. Veel voorkomende gebruiksscenario's zijn risicosimulaties, moleculaire modellering, contextueel zoeken en logistieke simulaties.
Strak gekoppelde workloads
Deze workloads gebruiken doorgaans een grote gezamenlijke workload die wordt opgesplitst in kleinere taken die continu communiceren. Met andere woorden: de verschillende knooppunten in de cluster communiceren met elkaar terwijl ze hun verwerking uitvoeren. Veel voorkomende gebruiksscenario's zijn onder meer computational fluid dynamics, modellering van weersvoorspellingen, materiaalsimulaties, emulaties van botsingen van auto's, georuimtelijke simulaties en verkeersmanagement.
Waarom is HPC belangrijk?
HPC is al decennialang een cruciaal onderdeel van academisch onderzoek en industriële innovatie. HPC helpt ingenieurs, datawetenschappers, ontwerpers en andere onderzoekers om grote, complexe problemen in veel minder tijd en tegen lagere kosten op te lossen dan bij het traditionele computergebruik.
De belangrijkste voordelen van HPC zijn:
- Minder fysieke tests: HPC kan worden gebruikt voor het maken van simulaties, waardoor fysieke tests overbodig zijn. Bij het testen van botsingen is het bijvoorbeeld veel gemakkelijker en goedkoper om een simulatie te genereren dan om een crashtest uit te voeren.
- Snelheid: met de nieuwste CPU's, GPU's (Graphics Processing Unit) en netwerkstructuren met lage latentie, zoals directe geheugentoegang op afstand (RDMA), in combinatie met all-flash lokale en blokopslagapparaten, kan HPC enorme hoeveelheden berekeningen in minuten in plaats van in weken of maanden uitvoeren.
- Kosten: snellere antwoorden betekent minder tijd- en geldverspilling. Bovendien kunnen met cloudgebaseerde HPC zelfs kleine bedrijven en startups het zich veroorloven om HPC-workloads uit te voeren, waarbij ze alleen betalen voor wat ze gebruiken en opschalen wanneer dat nodig is.
- Innovatie: HPC stimuleert innovatie in bijna elke branche en is de drijvende kracht achter baanbrekende wetenschappelijke ontdekkingen die de kwaliteit van leven van mensen over de hele wereld verbeteren.
HPC-gebruiksscenario: in welke branches wordt high-performance computing gebruikt?
Bedrijven uit de Fortune 1000 in bijna elke branche maken gebruik van HPC en de populariteit ervan neemt gestaag toe. Volgens Hyperion Research zal de wereldwijde HPC-markt tegen 2022 naar verwachting $ 44 miljard bedragen.
In onder andere de volgende branches worden HPC en de typen workloads gebruikt die met HPC kunnen worden uitgevoerd:
- Lucht- en ruimtevaart: maken van complexe simulaties, zoals luchtstromen voor het testen van de vleugels van vliegtuigen
- Productie: uitvoeren van simulaties, zoals die voor autonoom autorijden, ter ondersteuning van het ontwerp, de fabricage en het testen van nieuwe producten, resulterend in veiligere auto's, lichtere onderdelen, efficiëntere processen en innovaties
- Financiële technologie (fintech): uitvoeren van complexe risicoanalyses, flitshandel, financiële modellen en fraudedetectie
- Genomica: DNA-sequencing, analyseren van geneesmiddelinteracties en uitvoeren van eiwitanalyses ter ondersteuning van voorouderonderzoek
- Gezondheidszorg: onderzoek naar medicijnen, maken van vaccins en ontwikkelen van innovatieve behandelingen voor zeldzame en veel voorkomende ziekten
- Media en entertainment: maken van animaties, weergeven van speciale effecten voor films, transcoderen van enorme mediabestanden en creëren van meeslepend entertainment
- Olie en gas: uitvoeren van ruimtelijke analyses en testen van reservoirmodellen om te voorspellen waar olie- en gasresources zich bevinden en het uitvoeren van simulaties zoals vloeistofstroming en seismische activiteiten
- Detailhandel: analyseren van enorme hoeveelheden klantdata om meer gerichte aanbevelingen voor producten en een betere klantenservice te bieden
Waar wordt HPC uitgevoerd?
HPC kan on-premises, in de cloud of in een hybride model worden uitgevoerd waarbij een deel van elk is betrokken.
Bij een on-premises HPC-implementatie bouwt een bedrijf of onderzoeksinstelling een HPC-cluster met veel servers, opslagoplossingen en een andere infrastructuur die ze vervolgens zullen moeten beheren en upgraden. In een HPC-implementatie in de cloud wordt de infrastructuur door een cloudserviceprovider beheerd en organisaties gebruiken die infrastructuur als een pay-as-you-go-model.
Sommige organisaties gebruiken hybride implementaties, vooral die organisaties die hebben geïnvesteerd in een on-premises infrastructuur, maar ook willen profiteren van de snelheid, flexibiliteit en kostenbesparingen van de cloud. Ze kunnen de cloud gebruiken om een aantal HPC-workloads doorlopend uit te voeren en op ad-hocbasis gebruik maken van cloudservices wanneer op de locatie de wachttijd een probleem wordt.
Wat zijn de uitdagingen van on-premises HPC-implementaties?
Organisaties met on-premises HPC-omgevingen krijgen veel meer controle over hun activiteiten, maar krijgen wel te maken met verschillende uitdagingen, waaronder:
- Aanzienlijke investeringen in computerapparatuur, die voortdurend moet worden geüpgraded
- Betalen voor doorlopend beheer en andere operationele kosten
- Een vertraging of wachttijd van dagen tot maanden voordat gebruikers hun HPC-workload kunnen uitvoeren, vooral wanneer de vraag stijgt
- Upgrades naar krachtigere en efficiëntere computerapparatuur uitstellen vanwege lange aankoopcycli, wat het tempo van onderzoek en bedrijfsvoering vertraagt
Gedeeltelijk vanwege de kosten van en andere problemen met on-premises omgevingen worden cloudgebaseerde HPC-implementaties steeds populairder, waarbij Market Research Future een wereldwijde marktgroei van 21% tussen 2017 en 2023 verwacht. Wanneer bedrijven hun HPC-workloads in de cloud uitvoeren, betalen ze alleen voor wat ze gebruiken en kunnen ze op- en afschalen al naargelang wat ze op dat moment nodig hebben.
Om klanten binnen te halen en te behouden, gebruiken de grote cloudproviders toonaangevende technologieën die specifiek zijn ontworpen voor HPC-workloads, zodat ze niet het risico lopen dat de prestaties minder worden naarmate on-premises apparatuur ouder wordt. Cloudproviders leveren de nieuwste en snelste CPU's en GPU's, evenals flash-opslag met lage latentie, bliksemsnelle RDMA-netwerken en beveiliging op bedrijfsniveau. De services zijn dagelijks, 24 uur per dag beschikbaar, met weinig tot geen wachttijd.
HPC-cloud: wat zijn de belangrijkste overwegingen bij het kiezen van een cloudomgeving?
Niet alle cloudproviders zijn hetzelfde. Sommige clouds zijn niet ontworpen voor HPC en kunnen geen optimale prestaties leveren tijdens piekperiodes van veeleisende workloads. De vier kenmerken waarmee u rekening moet houden bij het kiezen van een cloudprovider, zijn:
- Toonaangevende prestaties: uw cloudprovider moet de nieuwste generatie processors, opslag- en netwerktechnologieën hebben en onderhouden. Vraag uw cloudprovider of deze uitgebreide capaciteit en topprestaties kan leveren die minimaal voldoen aan de om-premises implementaties of die overtreffen.
- Ervaring met HPC: de cloudprovider die u kiest, moet een grondige ervaring hebben opgedaan met het uitvoeren van HPC-workloads voor verschillende klanten. Bovendien moet hun cloudservice zijn ontworpen om optimale prestaties te leveren, zelfs tijdens piekperioden, zoals bij het uitvoeren van meerdere simulaties of modellen. In veel gevallen leveren bare metal-computerinstances prestaties die consistenter en krachtiger zijn dan die van virtuele machines.
- Flexibiliteit voor 'lift-and-shift': uw HPC-workloads moeten in de cloud op dezelfde manier worden uitgevoerd als on-premises. Nadat u workloads 'zoals ze zijn' in een 'lift-en-shift'-bewerking naar de cloud hebt verplaatst, moet de simulatie die u de week daarop gaat uitvoeren, hetzelfde resultaat opleveren als dat van de simulatie die u tien jaar daarvoor had uitgevoerd. Dit is uitermate belangrijk in branches waarin elk jaar vergelijkingen moeten worden gemaakt met dezelfde data en berekeningen. De berekeningen voor bijvoorbeeld aerodynamica, de automobielindustrie en chemische bedrijven zijn niet veranderd en de resultaten kunnen ook niet veranderen.
- Geen verborgen kosten: cloudservices worden doorgaans aangeboden op basis van een pay-as-you-go-model, dus zorg ervoor dat u precies weet wat u moet betalen voor elke keer dat u de service gebruikt. Veel gebruikers zijn vaak verrast door de kosten van het uitgaande dataverkeer. U weet wellicht dat u per transactie en voor verzoeken om datatoegang moet betalen, maar de kosten voor uitgaand netwerkverkeer worden gemakkelijk over het hoofd gezien.
De resultaten krijgen die u verwacht en wilt
Over het algemeen kunt u het beste zoeken naar bare metal-cloudservices die meer controle en prestaties bieden. In combinatie met RDMA-clusternetwerken levert bare metal-HPC exact dezelfde resultaten als wat u krijgt met vergelijkbare hardware on-premises.
Wat is de toekomst van HPC?
Bedrijven en instellingen in verschillende branches stappen over op HPC en stimuleren groei die naar verwachting nog vele jaren zal aanhouden. De wereldwijde HPC-markt zal naar verwachting groeien van $ 31 miljard in 2017 tot $ 50 miljard in 2023. Naarmate de cloudprestaties steeds beter en nog betrouwbaarder en krachtiger worden, is de verwachting dat een groot deel van die groei zal plaatsvinden in cloudgebaseerde HPC-implementaties waardoor bedrijven geen miljoenen meer hoeven te investeren in een datacenterinfrastructuur en bijkomende kosten.
In de nabije toekomst zullen big data en HPC gaan integreren, met dezelfde grote cluster computers die wordt gebruikt om big data te analyseren en simulaties en andere HPC-workloads uit te voeren. Naarmate deze twee trends samenkomen, zal het resultaat voor beide zijn dat er meer rekenkracht en -capaciteit nodig is, wat leidt tot nog meer baanbrekend onderzoek en baanbrekende innovatie.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Hyperion Research Update: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf