Ce este calculul de înaltă performanță (HPC)?
Calculul de înaltă performanță (HPC) se referă la practica agregării puterii de calcul astfel încât să se obțină o putere de calcul mult mai mare decât cea a calculatoarelor și serverelor tradiționale. HPC sau supercomputingul este similar sistemelor de calcul obișnuite, dar mai puternic. Este un mod de procesare a unor volume imense de date la viteze foarte mari, folosind mai multe calculatoare și dispozitive de stocare asociate, ca o țesătură deasă. HPC permite explorarea și găsirea de răspunsuri la principalele probleme ale lumii din știință, inginerie și afaceri.
Astăzi, HPC este utilizat pentru a rezolva probleme complexe de performanță - iar organizațiile își mută tot mai frecvent fluxurile de lucru HPC în cloud. HPC în cloud schimbă economia dezvoltării de produse și a cercetării, deoarece necesită mai puține prototipuri, accelerează procesul de testare și scade timpul de lansare pe piață.
Cum funcționează HPC?
Unele fluxuri de lucru, cum ar fi secvențierea ADN, sunt, pur și simplu, prea vaste pentru a putea fi procesate de un singur computer. Mediile HPC sau de supercomputing rezolvă această problemă importantă și complexă prin noduri individuale (calculatoare) care funcționează împreună într-un cluster (grup conectat) pentru a efectua calcule masive într-o perioadă scurtă de timp. Crearea și eliminarea acestor clustere este adesea automatizată în cloud, pentru reducerea costurilor.
HPC poate rula pentru mai multe tipuri de fluxuri de lucru, dar cele mai frecvente sunt: fluxurile de lucru paralele și fluxurile de lucru strâns legate.
Fluxuri de lucru redundante
Problemele de calcul sunt împărțite între sarcinile mici, simple și independente care pot fi executate simultan și comunică între ele puțin sau deloc. De exemplu, o companie poate trimite 100 de milioane de înregistrări de carduri de credit nucleelor de procesoare individuale dintr-un cluster de noduri. Procesarea unei înregistrări de card de credit este o sarcină mică, dar atunci când 100 de milioane de înregistrări sunt distribuite în cadrul clusterului, acele sarcini mici pot fi efectuate simultan (în paralel), la viteze uimitoare. Scenariile de utilizare comune includ simulări de riscuri, modelare moleculară, căutare contextuală și simulări logistice.
Fluxuri de lucru strâns legate
De obicei, luați un flux de lucru voluminos și îl împărțiți în fluxuri mai mici, care comunică între ele continuu. Cu alte cuvinte, diferitele noduri din cluster comunică între ele pe măsură ce efectuează procesarea. Cazurile de utilizare obișnuite includ calculul dinamicii fluidelor, modelarea prognozelor meteo, simulările materialelor, emulările de coliziuni auto, simulările geospațiale și managementul traficului.
De ce este important HPC?
HPC este de zeci de ani o parte esențială a cercetării academice și a inovării în domeniu. HPC ajută inginerii, experții în date, proiectanții și alți cercetători să rezolve probleme mari și complexe mult mai rapid și cu costuri mai mici decât tehnologia de calcul tradițională.
Principalele avantaje ale HPC sunt:
- Testare fizică redusă: HPC poate fi utilizat pentru a crea simulări, eliminând nevoia de teste fizice. De exemplu, atunci când testați accidente auto, este mult mai ușor și mai puțin costisitor să generați o simulare decât să efectuați un test de accident.
- Viteză: cu cele mai noi procesoare, unități de procesare grafică (GPU) și rețele cu latență scăzută, cum ar fi accesul la memorie directă la distanță (RDMA), cuplate cu dispozitivele locale și de stocare în blocuri, HPC poate efectua calcule masive în câteva minute, nu în săptămâni sau luni.
- Costuri: răspunsurile mai rapide înseamnă mai puțină irosire de timp și de bani. În plus, cu un HPC bazat pe cloud, chiar și întreprinderile mici sau startupurile își pot permite să ruleze fluxuri de lucru HPC și să plătească doar pentru ceea ce utilizează, dar și pentru scalarea în sus sau în jos, după necesități.
- Inovare: HPC impulsionează inovarea în aproape toate domeniile - este forța din spatele descoperirilor științifice inovatoare care îmbunătățesc calitatea vieții pentru oamenii din întreaga lume.
Caz de utilizare a HPC - în ce domenii se utilizează calculul de înaltă performanță?
Cele mai importante 1.000 de companii din aproape fiecare domeniu utilizează HPC, iar popularitatea sa este în creștere. Potrivit Hyperion Research, piața globală a HPC va ajunge la 44 de miliarde de dolari până în 2022.
Iată câteva domenii în care se utilizează HPC și tipurile de fluxuri de lucru care pot fi executate cu ajutorul HPC:
- Industria aerospațială: crearea de simulări complexe, cum ar fi fluxul de aer peste aripile avioanelor
- Producție: executarea simulărilor, cum ar fi cele pentru condusul autonom, pentru proiectarea, fabricarea și testarea de produse noi, rezultând mașini mai sigure, componente mai ușoare, procese mai eficiente și inovații
- Tehnologie financiară (fintech): efectuarea de analize de risc complexe, tranzacționarea de mare frecvență, modelarea financiară și detectarea fraudelor
- Genetică: secvențierea ADN-ului, analizarea interacțiunilor dintre medicamente și rularea analizelor de proteine pentru a veni în sprijinul studiilor de genetică
- Sănătate: cercetări privind medicamentele, crearea de vaccinuri și dezvoltarea de tratamente inovatoare pentru boli rare și comune
- Mass-media și divertisment: crearea animațiilor, redarea efectelor speciale pentru filme, transcodarea fișierelor media imense și crearea de divertisment captivant
- Petrol și gaze: efectuarea analizelor spațiale și testarea modelelor rezervoarelor, pentru a anticipa unde se află resursele petroliere și de gaze, și efectuarea simulărilor precum fluidizarea sau procesarea seismică
- Comerțul cu amănuntul: analiza cantităților masive de date despre clienți, pentru a li se oferi recomandări de produse mai bine direcționate și servicii mai bune
Unde se efectuează HPC?
HPC se poate efectua on-premises, în cloud sau într-un model hibrid.
Într-o implementare HPC on-premises, o instituție de afaceri sau de cercetare creează un cluster HPC plin de servere, soluții de stocare și alte infrastructuri, pe care apoi le gestionează și modernizează. Într-o implementare HPC în cloud, un furnizor de servicii în cloud administrează și gestionează infrastructura, iar organizațiile o utilizează în sistemul de plată în funcție de utilizare.
Unele organizații utilizează implementări hibride, în special cele care au investit în infrastructura on-premises, dar care doresc să beneficieze și de viteza, flexibilitatea și rentabilitatea cloudului. Acestea pot utiliza cloudul pentru a rula permanent anumite fluxuri de lucru HPC și pot trece la serviciile cloud ocazional, atunci când termenul fluxurilor on-premises o impune.
Care sunt provocările implementării HPC on-premises?
Organizațiile cu medii HPC on-premises obțin un control superior asupra operațiunilor, dar trebuie să facă față mai multor provocări, inclusiv
- Investirea de capital semnificativ pentru echipamentele de calcul, care trebuie să fie modernizate continuu
- Plata pentru costurile curente de gestionare și alte costuri operaționale
- Întârzierea sau așteptarea de la zile la luni înainte ca utilizatorii să își poată rula fluxul de lucru HPC, mai ales când cererea crește mult
- Amânarea trecerii la echipamente de calcul mai puternice și mai eficiente din cauza proceselor lungi de achiziție, ritmul cercetării și afacerilor scăzând
Parțial, din cauza costurilor și a altor provocări ale mediilor on-premises, implementările HPC bazate pe cloud devin tot mai populare, Market Research Future anticipând o creștere de 21% pe piața mondială din 2017 până în 2023. Când companiile își execută fluxurile de lucru HPC în cloud, achită doar ceea ce utilizează și pot să crească sau să scadă utilizarea rapid, în funcție de necesități.
Pentru a câștiga și a reține clienții, cei mai importanți furnizori de cloud oferă tehnologii de vârf proiectate special pentru fluxurile de lucru HPC, deci nu există pericolul scăderii performanței, ca în cazul vechilor echipamente on-premises. Furnizorii de cloud oferă cele mai noi și mai rapide procesoare și plăci grafice (GPU), precum și stocare flash cu latență scăzută, rețele RDMA rapide și securitate la nivel enterprise. Serviciile sunt disponibile toată ziua, în fiecare zi, cu timp de așteptare scurt sau zero.
HPC Cloud - care sunt principalele criterii de alegere a unui mediu cloud?
Nu toți furnizorii oferă același cloud. Unele clouduri nu sunt concepute pentru HPC și nu oferă performanțe optime în perioadele de vârf ale fluxurilor de lucru solicitante. Cele patru caracteristici de luat în considerare la alegerea unui furnizor de cloud sunt
- Performanță de vârf: furnizorul de cloud trebuie să aibă și să mențină cea mai recentă generație de procesoare, sisteme de stocare și tehnologii de rețea. Asigurați-vă că acesta oferă o capacitate extinsă și performanțe de vârf, care egalează sau depășesc performanțele sistemelor implementate de obicei on-premises.
- Experiența în HPC: furnizorul de cloud pe care îl alegeți trebuie să aibă o mare experiență în rularea fluxurilor de lucru HPC pentru o varietate de clienți. În plus, serviciul cloud oferit trebuie să fie conceput pentru performanțe optime chiar și în perioadele de vârf, cum ar fi atunci când rulați mai multe simulări sau modele. În multe cazuri, instanțele de calcul Bare Metal oferă performanțe mai consecvente și mai robuste în comparație cu mașinile virtuale.
- Flexibilitate la migrarea de tip „lift-and-shift”: fluxurile de lucru HPC trebuie să ruleze în cloud la fel ca on-premises. După ce mutați fluxurile de lucru în cloud „ca atare”, într-o operațiune de tip „lift-and-shift”, simularea pe care o rulați săptămâna viitoare trebuie să producă același rezultat ca aceea de acum zece ani. Acest lucru este extrem de important în domeniile în care comparațiile de la un an la altul trebuie efectuate utilizându-se aceleași date și calcule. De exemplu, calculele din domeniul aerodinamicii, automobilelor și chimiei nu s-au schimbat și nici rezultatele acestora nu se pot schimba.
- Fără costuri ascunse: serviciile cloud sunt oferite, de obicei, cu sistemul de plată în funcție de utilizare, deci asigurați-vă că ați înțeles exact ce veți achita de fiecare dată când utilizați serviciul. Mulți utilizatori sunt adesea surprinși de costul transmiterii datelor - poate știți că trebuie să plătiți per tranzacție și pentru accesul la date, dar costurile de transfer pot fi trecute ușor cu vederea.
Obținerea rezultatelor așteptate și dorite
În general, este recomandat să căutați servicii cloud Bare Metal care oferă mai mult control și performanțe mai bune. În combinație cu rețelele RDMA, HPC pe Bare Metal oferă rezultate identice cu cele pe care le obțineți cu hardware similar on-premises.
Cum arată viitorul pentru HPC?
Companiile și instituțiile din numeroase domenii se îndreaptă către HPC, impulsionând dezvoltarea, care va continua, probabil, mulți ani. Se preconizează că piața globală a HPC se va extinde de la 31 de miliarde USD în 2017 la 50 de miliarde USD în 2023. Pe măsură ce performanțele în cloud continuă să se îmbunătățească și să devină tot mai sigure, este de așteptat ca o mare parte a acestei creșteri să se datoreze implementării HPC bazate pe cloud, care scutește companiile de nevoia de a investi milioane în infrastructura centrului de date și în costurile corelate.
În curând, vă puteți aștepta să vedeți că Big Data și HPC converg, același cluster mare de computere fiind folosit pentru analiza Big Data și rularea simulărilor și a altor fluxuri de lucru HPC. Întrucât aceste două tendințe converg, rezultatul va fi creșterea puterii de calcul și a capacității pentru fiecare, ceea ce va impulsiona cercetarea și inovarea.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Actualizare Hyperion Research: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf