Qu’est-ce que le calcul haute performance (HPC) ?
Le calcul haute performance (HPC) fait référence à la pratique consistant à agréger la puissance de calcul d'une manière qui offre une puissance de cheval beaucoup plus élevée que les ordinateurs et serveurs traditionnels. Le HPC, ou supercalcul, est comme l’informatique quotidienne, mais en plus puissant. Il permet de traiter d’énormes volumes de données à des vitesses très élevées grâce à plusieurs ordinateurs et à des terminaux de stockage organisés dans un ensemble cohérent. Le HPC permet d’explorer et de trouver des réponses à certains des plus grands problèmes mondiaux dans les domaines de la science, de l’ingénierie et des affaires.
Aujourd'hui, le calcul haute performance est utilisé pour résoudre des problèmes complexes nécessitant de nombreuses performances, et les entreprises migrent de plus en plus les charges de travail de calcul haute performance vers le cloud. Le calcul haute performance dans le cloud modifie l'aspect économique du développement de produits et de la recherche, car il nécessite moins de prototypes, accélère les tests et réduit le délai de mise sur le marché.
Comment le HPC fonctionne-t-il ?
Certaines tâches, telles que le séquençage de l’ADN, sont tout simplement trop immenses pour être traitées par un seul ordinateur. Les environnements HPC ou de supercalcul relèvent ces défis importants et complexes avec des nœuds individuels (ordinateurs) travaillant ensemble dans un cluster (groupe connecté) pour effectuer d’énormes quantités de calcul en peu de temps. La création et la suppression de ces clusters sont souvent automatisées dans le cloud pour réduire les coûts.
Le HPC peut être réalisé sur de nombreux types de tâches, mais les deux plus courantes sont les tâches parallèles embarrassantes et les tâches étroitement liées.
Des charges de travail étonnamment parallèles
Ce sont des problèmes de calcul divisés en petites tâches simples et indépendantes qui peuvent être exécutées en même temps, souvent avec peu ou pas de communication entre elles. Par exemple, une entreprise peut soumettre 100 millions d’enregistrements de carte de crédit à des cœurs de processeur individuels dans un cluster de nœuds. Le traitement d’un enregistrement de carte de crédit est une petite tâche, mais lorsque 100 millions d’enregistrements sont répartis dans le cluster, ces petites tâches peuvent être effectuées en même temps (en parallèle) à des vitesses étonnantes. Les cas d’utilisation courants incluent les simulations de risques, la modélisation moléculaire, la recherche contextuelle et les simulations logistiques.
Des charges de travail étroitement couplées
En général, on prend une grande charge de travail partagée et on la divise en petites tâches qui communiquent en permanence. En d’autres termes, les différents nœuds du cluster communiquent entre eux pendant qu’ils effectuent leur traitement. Les cas d’utilisation courants incluent la dynamique des fluides computationnelle, la modélisation des prévisions météorologiques, les simulations de matériaux, les émulations de collision automobiles les simulations géospatiales et la gestion du trafic.
Pourquoi le calcul haute performance est-il important ?
Le HPC est un élément essentiel de la recherche universitaire et de l’innovation industrielle depuis des décennies. Il aide les ingénieurs, les scientifiques des données, les concepteurs et autres chercheurs à résoudre des problèmes complexes et volumineux en beaucoup moins de temps et à un coût moindre que l’informatique traditionnelle.
Les principaux avantages du HPC sont:
- Réduction des tests physiques : le HPC peut être utilisé pour créer des simulations, ce qui réduit le besoin de tests physiques. Par exemple, lors du test d’accidents automobiles, il est beaucoup plus facile et moins coûteux de générer une simulation que d’effectuer un crash test.
- Vitesse : grâce aux derniers processeurs, aux unités de traitement graphique (GPU) et aux réseaux à faible latence tels que l'accès direct à la mémoire à distance (RDMA), associés à des dispositifs de stockage local et en bloc tout-flash, le calcul intensif peut effectuer des calculs massifs en quelques minutes au lieu de semaines ou de mois.
- Coût : des réponses plus rapides signifient moins de perte de temps et d'argent. De plus, avec le HPC basé sur le cloud, même les petites entreprises et les startups peuvent se permettre d’exécuter des charges de travail HPC, en payant uniquement ce qu’elles utilisent et en augmentant et en diminuant au besoin.
- Innovation : le calcul haute performance (HPC) est le moteur de l'innovation dans presque tous les secteurs. Il est à l'origine de découvertes scientifiques révolutionnaires qui améliorent la qualité de vie des populations du monde entier.
Cas d'utilisation du calcul haute performance : dans quels secteurs le calcul haute performance est-il utilisé ?
Les entreprises du classement Fortune 1000 dans presque tous les secteur d’activité font appel au HPC, dont la popularité ne cesse de croître. Selon Hyperion Research, le marché mondial du HPC devrait atteindre 44 milliards de dollars d’ici 2022.
Voici quelques-uns des secteurs qui utilisent le HPC et les types de charges de travail que ce dernier les aide à exécuter :
- Aérospatiale : création de simulations complexes, telles que l'écoulement de l'air sur les ailes d'un avion
- Production : exécution de simulations, par exemple, pour la conduite autonome, pour soutenir la conception, la fabrication et les tests de nouveaux produits, ce qui se traduit par des voitures plus sûres, des pièces plus légères, des processus plus efficaces et des innovations
- Technologie financière (fintech) : réalisation d’analyses de risques complexes, de trading haute fréquence, de modélisation financière et de détection de fraude
- Génomique : séquençage de l’ADN, analyse des interactions médicamenteuses et analyse des protéines pour les études d’ascendance
- Soins de santé : recherche de médicaments, création de vaccins et mise au point de traitements innovants pour les maladies rares et courantes
- Médias et divertissement : création d'animations, rendu d'effets spéciaux pour les films, transcodage d'énormes fichiers multimédias et création de divertissements immersifs
- Pétrole et gaz : réalisation d'analyses spatiales et test de modèles de réservoir pour prédire où se trouvent les ressources en pétrole et en gaz, et réalisation de simulations telles que l'écoulement des fluides et le traitement sismique
- Vente au détail : analyse de quantités massives de données client pour offrir des recommandations de produits plus ciblées et un meilleur service client
Où le HPC se produit-il ?
Le HPC peut être réalisé on-premise, dans le cloud, ou au sein d’un modèle hybride qui comporte une partie de chaque modèle.
Dans un déploiement HPC on-premise, une entreprise ou un institut de recherche construit un cluster HPC composé de serveurs, de solutions de stockage et d’autres infrastructures qu’elle gère et met à niveau au fil du temps. Dans un déploiement HPC cloud, un fournisseur de service cloud administre et gère l’infrastructure, et les organisations l’utilisent selon un modèle de paiement à la demande.
Certaines organisations adoptent des déploiements hybrides, en particulier celles qui ont investi dans une infrastructure on-premise, mais qui souhaitent également bénéficier de la vitesse, la flexibilité et les économies de coût du cloud. Elles peuvent utiliser le cloud pour exécuter certaines charges de travail HPC de manière continue et opter pour les services cloud ponctuellement, lorsque le temps d’attente on-premise devient un problème.
Quels sont les défis liés aux déploiements HPC on-premise ?
Les entreprises disposant d'environnements HPC sur site ont un grand contrôle sur leurs opérations, mais elles doivent faire face à plusieurs défis, notamment
- Investir des sommes importantes en équipement informatique, qui doit être continuellement mis à niveau
- Payer la gestion continue et les autres coûts opérationnels
- Subir des délais, ou des files d’attente, de plusieurs jours à plusieurs mois avant que les utilisateurs puissent exécuter leur charge de travail HPC, en particulier lorsque la demande augmente
- Le report des mises à niveau vers des équipements informatiques plus puissants et plus efficaces en raison des longs cycles d’achat, qui ralentit le rythme de la recherche et des affaires
En partie à cause des coûts et autres défis des environnements sur site, les déploiements de calcul haute performance basés sur le cloud sont de plus en plus populaires, tandis que Market Research Future anticipe 21 % de croissance du marché mondial de 2017 à 2023. Lorsque les entreprises exécutent leurs charges de travail HPC dans le cloud, elles ne payent que pour ce qu'elles utilisent et peuvent rapidement évoluer en fonction de leurs besoins.
Pour gagner et fidéliser les clients, les principaux fournisseurs cloud offrent des technologies de pointe spécialement conçues pour les charges de travail HPC, il n’y a donc aucun risque de baisse des performances lorsque l’équipement on-premise vieillit. Les fournisseurs cloud proposent les processeurs et les GPU les plus récents et les plus rapides, ainsi qu’un stockage flash à faible latence, des réseaux RDMA ultra-rapides et une sécurité d’entreprise. Les services sont disponibles toute la journée, tous les jours, avec peu ou pas de temps d’attente.
HPC Cloud - Quels sont les principaux éléments à prendre en compte lors du choix d’un environnement cloud ?
Tous les fournisseurs cloud ne se valent pas. Certains clouds ne sont pas conçus pour le HPC et ne peuvent pas fournir des performances optimales pendant les périodes de pointe des tâches exigeantes. Les quatre caractéristiques à prendre en compte lors de la sélection d’un fournisseur cloud sont les suivantes
- Performances de pointe : votre fournisseur de cloud doit disposer et maintenir la dernière génération de processeurs, de stockage et de technologies réseau. Assurez-vous qu’ils offrent une capacité étendue et des performances haut de gamme égales ou supérieures à celles des déploiements on-premise typiques.
- Expérience du calcul haute performance : le fournisseur de cloud que vous sélectionnez doit posséder une solide expérience d'exécution de charges de travail de calcul haute performance pour différents clients. De plus, son service cloud doit être conçu pour offrir des performances optimales même pendant les périodes de pointe, comme lors de l’exécution de plusieurs simulations ou modèles. Dans de nombreux cas, les instances d’ordinateurs bare metal offrent des performances plus cohérentes et plus puissantes que les machines virtuelles.
- Flexibilité de la migration : vos charges de travail de calcul haute performance doivent être exécutées de la même façon dans le cloud que sur site. Après avoir déplacé les charges de travail vers le cloud « en l’état » lors d’une opération de lever et déplacer, la simulation que vous exécutez la semaine suivante doit produire un résultat cohérent avec celui que vous avez exécuté il y a dix ans. Ceci est extrêmement important dans les secteurs où des comparaisons d’une année à l’autre doivent être faites en utilisant les mêmes données et calculs. Par exemple, les calculs pour l’aérodynamique, les automobiles et la chimie n’ont pas changé, et les résultats ne peuvent pas changer non plus.
- Pas de coûts cachés : les services cloud sont généralement proposés selon un modèle de paiement à l'utilisation, alors assurez-vous de comprendre exactement ce que vous paierez pour chaque utilisation du service. De nombreux utilisateurs sont souvent surpris par le coût du transfert ou de la sortie des données sortantes. Vous savez peut-être que vous devrez payer chaque transaction et demande d’accès aux données, mais les coûts de sortie sont souvent négligés.
Obtenir les résultats que vous attendez et que vous souhaitez
En règle générale, il est préférable d’opter pour des services cloud bare metal, qui offrent plus de contrôle et de performances. Combiné à la mise en réseau de cluster RDMA, le HPC bare metal fournit des résultats identiques à ceux que vous obtenez avec un matériel similaire on-premise.
Quel est l’avenir du HPC ?
Les entreprises et les institutions de plusieurs secteurs se tournent vers le HPC, ce qui engendre une croissance qui devrait se poursuivre pendant de nombreuses années. Le marché mondial du HPC devrait passer de 31 milliards USD en 2017 à 50 milliards USD en 2023. Alors que les performances du cloud ne cessent de s’améliorer et de devenir encore plus fiables et puissantes, une grande partie de cette croissance devrait provenir des déploiements HPC basés sur le cloud, qui évitent aux entreprises de devoir investir des millions dans l’infrastructure datacenter et les coûts associés.
Dans un proche avenir, attendez-vous à voir big data et HPC converger, le même grand cluster d’ordinateurs étant utilisé pour analyser le big data et exécuter des simulations et d’autres charges de travail HPC. Lorsque ces deux tendances convergeront, la puissance et la capacité de calcul de chacune seront démultipliées, ce qui permettra des recherches et des innovations encore plus révolutionnaires.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Mise à jour d'Hyperion Research : ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf