Что такое высокопроизводительные вычисления (HPC)?
Под высокопроизводительными вычислениями (HPC) понимается практика объединения вычислительных мощностей, которая обеспечивает более высокие рабочие характеристики, чем у обычных компьютеров или серверов. HPC, или супервычисления, ничем не отличаются от обычных вычислений, кроме мощности. Это способ обработки огромных объемов данных на очень высоких скоростях. Для этого несколько компьютеров и устройств хранения используются как единая фабрика. HPC позволяет проводить исследования и находить ответы на некоторые из крупнейших мировых задач в области науки, техники и бизнеса.
Сегодня высокопроизводительные вычисления используются для решения сложных задач, требующих высокой производительности, и компании все чаще переносят нагрузки высокопроизводительных вычислений в облако. Высокопроизводительные вычисления в облаке меняют экономику разработки и исследования продуктов, потому что в этом случае требуется меньше прототипов, ускоряется тестирование и сокращается время вывода продукта на рынок.
Принципы работы HPC
Некоторые нагрузки, такие как секвенирование ДНК, слишком велики, чтобы их мог обработать один компьютер. Среды высокопроизводительных вычислений или вычислений на суперкомпьютере решают эти большие и сложные задачи следующим образом: отдельные узлы (компьютеры) работают вместе в кластере (связанной группе) для выполнения огромных объемов вычислений за короткий период времени. Для снижения затрат создание и удаление этих кластеров в облаке часто автоматизируется.
HPC можно использовать для нагрузок многих типов, но два наиболее распространенных — это нагрузки с массовым параллелизмом и сильносвязанные нагрузки.
Нагрузки с массовым параллелизмом
Это вычислительные задачи, разделенные на небольшие, простые и независимые задачи, которые можно выполнять одновременно, часто практически без связи между ними. Например, компания может отправить 100 миллионов записей о кредитных картах на отдельные ядра процессора в кластере узлов. Обработка одной записи кредитной карты — небольшая задача, а когда 100 миллионов записей распределены по кластеру, эти небольшие задачи могут выполняться одновременно (параллельно) с поразительной скоростью. Этот вариант часто используют для моделирования рисков, молекулярного моделирования, контекстного поиска и логистического моделирования.
Сильносвязанные нагрузки
Обычно берут большую общую нагрузку и разбивают ее на более мелкие задачи, которые постоянно обмениваются данными. Другими словами, разные узлы в кластере обмениваются данными друг с другом, выполняя свою работу. Этот вариант часто используют для вычислительной гидродинамики, моделирования для прогнозирования погоды, моделирования материалов, имитации столкновений автомобилей, геопространственного моделирования и управления дорожным движением.
Почему HPC имеет такое значение?
На протяжении десятилетий высокопроизводительные вычисления были важной частью научных исследований и отраслевых инноваций. Высокопроизводительные вычисления помогают инженерам, специалистам по обработке данных, проектировщикам и другим исследователям решать большие и сложные задачи за гораздо меньшее время и с меньшими затратами, чем при использовании традиционных вычислений.
Основные преимущества HPC
- Уменьшение объемов физического тестирования. При использовании высокопроизводительных вычислений можно отказаться от физических испытаний, заменив их моделированием. Например, при тестировании автомобильных аварий намного проще и дешевле создать симуляцию, чем выполнить краш-тест.
- Скорость. Благодаря новейшим процессорам, графическим процессорам (GPU) и сетевым фабрикам с малым временем задержки, таким как сеть с удаленным прямым доступом к памяти (RDMA), в сочетании с локальными флэш-накопителями и блочными хранилищами, высокопроизводительные вычисления могут выполнять массовые вычисления за считанные минуты, а не недели или месяцы.
- Стоимость. Чем быстрее вы получаете ответ, тем меньше времени и денег тратите. Кроме того, с облачными высокопроизводительными вычислениями даже малые предприятия и стартапы могут позволить себе запускать нагрузки HPC, платя только за то, что они используют, и при необходимости увеличивая и уменьшая масштаб.
- Инновации. Высокопроизводительные вычисления стимулируют инновации практически во всех отраслях. Это движущая сила невероятных научных открытий, улучшающих качество жизни людей во всем мире.
Примеры использования HPC: в каких отраслях используются высокопроизводительные вычисления
Компании из списка Fortune 1000 почти во всех отраслях используют высокопроизводительные вычисления, и их популярность растет. По данным Hyperion Research ожидается, что к 2022 году мировой рынок высокопроизводительных вычислений достигнет 44 миллиардов долларов США.
Ниже приведены некоторые отрасли, где используются высокопроизводительные вычисления, а также типы нагрузок, с которыми они могут справляться:
- Аэрокосмическая промышленность. Создание сложных симуляций, таких как воздушный поток над крыльями самолетов.
- Производство. Выполнение симуляций, например, для автономного вождения, для поддержки проектирования, производства и испытания новых изделий. Это позволяет создавать более безопасные автомобили, более легкие детали, более эффективные процессы и инновации.
- Технологии для финансовой сферы. Выполнение комплексного анализа рисков, высокочастотного трейдинга, финансового моделирования и выявление мошенничества.
- Геномика. Секвенирование ДНК, анализ взаимодействия лекарств и выполнение анализов белков для поддержки исследований происхождения.
- Здравоохранение. Исследование лекарств, создание вакцин и разработка инновационных методов лечения редких и распространенных заболеваний.
- СМИ и индустрия развлечений. Создание анимации, рендеринг спецэффектов для фильмов, перекодирование огромных медиафайлов и создание представлений с эффектом присутствия.
- Нефтегазовая отрасль. Выполнение пространственного анализа и тестирование моделей пласта для прогнозирования местоположения нефти и газа, а также выполнение моделирования, например, потока жидкости, и обработки сейсмических данных.
- Розничная торговля. Анализ огромных объемов данных о заказчиках для предоставления целевых рекомендаций по продуктам и повышения качества обслуживания покупателей.
Где выполняются HPC?
Высокопроизводительные вычисления могут выполняться локально, в облаке или в гибридной модели, в которой задействованы как облачные, так и локальные компоненты.
При локальном развертывании высокопроизводительных вычислений коммерческая компания или исследовательский институт создают кластер HPC из серверов, решений для хранения данных и другой инфраструктуры, который они контролируют и обновляют с течением времени. При развертывании высокопроизводительных вычислений в облаке инфраструктурой управляет поставщик облачных решений, а компании используют ее, оплачивая только то, чем они действительно воспользовались.
Некоторые компании используют гибридные развертывания. Особенно популярный они у тех компаний, которые вложили средства в локальную инфраструктуру, но также хотят воспользоваться преимуществами скорости, гибкости и экономии, которые дает облако. Они могут использовать локальные системы для выполнения некоторых нагрузок высокопроизводительных вычислений на постоянной основе и обращаться к облачным сервисам на разовой основе, когда время ожидания в очереди становится проблемой в локальной среде.
Какие проблемы возникают при развертывании HPC в локальной среде?
Компании с локальными средами высокопроизводительных вычислений получают значительный контроль над своими операциями, но им приходится решать несколько проблем, в том числе следующие:
- Вложения значительных средств в компьютерное оборудование, которое необходимо постоянно обновлять.
- Оплата текущих управленческих и других операционных расходов.
- Задержки или необходимость ожидания в очереди от нескольких дней до месяцев, прежде чем пользователи смогут запустить свою нагрузку высокопроизводительных вычислений, особенно при резких скачках спроса.
- Зарержки обновления вычислительного оборудования до появления более мощного и эффективного из-за длительных циклов закупок, что замедляет темпы исследований и работы компании.
Отчасти из-за затрат и других проблем, связанных с локальными средами, развертывание облачных HPC становится все более популярным. Компания Market Research Future прогнозирует рост мирового рынка на 21 % в период с 2017 по 2023 год. Когда предприятия выполняют свои высокопроизводительные вычисления в облаке, они платят только за то, что используют, и могут быстро увеличивать или уменьшать нагрузки по мере изменения своих потребностей.
Чтобы привлечь и удержать заказчиков, ведущие поставщики облачных решений используют передовые технологии, специально разработанные для нагрузок высокопроизводительных вычислений, поэтому о снижении производительности по мере старения локального оборудования можно не беспокоиться. Поставщики облачных решений предлагают новейшие и самые быстрые процессоры и графические процессоры, а также флэш-накопители с малым временем задержки, высокоскоростные сети RDMA и системы безопасности корпоративного класса. Сервисы доступны в течение всего дня, каждый день, практически без очереди.
Облако HPC: что нужно учитывать в первую очередь при выборе облачной среды для HPC?
Не все поставщики облачных решений одинаковы. Некоторые облака не предназначены для высокопроизводительных вычислений и не могут обеспечить оптимальную производительность в периоды пиковых нагрузок с высокими требованиями. При выборе поставщика облачных решений нужно учитывать следующие четыре особенности:
- Высочайший уровень производительности. Поставщик облачных решений должен иметь и поддерживать процессоры, хранилища и сетевые технологии последнего поколения. Убедитесь, что предлагаемые решения обладают большой емкостью и высочайшей производительностью, которые соответствуют характеристикам стандартных локальных систем или превосходят их.
- Опыт работы с высокопроизводительными вычислениями. Выбранный поставщик облачных решений должен иметь большой опыт работы с нагрузками высокопроизводительных вычислений для разных заказчиков. Кроме того, его облачный сервис должен быть спроектирован так, чтобы обеспечивать оптимальную производительность даже в периоды пиковой нагрузки, например при запуске нескольких симуляций или моделей. В большинстве случаев экземпляры компьютеров Bare Metal обеспечивают более стабильную и высокую производительность, чем виртуальные машины.
- Удобный перенос из одной среды в другую. Нагрузки высокопроизводительных вычислений должны выполняться в облаке так же, как и в локальной среде. После перемещения нагрузок в облако «как есть» в режиме простого переноса моделирование, которое вы запустите на следующей неделе, должно дать результат, аналогичный результату моделирования, которое проводилось десять лет назад. Это особенно важно в отраслях, где ежегодные сравнения должны производиться с использованием одних и тех же данных и расчетов. Например, вычисления для аэродинамики, автомобилей и химической отрасли не изменились, и результаты тоже не должны измениться.
- Отсутствие скрытых расходов. Облачные сервисы обычно предоставляются с оплатой по факту использования, поэтому убедитесь, что вы точно понимаете, за что будете платить каждый раз, когда воспользуетесь сервисом. Многие пользователи часто удивляются стоимости перемещения исходящих данных или исходящего трафика. Вы скорее всего осознаете, что нужно платить за транзакцию и за запросы доступа к данным, но затраты на вывод данных можно легко упустить из виду.
Получение ожидаемых и нужных результатов
Как правило, лучше всего выбирать облачные сервисы Bare Metal, которые обеспечивают больший контроль и производительность. В сочетании с кластерными сетями RDMA высокопроизводительные вычисления Bare Metal обеспечивают те же результаты, что и при использовании аналогичного локального оборудования.
Что ждет HPC в будущем?
Компании и учреждения из разных отраслей обращаются к высокопроизводительным вычислениям, стимулируя рост, который, скорее всего, будет продолжаться в течение многих лет. Ожидается, что глобальный рынок высокопроизводительных вычислений вырастет с 31 миллиарда долларов США в 2017 году до 50 миллиардов долларов США в 2023 году. Поскольку производительность облачных систем продолжает расти, а сами они становятся еще более надежными и мощными, можно предположить, что большая часть этого роста будет связана с развертыванием облачных высокопроизводительных вычислений, которые избавляют предприятия от необходимости вкладывать миллионы в инфраструктуру центра обработки данных и нести связанные с его поддержанием расходы.
В ближайшем будущем можно ожидать конвергенции больших данных и высокопроизводительных вычислений с использованием одного и того же большого кластера компьютеров, используемых для анализа больших данных, моделирования и других нагрузок высокопроизводительных вычислений. По мере объединения этих двух тенденций вычислительная мощность и емкость как больших данных, так и высокопроизводительных вычислений будут расти, что откроет возможности для появления еще более впечатляющих результатов исследований и инноваций.
Эрл Джозеф (Earl Joseph), Стив Конвей (Steve Conway), Боб Соренсен (Bob Sorensen), Алекс Нортон (Alex Norton). Обновленные исследования Hyperion: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf