Системы управления и обработки данных в экзабайтном диапазоне для экспериментов на Большом адронном коллайдере (Алексей Климентов, ISPRASOPEN-2019)

Короткая ссылка: 20191205CA

Докладчик: Алексей Климентов

Эксперименты в области физики элементарных частиц на Большом адронном коллайдера в ЦЕРН используют грид инфраструктуру в рамках консорциума WLCG. В частности, эксперимент АТЛАС использует около 400 К ЦПУ ядер, доступ к вычислительным ресурсам осуществляется через системы управления потоками заданий, загрузкой и управления данными.
Управляемый объем данных экспериментов на БАК составляет более 1 ЕБ. Однако, уже в период второго этапа работы коллайдера (2014/18 гг) стало очевидно, что ресурсов грид недостаточно, чтобы одновременно проводить обработку, анализ экспериментальных данных и моделирование редких физических процессов. Интеграция суперкомпьютерных ресурсов и ресурсов облачных вычислений с существующими ресурсами консорциума WLCG стало задачей, которая была успешно решена физическими экспериментами в последние два года.
Наличие гетерогенного пула ресурсов позволило использовать более 1.2М ядер ЦПУ в периоды пиковой нагрузки. Одновременно было показано, что созданные системы управления данными и потоками заданий разработаны таким образом, что позволяют работать с данными эксабайтного диапазона и использовать ресурсы в более чем 150 ВЦ по всему миру.
Научная программа ЦЕРН предполагает работу БАК в режиме высокой светимости в период 2026-2036 года. Количество данных на этом этапе работы коллайдера возрастет в 100 раз, что требует новых подходов к организации научных вычислений и методов обработки данных, а также использования новых вычислительных архитектур (до настоящего времени используются только процессоры класса х86).
В докладе подробно рассмотрена новая модель обработки данных, а также исследовательские проекты по использованию новых архитектур и суперкомпьютерных центров, создаваемых в Европе и США в рамках программ EuroHPC и Exascale computing.