Создание нового высокопроизводительного вычислительного комплекса в Росгидромет: опыт IBS

Монтаж нового суперкомпьютерного комплекса Росгидромета был завершен в конце 2008 года. По общей производительности в 27 Тфлопс он превосходит предшественника в десять тысяч раз и занимает шестое место в Top-10 суперкомпьютеров в России.

О заказчике

Федеральная служба по гидрометеорологии и мониторингу окружающей среды  (Росгидромет) осуществляет мониторинг и прогноз состояния и загрязнения окружающей среды и обеспечивает своевременные предупреждения об опасных гидрометеорологических явлениях и высоких уровнях загрязнения окружающей среды.

Российская Федерация является членом Всемирной метеорологической организации (ВМО). Росгидромет обеспечивает выполнение международных обязательств России по обмену данными гидрометеорологических наблюдений и прогностической информацией и поддерживает функционирование следующих центров, входящих в структуру ВМО: один из трех Мировых метеорологических центров в Москве, Мировой центр данных в Обнинске, Мировой центр радиационных данных в Санкт-Петербурге, два региональных специализированных метеорологических центра в Новосибирске и Хабаровске, региональный специализированный центр по переносу и прогнозу загрязнений окружающей среды в Обнинске.

ГУ "Гидрометцентр России", входящее в структуру Росгидромета, является уникальным научно-исследовательским и оперативно-прогностическим центром, в котором ведутся исследования и оперативная деятельность по атмосферным процессам, в области гидрологии морей и океанов, гидрологии суши, агрометеорологии. Центр обеспечивает оперативный мониторинг текущих и прогноз явлений в атмосфере, на морях и океанах, гидрологических объектах на территории России. Совместно с ГУ "ГВЦ Росгидромета" и ГУ "ГРМЦ" ГУ «Гидрометцентр России» обеспечивает функционирование Мирового метеорологического центра ВМО.

ИТ-задачи

ГУ "ГВЦ Росгидромета" осуществляет оперативную эксплуатацию автоматизированных технологий в интегрированной вычислительной среде, объединяющей основной вычислитель Росгидромета, оперативные и научно-исследовательские абонентские комплексы. В функции ГУ "ГВЦ Росгидромета" входит осуществление мониторинга и планирование развития технологий и средств обработки оперативной гидрометеорологической информации. ГУ "ГВЦ Росгидромета" организует обучение и повышение квалификации ИT-персонала в основных подразделениях Росгидромета.  

Для решения прикладных и фундаментальных задач с 1996 года метеорологи Росгидромета использовали в качестве основного вычислителя суперкомпьютер Cray Y/MP-8Е от Cray Research производительностью 2,4 GFlops. Этот компьютер превосходил своего предшественника - Hitachi 3033 в триста раз, однако к моменту установки успел выбыть из первой сотни рейтинга ТОР500. За 8 лет эксплуатации резервы (в т.ч. скрытые) прежнего суперкомпьютера были исчерпаны, поддержка производителя по ряду причин прекратилась, и комплекс не мог далее выполнять функции основного вычислителя Росгидромета.

В 2003 году стартовала программа «Модернизация и техническое перевооружение учреждений и организаций Росгидромета», финансируемая федеральным  бюджетом РФ с применением механизма займа Всемирного банка. Реализация программы координируется Фондом «Бюро экономического анализа» (БЭА)

В рамках программы был разработан проект по установке и вводу в эксплуатацию высокопроизводительных вычислительных комплексов с соответствующей инженерной инфраструктурой электропитания, вентиляции и кондиционирования в оперативных прогностических центрах Росгидромета в Москве, Новосибирске и Хабаровске, а также в центре радиационных данных в Санкт-Петербурге.

При постановке задачи специалисты Росгидромета исходили из временных параметров оперативного цикла расчетов, вычислительных свойств современных и перспективных моделей атмосферы и океана и оптимального сочетания «цена-качество» при максимальной эффективности решения оперативных задач. Основным требованием, к результатам модернизации стало обеспечение существенного повышения точности и заблаговременности более детализированных по площади прогнозов. Для выбора архитектуры решения был привлечен независимый международный экспертный совет. Важнейшим аспектом при построении вычислительной системы такого масштаба было использование современных интеллектуальных наработок в области моделей прогноза погодных явлений, а также вопрос их дальнейшего развития и совершенствования.

Проект по установке и вводу в эксплуатацию высокопроизводительных вычислительных комплексов  реализовывался в 2 этапа. На первом этапе (2005-2006 гг) была реализована часть проекта, связанная с модернизацией вычислительной базы Центра Росгидромета в Санкт-Петербурге, а в 2007 году был объявлен конкурс для выбора генерального подрядчика в части модернизации центров в Москве, Новосибирске и Хабаровске.

К моменту объявления тендера компанией IBS уже были реализованы масштабные проекты в Казначействе России, Федеральном агентстве кадастра объектов недвижимости (Роснедвижимость), ряде других государственных учреждений. Богатый опыт позволил IBS выполнить квалификационные условия конкурса и по проекту Росгидромета.

Основной сложностью при подготовке проекта к конкурсу стали сжатые сроки - объявление о конкурсе было опубликовано 16 марта 2007 года, а подача предложения должна была состояться уже 21 мая. За это время необходимо было получить и обработать материалы от большого количества субподрядчиков, после чего представить предложение в объеме полноценного технического проекта. Решения SGI в части Центра в Москве и Kraftway в части центров в Новосибирске и Хабаровске, с которыми в конкурсе участвовала IBS, полностью отвечали требованиям проекта, и были признаны оптимальными для реализации поставленных задач.

Вторым непростым моментом стал очень широкий охват систем, входящих в состав предложения. Решение должно было включать в себя специализированные высокопроизводительные вычислительные системы, практически все компоненты общей вычислительной и сетевой инфраструктуры и сложные инженерные обеспечивающие системы.

Основные характеристики вычислителей модернизированной ИТ-структуры оперативных прогностических центров Росгидромета в Москве, Новосибирске, Хабаровске и Санкт-Петербурге

Контракт по реализации проекта был подписан в сентябре 2007 года. Его общий бюджет - около $25 млн. В проектную команду в общей сложности вошли порядка ста человек, в их числе - двадцать  специалистов IBS.

Решение

Для Центра в Москве был закуплен комплекс из двух кластеров. Основным средством для расчета оперативных прогнозов стала крупнейшая в России система с единой общей памятью SGI Altix 4700  производительностью 11Тфлопс. Система имеет 1664 процессорных ядра процессоров Intel Itanium2 9140М и оперативную память 6,6 TB.  Второй кластер SGI Alltix ICE на базе процессоров Intel Xeon е5440 обладает пиковой производительностью 16 Тфлопс.

Таким образом, по общей производительности в 27 Тфлопс новый суперкомпьютерный комплекс превосходит предшественника  в десять тысяч раз и  занимает шестое место в Top-10 суперкомпьютеров в России.

В региональных специализированных метеорологических центрах в Новосибирске и Хабаровске, а также – в Главной геофизической обсерватории им. А.И.Воейкова в  Санкт-Петербурге, установлены комплексы Kraftway  G-Scale S-4700 (по 104 процессорных ядра Intel Itanium2 9140, оперативная память 200GB) производительностью по 0,6TFlops.

Суперкомпьютер Росгидромета использует аппаратные платформы Intel Itanium2 и Intel Xeon, которые применяются в метеослужбах Финляндии, Бельгии, Турции, а также  в одном из крупнейших высокопроизводительных проектов мира – Центре NASA (608Тфлопс - №3 в текущем списке Top500).

Ход проекта

Проект реализуется в четыре этапа. Первый этап (сентябрь 2007 года - ноябрь 2008 года). Подготовительный этап, на котором проводились строительные работы и создание инженерной инфраструктуры.

Второй этап (октябрь 2007 года – декабрь 2008 года). Монтаж суперкомпьютерного комплекса.

Третий этап (ноябрь 2008 года – январь 2009 года). Пусконаладочные работы, включающие предварительные испытания комплекса и опытную эксплуатацию. 

Четвертый этап (январь-март 2009 года). Приемо-сдаточные испытания

Монтаж суперкомпьютерного комплекса был завершен в конце 2008 года. Параллельно в опытную эксплуатацию была сдана система охлаждения комплекса. Основными требованиями к ней стали: предельная отказоустойчивость, наличие экономичного режима, повышенные требования по мощности и надежности работы.

Предшественник нового суперкомпьютера, Cray Y-MP охлаждался жидким фреоном (- 20—40С градусов), подводимым непосредственно к платам. Новый комплекс охлаждается с помощью трех последовательных контуров охлаждения – воды, фреона и водогликолевого антифриза. За счет этого система отводит более 320 кВт тепла при вдвое-втрое меньшем количестве потребляемой электрической мощности.    Для обеспечения отказоустойчивости главные компоненты имеют двойное или тройное резервирование.  Также в системе предусмотрен специальный режим на случай отключения электропитания. Время работы в таком режиме составляет 15 минут. Для снижения нагрузки на ИБП при отключении питания система охлаждения переходит в режим минимального энергопотребления, в котором работают только автоматика, циркуляционные насосы, вентиляторы прецизионных кондиционеров и фанкойлов. Для бесперебойного снабжения холодной водой во внутреннем контуре предусмотрены емкости с необходимым ее запасом.  Экономия обеспечивается за счет т.н. «режима свободного охлаждения», который включается автоматически при наружной температуре ниже минус пяти градусов.

Стоимость системы охлаждения составила  порядка двух миллионов долларов.

Результаты

По ожиданиям метеорологов, с появлением нового суперкомпьютерного комплекса существенно увеличатся их возможности в решении фундаментальных и прикладных задач прогноза погоды и моделирования изменений климата. Новые методы прогнозирования на основе расчетов суперкомпьютера повысят точность и качество прогнозов, что необходимо для предупреждения о неблагоприятных и опасных явлениях погоды, снижения угрозы жизни населения и ущерба экономике страны от стихийных бедствий.

По мнению руководителя Росгидромета Александра Бедрицкого, в России, где отмечается большое разнообразие климатических и погодных условий, от качества и своевременности метеорологических прогнозов зависят очень многие отрасли, особенно энергетика, транспорт, строительство, сельское хозяйство и ЖКХ. «Хочу отметить, что экономический эффект прогнозов многократно превышает затраты на их производство. Способность спрогнозировать такие опасные погодные явления, как ураганы, смерчи, град, наводнения и прочие – единственный ключ к предотвращению экономического ущерба и возможных человеческих жертв. И именно в этом заключается основная миссия метеорологов. Новый суперкомпьютер – всего лишь инструмент, но инструмент необходимый. Только сплав профессионализма ученых-метеорологов и современных технологий прогнозирования, в том числе компьютерных технологий, дает качественный результат», - считает А.Бедрицкий.

Для IBS проект в Росгидромете также стал знаковым. «Задачи метеорологического моделирования и прогнозирования погоды всегда требовали от синоптиков находиться «на пике» компьютерных технологий. С созданием суперкомпьютера Гидрометцентр России получает новые вычислительные возможности, которые соответствуют его мощному научному потенциалу и статусу ведущего мирового метеорологического центра. Проект, реализуемый в тесном сотрудничестве с ГВЦ Росгидромета и БЭА,  стратегически важен для IBS не только из-за масштабов, технической сложности и престижа, но и потому что мы прекрасно осознаем его социальную значимость», - отмечает заместитель генерального директора по работе с госструктурами компании IBS Сергей Прошлецов.

После запуска суперкомпьютера потребуется 6-7 месяцев для переноса на него существующих прогностических технологий и около года для выхода на оперативное использование обновленных (с учетом возможностей суперкомпьютера) прогностических моделей.