Модернизация в ЦКП «Дальневосточный вычислительный ресурс»

Федеральное агентство научных организаций (ФАНО России) в 2016 году провело отбор заявок и выделило 300 млн. рублей на модернизацию оборудования шести ведущим научным суперкомпьютерным центрам. В их числе — Центр коллективного пользования «Дальневосточный вычислительный ресурс», получивший 40 млн. рублей на закупку оборудования производительностью 55 TFLOPS. Суперкомпьютерные технологии в Институте автоматики и процессов управления ДВО РАН развиваются с 1999 года, и на 2017 год ЦКП "Дальневосточный вычислительный ресурс" является самым производительным в Дальневосточном федеральном округе и входит в число 50 самых крупных суперкомпьютерных центров СНГ.

О том, как прошла модернизация и какие результаты уже получены рассказал к.т.н. Д.И. Харитонов, руководитель ЦКП «Дальневосточный вычислительный ресурс» ИАПУ ДВО РАН.

— Расскажите, как прошла модернизация в ЦКП?

— В 2016 году Федеральное агентство научных организаций провело отбор заявок на модернизацию оборудования подведомственных суперкомпьютерных центров. Рабочая группа поддержала заявку ИАПУ ДВО РАН, и в результате открытого конкурентного процесса институт получил финансирование ФАНО на закупку оборудования производительностью 55 TFLOPS c использованием только процессоров общего назначения. Здесь надо заметить, что кластер ИАПУ предназначен для решения широкого спектра задач, и еще до модернизации являлся самым производительным в ДФО.

Контракт на поставку был заключён 9 декабря 2016 года, а в начале февраля 2017 года мы уже получили всё оборудование. В течение месяца проводилось полное тестирование всех вычислительных узлов, коммутационного оборудования и систем хранения данных. В середине марта кластер был полностью готов к использованию. Мне кажется, всё прошло очень оперативно.

Необходимо сказать, что после проведенной модернизации ЦКП «Дальневосточный вычислительный ресурс» вышел на новый уровень: открываются возможности появления новых научных результатов и решения новых задач, ранее недоступных из-за недостатка производительности, и, как результат, сразу же увеличилось количество новых пользователей.

— Что изменилось для ЦКП «Дальневосточный вычислительный ресурс» в результате модернизации, и можно ли уже говорить о ее результатах?

— Во-первых, выросли быстродействие и экономичность — параллельные программы на новом кластере работают от 3 до 8 раз быстрее по сравнению с предыдущим, и даже без учёта эффективности использования процессоров, новый кластер потребляет в 2,5 раза меньше электроэнергии на единицу вычислительной мощности.

Во-вторых, появилась возможность «подтянуть» программное обеспечение кластера до уровня «железа». Теперь мы используем программное обеспечение Intel для кластера с процессорами Intel, к тому же самого мощного на Дальнем Востоке. Благодаря этому, в сентябре представители из компании Intel организуют специализированный семинар для сотрудников ДВО РАН.

В-третьих, у нас появился первый коммерческий пользователь, готовый платить за возможность проводить расчёты на кластере. Ведутся переговоры с другими коммерческими компаниями, можно говорить о возникшем спросе на суперкомпьютерные вычисления со стороны бизнес-структур.

Но основной результат — это появление новых пользователей: за полгода работы кластера их число увеличилось в 1,5 раза, что означает существенный рост и расчётных задач. Если говорить о разделении научного труда, то новые пользователи приходят с новыми задачами, получают новые результаты и через какое-то время выходят новые публикации в рейтинговых журналах.

— Какие вы видите перспективы развития ЦКП на ближайшие годы?

— Правительством Российской Федерации разрабатывается программа развития суперкомпьютерных и грид-технологий. Наш центр стремится быть в числе активных участников этой программы. Мы подаём заявки на модернизацию оборудования во все известные нам программы — и в Минобрнауки, и в ФАНО.

Кроме того, ИАПУ ДВО РАН совместно с ДВФУ организовал объединённый суперкомпьютерный центр, в рамках которого пользователям одновременно будут доступны вычислительные ресурсы и нашего ЦКП и кластера ДВФУ. Объединенные мощности этого суперкомпьютерного центра превышают 100 TFlops. Это знаковая цифра, которая выводит нас в число крупных суперкомпьютерных центров и дает еще большие возможности не только для решения научных задач, но и для развития высшего образования в регионе. Тем более, что наши сотрудники ведут занятия в ДВФУ, ВГУЭС, МГУ им. Невельского — университетах-лидерах по IT-образованию в регионе.

— Для чего необходимы суперкомпьютерные центры?

— Суперкомпьютерный центр ИАПУ ДВО РАН необходим для научной работы пользователям из многих институтов ДВО РАН. Можно сказать, что ЦКП — это форма научного разделения труда. Чем более сложным становится оборудование, тем большей квалификацией должен обладать обслуживающий его персонал, и каждый отдельный институт не может обеспечить нужный уровень вычислений. Сотрудники ЦКП «Дальневосточный вычислительный ресурс» обеспечивают бесперебойность работы вычислительного оборудования, настраивают системное и пользовательское программное обеспечение, следят за соблюдением правил пользования кластерами. Пользователи ЦКП проводят вычислительные эксперименты, каждый из которых может занимать от нескольких минут до нескольких месяцев. Для научного результата могут потребоваться десятки, сотни, а то и тысячи запусков. В среднем наш старый кластер обрабатывал порядка 200 тысяч вычислительных экспериментов в год. При этом количество заданий, выполняющихся более 10 часов, приближалось к трём тысячам.

— Кто является пользователями ЦКП «Дальневосточный вычислительный ресурс», и какие вычислительные эксперименты они проводят?

— Большая часть — это учёные из институтов ДВО РАН, расположенных в непосредственной близости от ЦКП (ТОИ ДВО РАН, ТИБОХ ДВО РАН, ННЦМБ ДВО РАН, ИПМ ДВО РАН, ИХ ДВО РАН и др.). Но есть также пользователи из ДВФУ и даже из других регионов. По регламенту ЦКП оказывает безвозмездные услуги всем учёным, работающим по грантам и программам с бюджетным финансированием.

Cпектр исследований пользователей ЦКП довольно широкий. Условно можно выделить три группы, соответствующие приоритетным научным направлениям институтов ДВО РАН:

– Биотехнологии, связанные с расчётом характеристик и поведения органических соединений, в частности при моделировании лекарств и бактерий.

–  Нанотехнологии и материаловедение, например, связанные с расчётом перспективных соединений для будущих полупроводниковых и оптических вычислителей.

– Моделирование и мониторинг акватории ДВ морей, где также имеется широкий спектр задач от мониторинга тропических циклонов до расчёта сейшевых колебаний в заливах.

— Может можно проводить подобные вычислительные эксперименты на настольном компьютере?

— Иногда можно. Но суперкомпьютер открывает принципиально другой уровень возможностей. Во-первых, это многократное увеличение оперативной памяти, в которой производятся вычисления. Во-вторых, это многократное ускорение самих вычислений. В-третьих, самое главное — непрерывность процесса. Представьте, что на настольном компьютере эксперимент длится уже 30 дней, и в результате отключения электричества на несколько часов все придется начинать заново. На работу ЦКП такой сбой не повлияет – бесперебойность обеспечивается за счёт дублирования линий питания и резервного питания.  Вдобавок благодаря ускорению расчётов эксперимент успешно завершится задолго до требуемых настольному компьютеру 30 дней.

— Можно ли по-прежнему использовать старый кластер параллельно с новым?

— Вычислительное оборудование выдерживает максимум два срока модернизации, это примерно 8–10 лет. Далее его использование экономически невыгодно. Новый суперкомпьютер — это большее количество памяти, большее быстродействие и меньшее электропотребление. На новом оборудовании ЦКП обрабатывает больше новых более сложных экспериментов и тратит меньшие средства на электроэнергию.

Старый кластер неинтересен и невыгоден нашим пользователям. Для получения аналогичных результатов на свежем кластере им потребуется значительно меньше времени, и есть риск, что при  усложнении постановки задачи старый кластер уже не сможет выполнить эксперимент.

— Сколько лет прошло до появления коммерческого пользователя?

— Точкой отсчета надо брать 2007 год, когда в ИАПУ появился кластер фабричного исполнения IBM со специализированной средой передачи данных Myrinet. Теперь, благодаря прошедшей модернизации, мы можем зафиксировать срок в десять лет. Вопрос, почему так долго, сложный. Суперкомпьютер — это инструмент, для использования которого, с одной стороны, необходимы пользователи с подходящими задачами, и, с другой стороны, квалифицированные специалисты, которые умеют эти задачи оформлять для запуска на кластере. Причём квалификация имеет решающее значение. За эти 10 лет в ЦКП сложился коллектив профессионалов, умеющих как обслуживать суперкомпьютерное оборудование, так и настраивать и оптимизировать программное обеспечение, адаптировать задачи пользователей.

10 лет назад мы понимали, что как только вырастет поколение специалистов, для которых суперкомпьютер не будет в новинку, появится и спрос на суперкомпьютерные вычисления. Он уже появился. За 4,5 месяца работы нового кластера обработано около 100 тысяч заданий, в то время как на старом кластере за 12 месяцев обрабатывалось 200 тысяч. Это значит, что пользователи очень активно используют новое оборудование, и по нашим подсчётам могут загрузить кластер с производительностью в десять раз больше.

Беседовала Поздеева Людмила.

Фото Харитонов Д.И.