Суперкомпьютеры — вычислительные системы, значительно превосходящие по производительности массовые средства компьютерной техники, — играют важнейшую роль в современных исследованиях и разработках, во многом определяя возможности не только отдельных проектов, но и целых стран. Они позволяют работать над теоретическими и практическими задачами даже в тех случаях, когда натурные испытания невозможны. Будь то моделирование глобальных изменений климата и анализ их последствий, проектирование кораблей или расчет космической техники, суперкомпьютеры ускоряют и удешевляют цикл разработки продукции в десятки раз с помощью численного моделирования.

Россия всегда была в числе мировых лидеров в области суперкомпьютерной техники, а новый супервычислитель в МГУ им. М. В. Ломоносова, разработанный компанией «Т-Платформы», потенциально может стать самым производительным в мире. Его расчетная производительность — 10 Пфлопс, с возможностью масштабирования до 54 Пфлопс. Одна вычислительная стойка такого суперкомпьютера потребляет мощность до 154 кВт. Соответственно, примерно такое же количество теплоты надо от каждой стойки отвести. Непростая инженерная задача! Особенно если учесть, что в коммерческих и корпоративных центрах обработки данных типовая мощность стойки обычно составляет от 5 до 15 кВт, редко выше.

Задачи по проектированию, построению и дальнейшему обслуживанию нетривиальной инженерной инфраструктуры для нового суперкомпьютера взяла на себя компания «АМДтехнологии». При этом система охлаждения основных вычислительных блоков реализована вообще без каких-либо холодильных машин — исключительно на базе естественного охлаждения (фрикулинга). А это, еще раз повторим, 154 кВт на стойку. Заинтригованы? Подробности — в нашей экскурсии.

Суперинженерка для суперкомпьютера

 

Обдувом воздухом такое большое количество теплоты не снять, поэтому изначально разработчики суперкомпьютера предусмотрели его прямое водяное охлаждение. Каждый модуль суперкомпьютера имеет четыре вычислительных узла, которые монтируются на единый водоохлаждаемый радиатор — по два с обеих сторон. Для охлаждения вычислительных модулей подводится вода с температурой 44°С. Температура воды на выходе из компьютера составляет 48°С. Возможность охлаждать вычислитель горячей водой и позволила построить основную систему холодоснабжения (СХС-1) полностью на основе естественного охлаждения. Поскольку температура в Москве, по данным многолетних наблюдений, не превышает 38,5°С, не потребовалось даже задействовать адиабатическое охлаждение.
Обдувом воздухом такое большое количество теплоты не снять, поэтому изначально разработчики суперкомпьютера предусмотрели его прямое водяное охлаждение. Каждый модуль суперкомпьютера имеет четыре вычислительных узла, которые монтируются на единый водоохлаждаемый радиатор — по два с обеих сторон. Для охлаждения вычислительных модулей подводится вода с температурой 44°С. Температура воды на выходе из компьютера составляет 48°С. Возможность охлаждать вычислитель горячей водой и позволила построить основную систему холодоснабжения (СХС-1) полностью на основе естественного охлаждения. Поскольку температура в Москве, по данным многолетних наблюдений, не превышает 38,5°С, не потребовалось даже задействовать адиабатическое охлаждение.

 

Разработчики компании «АМДтехнологии» всячески старались упростить систему и удешевить ее обслуживание. По своей структуре она получилась действительно очень простой: установленные на улице драйкулеры обеспечивают охлаждение наружным воздухом циркулирующего во внешнем контуре гликоля, который через теплообменники охлаждает прокачиваемую по внутреннему контуру воду. Температура гликоля в первичном контуре — 40/46°С, температура воды во вторичном контуре — 44/48°С. Такова общая схема системы охлаждения СХС-1, обслуживающей вычислительное оборудование. Ее холодопроизводительность — 7858 кВт.
Разработчики компании «АМДтехнологии» всячески старались упростить систему и удешевить ее обслуживание. По своей структуре она получилась действительно очень простой: установленные на улице драйкулеры обеспечивают охлаждение наружным воздухом циркулирующего во внешнем контуре гликоля, который через теплообменники охлаждает прокачиваемую по внутреннему контуру воду. Температура гликоля в первичном контуре — 40/46°С, температура воды во вторичном контуре — 44/48°С. Такова общая схема системы охлаждения СХС-1, обслуживающей вычислительное оборудование. Ее холодопроизводительность — 7858 кВт.

 

Несмотря на простоту схемы, специалистам компании «АМДтехнологии» пришлось решить немало сложных инженерных задач. Как рассказывает Виктор Гаврилов, технический директор этой компании, в проекте имелось два принципиальных ограничения: доступная энергетическая мощность и выделенный бюджет. Чтобы выполнить оба условия, потребовалось тщательно подходить к выбору большинства технических решений. Так, например, изначально для прокачки воды и гликоля планировалось использовать насосы мощностью по 90 кВт, но, как оказалось, они «не вписывались» в выделенную мощность. Чтобы снизить потребление двигателей насосов, пришлось пойти на увеличение диаметра трубопроводов.
Несмотря на простоту схемы, специалистам компании «АМДтехнологии» пришлось решить немало сложных инженерных задач. Как рассказывает Виктор Гаврилов, технический директор этой компании, в проекте имелось два принципиальных ограничения: доступная энергетическая мощность и выделенный бюджет. Чтобы выполнить оба условия, потребовалось тщательно подходить к выбору большинства технических решений. Так, например, изначально для прокачки воды и гликоля планировалось использовать насосы мощностью по 90 кВт, но, как оказалось, они «не вписывались» в выделенную мощность. Чтобы снизить потребление двигателей насосов, пришлось пойти на увеличение диаметра трубопроводов.

 

Перед заправкой в контур холодоснабжения вода подвергается специальной подготовке в системе с обратным осмосом. Кроме того, в воду добавляются специально подобранные ингибиторы.
Перед заправкой в контур холодоснабжения вода подвергается специальной подготовке в системе с обратным осмосом. Кроме того, в воду добавляются специально подобранные ингибиторы.

 

Так выглядит пластинчатый теплообменник, который обеспечивает перенос тепла между внешним (гликолевым) и внутренним (водяным) контурами. Своеобразные «рога» служат не для устрашения службы эксплуатации, а для удобства разборки теплообменника и проведения его сервисного обслуживания (очистки). Каждый теплообменник рассчитан на 2 МВт.
Так выглядит пластинчатый теплообменник, который обеспечивает перенос тепла между внешним (гликолевым) и внутренним (водяным) контурами. Своеобразные «рога» служат не для устрашения службы эксплуатации, а для удобства разборки теплообменника и проведения его сервисного обслуживания (очистки). Каждый теплообменник рассчитан на 2 МВт. 

 

Самым тщательным образом специалисты компании «АМДтехнологии» подошли к выбору драйкулера — «сухого» теплообменника с вентиляторами. Были проанализированы характеристики почти всех представленных на рынке изделий, только в финальную стадию отбора прошло оборудование шести производителей. Помимо общих характеристик, таких как потребляемая мощность, расход воздуха и площадь теплообменной поверхности драйкулера, учитывалось еще и удобство последующего обслуживания, которое также будет проводить компания «АМДтехнологии». Сейчас на рынке много теплообменников с хитрыми формами ламелей, которые создают дополнительную турбулентность (при прохождении воздушных потоков) и повышают эффективность теплообмена. Однако Виктор Гаврилов обращает внимание на то, что такие ламели быстро «собирают» грязь, что ухудшает теплообмен и требует дополнительной очистки. Поэтому решено было использовать устройства с обычными (прямыми) ламелями. В результате анализа большого числа параметров были выбраны драйкулеры компании Cabero.
Самым тщательным образом специалисты компании «АМДтехнологии» подошли к выбору драйкулера — «сухого» теплообменника с вентиляторами. Были проанализированы характеристики почти всех представленных на рынке изделий, только в финальную стадию отбора прошло оборудование шести производителей. Помимо общих характеристик, таких как потребляемая мощность, расход воздуха и площадь теплообменной поверхности драйкулера, учитывалось еще и удобство последующего обслуживания, которое также будет проводить компания «АМДтехнологии». Сейчас на рынке много теплообменников с хитрыми формами ламелей, которые создают дополнительную турбулентность (при прохождении воздушных потоков) и повышают эффективность теплообмена. Однако Виктор Гаврилов обращает внимание на то, что такие ламели быстро «собирают» грязь, что ухудшает теплообмен и требует дополнительной очистки. Поэтому решено было использовать устройства с обычными (прямыми) ламелями. В результате анализа большого числа параметров были выбраны драйкулеры компании Cabero.

 

Кроме того, на объекте спроектирована и построена вторая система охлаждения (СХС-2), которая обеспечивает отвод теплоты от систем хранения данных, управляющих серверов, коммутационного оборудования, а также источников бесперебойного питания. СХС-2 представляет собой классическую чиллерную систему с холодопроизводительностью 1714 кВт. В ее составе три чиллера по 900 кВт и три теплообменника гликоль — вода. Температура жидкости в гликолевом контуре 15/10°С, температура воды — 18/12°С. Холодная вода поступает в кондиционерные блоки, установленные в машинных залах, а эти блоки «выдают» потоки холодного воздуха для непосредственного охлаждения нагрузки.
Кроме того, на объекте спроектирована и построена вторая система охлаждения (СХС-2), которая обеспечивает отвод теплоты от систем хранения данных, управляющих серверов, коммутационного оборудования, а также источников бесперебойного питания. СХС-2 представляет собой классическую чиллерную систему с холодопроизводительностью 1714 кВт. В ее составе три чиллера по 900 кВт и три теплообменника гликоль — вода. Температура жидкости в гликолевом контуре 15/10°С, температура воды — 18/12°С. Холодная вода поступает в кондиционерные блоки, установленные в машинных залах, а эти блоки «выдают» потоки холодного воздуха для непосредственного охлаждения нагрузки.

 

В качестве чиллеров для системы СХС-2 были выбраны холодильные машины производства Aermec. Главным преимуществом этих чиллеров специалисты компании «АМДтехнологии» называют высокую эффективность режима естественного охлаждения. В режим полного (100-процентного) фрикулинга они переходят при температуре окружающего воздуха +2°С.
В качестве чиллеров для системы СХС-2 были выбраны холодильные машины производства Aermec. Главным преимуществом этих чиллеров специалисты компании «АМДтехнологии» называют высокую эффективность режима естественного охлаждения. В режим полного (100-процентного) фрикулинга они переходят при температуре окружающего воздуха +2°С.

 

За каждое «место» в проекте была жесткая конкуренция. Помимо СХС-1 и СХС-2, есть еще одна система охлаждения — технологическое кондиционирование для снятия теплопритоков в помещениях хладоцентра. В этой подсистеме по технико-экономическим показателям победили чиллеры другого производителя — Emerson Network Power.
За каждое «место» в проекте была жесткая конкуренция. Помимо СХС-1 и СХС-2, есть еще одна система охлаждения — технологическое кондиционирование для снятия теплопритоков в помещениях хладоцентра. В этой подсистеме по технико-экономическим показателям победили чиллеры другого производителя — Emerson Network Power.

 

Возвращаясь к системе СХС-2, отметим еще одно изящное инженерное решение. Согласно техническому заданию, эта система, обслуживающая, в частности, оборудование хранения данных, должна была обеспечить длительное время автономной работы при отключении электропитания чиллеров. При традиционном подходе для соблюдения условий ТЗ надо было бы поставить три бака-аккумулятора по 25 тонн. Но поскольку под хладоцентр было отведено сильно ограниченное в размерах подвальное помещение, такие баки там просто не помещались. В результате было принято решение установить два бака меньшей емкости (по 8 тонн), но с водой более низкой температуры (5°С), чем в контуре (18/12°С). При пропадании напряжения на основном вводе питания и переходе на автономный режим работы эта перехоложенная вода будет добавляться в контур. Для поддержания в баках-аккумуляторах температуры воды 5°С потребовалось установить два небольших чиллера (по 50 кВт), но в целом решение получилось гораздо более компактным и менее дорогим, чем классическое.
Возвращаясь к системе СХС-2, отметим еще одно изящное инженерное решение. Согласно техническому заданию, эта система, обслуживающая, в частности, оборудование хранения данных, должна была обеспечить длительное время автономной работы при отключении электропитания чиллеров. При традиционном подходе для соблюдения условий ТЗ надо было бы поставить три бака-аккумулятора по 25 тонн. Но поскольку под хладоцентр было отведено сильно ограниченное в размерах подвальное помещение, такие баки там просто не помещались. В результате было принято решение установить два бака меньшей емкости (по 8 тонн), но с водой более низкой температуры (5°С), чем в контуре (18/12°С). При пропадании напряжения на основном вводе питания и переходе на автономный режим работы эта перехоложенная вода будет добавляться в контур. Для поддержания в баках-аккумуляторах температуры воды 5°С потребовалось установить два небольших чиллера (по 50 кВт), но в целом решение получилось гораздо более компактным и менее дорогим, чем классическое.

 

Для мониторинга инженерных систем разработаны и смонтированы удобные средства управления, позволяющие наглядно представить состояние оборудования, основные параметры и пр.
Для мониторинга инженерных систем разработаны и смонтированы удобные средства управления, позволяющие наглядно представить состояние оборудования, основные параметры и пр.

 

Система электропитания построена по традиционной схеме с классическими ИБП. Ее масштаб впечатляет: для проекта было изготовлено и смонтировано более 200 распределительных щитов. Разводка электричества, в том числе и в машинных залах, осуществлена шинопроводами.
Система электропитания построена по традиционной схеме с классическими ИБП. Ее масштаб впечатляет: для проекта было изготовлено и смонтировано более 200 распределительных щитов. Разводка электричества, в том числе и в машинных залах, осуществлена шинопроводами.

 

Как уже говорилось, монтаж труб, коллекторов, шинопроводов и других инфраструктурных элементов проходил в тесных подвальных помещениях с большим числом различных препятствий. А шинопровод — это не обычный кабель, им препятствие по месту не обойти. Да и дополнительный изгиб трубы таких диаметров, что использовались в проекте, стоит очень дорого. Поэтому специалисты компании «АМДтехнологии» использовали предварительное 3D-моделирование. «Это не дань моде, а необходимый инструмент. Без 3D-модели такой проект сделать просто нереально», — объясняет Виктор Гаврилов.
Как уже говорилось, монтаж труб, коллекторов, шинопроводов и других инфраструктурных элементов проходил в тесных подвальных помещениях с большим числом различных препятствий. А шинопровод — это не обычный кабель, им препятствие по месту не обойти. Да и дополнительный изгиб трубы таких диаметров, что использовались в проекте, стоит очень дорого. Поэтому специалисты компании «АМДтехнологии» использовали предварительное 3D-моделирование. «Это не дань моде, а необходимый инструмент. Без 3D-модели такой проект сделать просто нереально», — объясняет Виктор Гаврилов.