Проблема поддержки инфраструктуры, необходимой для размещения и эксплуатации серверов, по важности уступает только проблеме стоимости систем

До недавнего времени сотрудники многих организаций вспоминали об инфраструктуре своих центров обработки данных (ЦОД) не чаще, чем раз в десятилетие. Дескать, хватает места для размещения новых стоек для серверов — и ладно; а с проблемами охлаждения и электроснабжения уж как-нибудь разберемся. Но спрос на вычислительные мощности возрастает, как и нагрузка на сети электроснабжения, так что эти времена быстро уходят в прошлое.

Как явствует из исследования, проведенного сотрудниками IDC, менеджеры ЦОД полагают, что проблема поддержки инфраструктуры, необходимой для размещения и эксплуатации серверов, по важности уступает только проблеме стоимости систем. Между тем, как напоминает Стив Конуэй, вице-президент IDC, курирующий исследование рынка высокопроизводительных вычислительных систем, «еще четыре года назад эти проблемы стояли на 12-м месте, то есть, строго говоря, не относились к числу заслуживающих внимания проблем».

Такая смена приоритетов отражает изменения в сфере технологии и резкое повышение спроса на вычислительные мощности. Средства виртуализации и многоядерные процессоры позволяют нам радикально увеличивать мощность вычислительных систем, размещаемых на все меньших площадях. Коммерческие структуры всех типов при обслуживании своих базовых бизнес-процессов все больше полагаются на объединенные вычислительные системы, им приходится размещать на площадях соответствующих ЦОД все большее число серверных стоек. Между тем, как предсказывают специалисты компании Gartner, уже в 2008 году половина вычислительных центров мира не будет иметь инфраструктуры, чтобы обслуживать столь плотно размещаемое оборудование.

В этих условиях перед менеджерами обычных ЦОД встают те же проблемы, с которыми такие менеджеры, как я (работающие в высококлассных научных и технических центрах) сталкиваются уже не одно десятилетие: как правильно располагать средства поддержки инфраструктуры, как оптимизировать систему охлаждения для серверных стоек с высокой плотностью размещения компонентов, какой уровень эффективности ЦОД следует считать достаточным для достижения коммерческих целей, При этом нужно держать в уме все многочисленные детали, которые определяют успех или неудачу работы сети.

Я работаю в центре суперкомпьютерных технологий Департамента обороны США (Army Engineer Research and Development Center, ERDC), и год назад здесь началась реализация рассчитанного на два года проекта по полной перестройке вспомогательной инфраструктуры вычислительного центра.

Проектирование нового ЦОД или переоборудование старого — это сложный процесс, но шесть изложенных ниже рекомендаций, проверенных нами в ходе последнего десятилетия и подтвержденных опытом текущей модернизации инфраструктуры ERDC, помогут вам выбрать правильное направление.

1 Ответьте на вопрос: действительно ли вам нужен собственный ЦОД?

Наращивание вычислительной инфраструктуры — непростой процесс, связанный с большими затратами. Перед тем как взяться за очередную модернизацию, задайте себе вопрос: «А так ли уж мне нужен собственный вычислительный центр?»

В минимально допустимый стандарт инфраструктуры входят распределительная аппаратура и генераторы. Но этим почти никто не ограничивается. К дополнительным средствам для обеспечения отказоустойчивости относятся аккумуляторы или маховики для источников бесперебойного питания (ИБП), резервные источники воды, если коммунальные службы не обеспечивают ее бесперебойное поступление, избыточные компоненты и, возможно, даже подключение к нескольким независимым поставщикам электроэнергии. Далее вам придется защитить себя от пожаров и стихийных бедствий. А по завершении строительства ЦОД вам придется привлечь специалистов, которые будут его обслуживать.

На недавней конференции, посвященной центрам обработки данных следующего поколения, Вернер Фогельс, главный инженер компании Amazon, высказал такую мысль: если вы не заняты в отрасли, где обладание собственным высокоэффективным центром обработки данных обеспечивает получение прибыли, для вас, возможно, будет выгоднее выполнять свои приложения в ЦОД другой организации.

Конечно, такое решение подойдет не для всех, но, когда в условиях повышения цен на услуги коммунальных предприятий и растущего спроса содержать вспомогательную инфраструктуру становится все сложнее, его не следует сбрасывать со счетов.

2 Взвесьте затраты и преимущества от реализации проекта, обеспечивающего бесперебойную работу

Из-за роста издержек и возрастания объемов потребления электроснабжение становится важнейшим предметом обсуждения при планировании работы ИТ-подразделений. Функционирование таких объектов, как трансформаторы, электропроводка, средства охлаждения и ИБП, оборачивается фиксированными потерями, которые значительно сокращают количество имеющейся электроэнергии еще до того, как она поступает на первый сервер.

The Green Grid, глобальный консорциум ИТ-компаний, заинтересованных в разработке и внедрении мер повышения энергетической эффективности ЦОД и информационных служб, рекомендует оптимизировать инфраструктуру избавляться от избыточных компонентов и устанавливать только то оборудование, которое требуется на сегодняшний день. Как указывается в рекомендациях по энергосберегающим ЦОД (Guidelines for Energy-Efficient Data Centers), только благодаря оптимизации инфраструктуры расходы на электроэнергию можно сократить вдвое.

Но есть еще одна связанная с энергоснабжением проблема, которая только в последнее время стала оказывать влияние на планирование развития ЦОД: национальная инфраструктура коммунальных предприятий США начинает проявлять признаки старения.

Обрушение моста в Миннеаполисе и массовые отказы электросетей в начале нынешнего десятилетия являются симптомами быстро надвигающегося упадка важнейших систем общенациональной инфраструктуры. Если не будут приняты серьезные меры по обузданию спроса, а также по увеличению мощности и надежности стареющих энергетических сетей, то в ближайшие несколько лет такие события, как выход из строя систем электроснабжения 14 августа 2003 года, в результате которых 50 миллионов жителей района Великих Озер остались без электричества, будут происходить чаще.

По данным последнего отчета Североамериканского совета по надежности энергосистем (North American Electric Reliability Council), касающегося надежности энергосистем общего пользования в длительной перспективе, спрос на электричество в ближайшие десять лет, как ожидается, вырастет на 19%, тогда как выработка электроэнергии возрастет только на 6%. Это означает, что запас мощности сокращается с каждым годом, а вероятность того, что резкие скачки спроса или аномальные погодные явления приведут к сбоям в электроснабжении, станет более высокой, чем когда-либо прежде.

И поскольку перебои с энергоснабжением в близком будущем, скорее всего, станут более частыми, менеджеры ЦОД, занимаясь проектированием инфраструктуры, должны постоянно держать в поле зрения проблемы доступности электроэнергии, включая избыточные системы распределения и производства электроэнергии для защиты от системных сбоев в коммерческих энергосистемах.

Ясно, что менеджеры должны обеспечивать максимальную эффективность инфраструктуры своих центров (и даже принимать такие меры, как организация высокоэффективного энергоснабжения серверов). Но степень, до которой можно совершенствовать инфраструктуру распределения, будет зависеть от того, во что обойдется организации обеспечение постоянной доступности энергии и расширение мощностей по ее производству. Например, для функционирования нашего центра ERDC требуется весьма надежная система энергоснабжения компьютеров. Наша инфраструктура включает в себя избыточные распределительные системы, аккумуляторы и электрогенераторы. Они помогают нам выполнять повседневное обслуживание, не прерывая производственных операций, а также продолжать работу в аварийном режиме на протяжении длительного времени. В результате фиксированные потери электроэнергии в нашей организации увеличиваются.

3 Обеспечьте более высокую гибкость за счет использования вплотную смонтированных средств охлаждения.

Компьютеры очень эффективно выполняют две операции: обрабатывают цифровые данные и преобразуют электрическую энергию в тепло. Порядка 30% поступающей в ЦОД энергии уходит на нагрев внутренних компонентов серверов.

По традиции системы охлаждения организованы следующим образом. Расположенные вне рабочих помещений мощные холодильные установки охлаждают воду, которая затем подается в системы кондиционирования воздуха компьютерных залов. В результате весь зал заполняется холодным воздухом, а возможность направить его на точки перегрева практически отсутствует.

В последние годы идея использовать в центрах суперкомпьютерных технологий вплотную смонтированные средства охлаждения то обретала популярность, то выходила из моды. Мы пришли к заключению, что эта концепция рациональна и эффективна. Идея состоит в том, что средство охлаждения располагается в непосредственной близости от источника тепла, который оно должно нейтрализовать. Это позволяет охлаждать целевые участки и горячие зоны; пути потоков воздуха сокращаются, а значит, снижаются мощности, потребляемые вентиляторами при движении холодного воздуха по компьютерному залу. Метод позволяет в четыре раза повысить плотность размещения оборудования в монтажных стойках по сравнению с традиционной системой охлаждения. Сегодня под давлением спроса со стороны заказчиков плотность размещения аппаратуры на серверных стойках становится все выше, поэтому все ведущие поставщики серверного оборудования предусматривают возможность монтировать свои изделия вплотную со средствами охлаждения.

Существует множество решений, реализующих эту идею, — как на базе серверных стоек, так и на базе информационных систем. Есть, к примеру, конструкции, предусматривающие монтаж средств охлаждения рядом с серверными стойками или размещение этих средств над каждой стойкой; таким образом реализуется схема охлаждения «сверху вниз». Имеются также решения, предполагающие подачу охлажденной воды непосредственно к задним стенкам стоек или предусматривающие чередование в стойках ящиков со средствами охлаждения и ящиков с компьютерами.

Существует два основных типа средств охлаждения на базе интегральных схем. Самые простые подают прохладную воду на один или несколько радиаторов, размещаемых в сервере над источниками тепла. В более сложных системах используется инертная жидкость в системе закрытого цикла. Применение этой технологии в серверах массового спроса началось лишь в последнее время, но в отрасли суперкомпьютерных технологий подобные методы используются уже на протяжении десятилетий. В ERDC системы теплообмена за счет испарении использовались на некоторых суперкомпьютерах Cray в 2006 году.

Все упомянутые решения предполагают прокладку водопроводных труб для доставки охлажденной воды непосредственно к серверным стойкам, и это следует учитывать уже на этапе планирования водопроводной системы ЦОД. Если даже мысль о необходимости подачи воды в самое сердце ЦОД повергает вас в депрессию, оставьте излишние страхи: к настоящему времени накоплен значительный объем знаний о том, как свести риски к минимуму. Можно, к примеру, принять такие меры: проложить водопроводные трубы на минимальной высоте под фальшполом, установить приборы для обнаружения утечек, изолировать электропроводку и принять меры по предотвращению утечек, такие, как самотечный дренаж и установка поддонов для сбора воды.

4 Не забывайте о плитках для настила пола: от них многое зависит.

Если вы не планируете монтировать средства охлаждения в непосредственной близости от серверных стоек или не имеете возможности использовать этот метод, в вашем распоряжении остаются другие меры по повышению эффективности системы охлаждения.

Внесите в ваш план минимизацию профиля кабелей и труб, прокладываемых под фальшполом в машинном зале. Речь идет о пространстве, используемом системами кондиционирования воздуха компьютерных залов для подачи холодного воздуха на компьютеры, и надо сказать, что КПД энергии, применяемой в таких системах, можно резко повысить, если свести до минимума число препятствий, которые поток воздуха встречает на своем пути. Устранение расположенных под фальшполом препятствий может также способствовать ликвидации горячих зон в ЦОД и исключить ситуации, когда устройства подачи воздуха мешают работе друг друга. Еще одна возможная мера — поручить сторонним специалистам провести анализ гидрогазодинамики ЦОД или приобрести необходимое ПО для выполнения такого анализа своими силами. Этот анализ, осуществляемый с использованием компьютерной модели, которая описывает потоки воздуха внутри ЦОД, может помочь выявить причины, а также устранить проблемы охлаждения, например, определить оптимальное расположение перфорированных плиток для настила пола.

Руководство ERDC прибегло к таким мерам несколько лет назад для того, чтобы обеспечить максимальную отдачу от средств охлаждения. Перфорированные плитки часто просто натилают в холодных проходах перед серверными стойками. «Как ни странно, — рассказывает Пола Линдси, ответственная за интеграционные программы в центре, — плитки непосредственно перед машиной не всегда дают эффект». Исследование гидрогазодинамики показало, что нужно увеличить диаметр отверстий в некоторых плитках и проложить дополнительные «дорожки» из перфорированных плиток в критических зонах.

5 Вынесите вспомогательное оборудование за пределы помещения.

Правильное размещение вспомогательных систем компьютерной инфраструктуры позволит вам повысить эффективность ЦОД и облегчит наращивание его мощности в будущем. Одна из наиболее важных мер, которые вы можете предпринять, состоит в перемещении максимально возможного числа компонентов системы охлаждения за пределы ЦОД. Более того, если вы располагаете достаточным пространством, разумно вывести основную массу этих компонентов за пределы здания.

Проиллюстрирую эту мысль на примере. Когда нам потребовалось найти временное решение для того, чтобы подать на установленный в ERDC новый суперкомпьютер 2 МВт дополнительной мощности, оказалось, что не обойтись без дополнительных ИБП и генератора, который просто не умещался в здании, где находятся остальные компоненты инфраструктуры распределения электроэнергии. Проблема усугублялась еще и тем, что здание, выбранное нами десять лет назад, было построено у подножия крутого холма, а с другой стороны рядом проходит дорога. Решение разместить оборудование вне здания на участке, созданном за счет срезания части холма, было дорогим и требовало времени, которого у нас и так не хватало.

Наши новые долгосрочные планы предполагают размещение большинства упомянутых компонентов за пределами здания в модульных строениях на вновь созданной площадке. «Решение выйти за пределы здания открывает перед нами возможности для развития, по крайней мере, еще на одно десятилетие», — утверждает Грег Роттман, инженер, ответственный за проведение модернизации.

Вывод систем распределения и вспомогательных средств за пределы основного здания имеет, помимо прочего, позитивные экологические последствия. В отчете, опубликованном в 2007 году, организация The Green Grid приводит данные, согласно которым не менее 25% электроэнергии, поступающей в ЦОД, преобразуется в тепло в распределительных системах, оборудовании ИБП и переключателях. Вынос оборудования за пределы ЦОД, а по возможности — и за пределы зданий дает снижение общего потребления энергии, поскольку отпадает необходимость удалять выделяющееся тепло.

6 Осуществляйте мониторинг энергопотребления.

Известно ли вам, сколько энергии использует ваша организация? Потребляют ли ваши серверы больше или меньше электричества, чем предписано в спецификациях изготовителей? Приведет ли модернизация следующей машины к достижению максимальной нагрузочной мощности для вашего центра?

Система мониторинга инфраструктуры, обслуживающей системы энергоснабжения и охлаждения, должна являться составной частью любой планируемой вами модернизации. Активные меры по управлению и мониторингу энергопотребления помогут вам составлять планы на будущее и оценивать действенность мер по повышению эффективности ЦОД.

Убеждать высшее руководство в необходимости выделять средства на такие меры по развитию центра, которые не имеют прямого отношения к достижению коммерческих целей организации, порой бывает очень непросто. Возможно, вам придется строить систему мониторинга элемент за элементом по мере изыскания средств. Однако имейте в виду, что есть смысл оснащать ЦОД средствами мониторинга еще до того, как вы приступите к серьезным переменам. Это позволит вам определить реальные исходные показатели, по которым вы будете оценивать эффективность перемен и с большей эффективностью планировать задачи на будущее.

John E. West. Six Ways to a More Efficient Data Center. CIO Magazine. September 12, 2007