C 1992 года производительность суперкомпьютеров при выполнении научных приложений выросла в 10 тыс. раз. Однако производительность в пересчете на единицу потребляемой мощности за то же самое время увеличилась лишь в 300 раз, а в пересчете на единицу занимаемой площади— в 65 раз. В результате нехватки мощности и недостаточно эффективного использования имеющихся площадей приходится строить новые машинные залы, а в некоторых случаях— и новые здания.

Экспоненциальный рост энергопотребления вычислительными центрами стал главной причиной неэффективного использования пространства и потребляемой мощности. На рис. 1 показано, что пиковое энергопотребление крупнейших суперкомпьютеров за прошедшие полтора десятилетия значительно возросло.

Сегодня пиковая потребляемая мощность наиболее производительных суперкомпьютеров из списка Top500 (www.top500.org ) достигает 10 мегаватт. Этого достаточно, чтобы поддерживать жизнедеятельность города с населением в 40 тыс. человек. И несмотря на то что самая быстрая на сегодняшний день машина IBM Blue Gene/L построена из компонентов с низким энергопотреблением, общая потребляемая мощность все равно измеряется мегаваттами. Соответственно, и стоимость эксплуатации компьютеров, которая в пересчете на мегаватт потребляемой мощности составляет от 200 тыс. долл. до 1,2 млн долл. в год, едва ли можно назвать низкой.

Энергетический кризис суперкомпьютерной отрасли

Потребляемая мощность стала тем фактором, который заставляет разработчиков суперкомпьютеров переосмысливать их архитектуру. Поскольку отдельные узлы суперкомпьютера потребляют все больше электроэнергии и выделяют все больше тепла, их необходимо разносить в пространстве и интенсивно охлаждать. Без использования экзотических систем охлаждения перегрев приведет к тому, что суперкомпьютеры просто не смогут выполнять нужные исследователям приложения. К сожалению, стоимость построения нестандартных охлаждающих систем может быть вполне сопоставима со стоимостью самого суперкомпьютера, а их обслуживаниеобойдется еще дороже.

Как показано во врезке «Энергетическая эффективность Green Destiny», суперкомпьютер с низким энергопотреблением оказался удивительно устойчивым в работе. За два года не было зарегистрировано ни одного отказа. Согласно результатам опроса, опубликованным в 2001 году компанией Contingency Planning Research, стоимость часа простоя такого компьютера варьируется от 90 тыс. долл. при выполнении им операций, связанных с организацией продаж по каталогу, до 6,5 млн долл. при выполнении брокерских операций.

Нет никаких гарантий того, что суперкомпьютер никогда не сломается, и это наглядно проиллюстрировано в табл. 1. Общая стоимость владения такой техникой значительно превышает первоначальную стоимость ее приобретения.

Таблица 1. Параметры отказоустойчивости и готовности высокопроизводительных вычислительных систем

Концепция увеличения производительности суперкомпьютеров любой ценой сегодня становится нежизнеспособной. Без внесения серьезных изменений в конструкцию роста производительности, к которому мы привыкли за последние два десятилетия, добиться не удастся. К сожалению, параметры чистой производительности не имеют никакого отношения к энергетической эффективности. В то же время показатели чистой производительности, измеряемые тестами Linpack и SPEC, оказали существенное влияние на конструкцию современных высокопроизводительных компьютерных систем. Нужны новые параметры, которые характеризовали бы конструктивные различия с точки зрения энергопотребления. Допустим, два гипотетических суперкомпьютера демонстрируют при выполнении тестов Linpack производительность в 100 TFLOPS и претендуют на высокое место в рейтинге Top500. Но при этом одна из машин оснащена аппаратными или программными средствами интеллектуального управления энергопотреблением [1, 2]. Сохраняя производительность на неизменно высоком уровне, она потребляет на 10% меньше электроэнергии, однако в рейтинге Top500 остается на той же самой строчке.

Выбор новых показателей эффективности сопряжен и с техническими, и с политическими проблемами. Что касается технической стороны, оцениваемые параметры и связанные с ними тесты должны отражать типичные для производственных систем показатели эксплуатационной нагрузки. Если же говорить о политической стороне вопроса, то показатели эффективности и тесты должны были заслужить признание всего сообщества.

Рейтинг Green500

Общение с представителями госучреждений, производителей и академических институтов убедило в необходимости определения показателей эффективности, которые позволили бы проводить справедливую оценку больших систем, предназначенных для выполнения научных программ. Было рассмотрено несколько методологий, которые могли бы найти применение при оценке энергетической эффективности суперкомпьютеров. Чтобы заручиться поддержкой сообщества, при составлении списка Green500 решено было использовать единственный параметр— потребление энергии при типичной эксплуатационной нагрузке. В перспективе же предполагалось расширить методологию Green500 с учетом рейтингов, отражающих выполнение параллельных научных приложений.

При формировании рейтинга Green500 суперкомпьютеры оцениваются исходя из количества электроэнергии, необходимого для выполнения фиксированного набора задач. Здесь прослеживается ориентация на системы центров обработки данных, предназначенных для обработки научных приложений. Со своей стороны, рабочая группа SPECPower занимается разработкой тестов для оценки производительности и эффективности энергопотребления серверов, на которых выполняются коммерческие программные продукты. Различный подход к оценке эффективности, предлагаемый составителями рейтинга Green500 и разработчиками тестов SPECPower (www.spec.org/specpower ), предоставляет пользователям более широкий выбор показателей для анализа эффективности своих систем и приложений.

Оценка эффективности

При составлении рейтинга Green500 основными критериями оценки суперкомпьютера стали его производительность и уровень энергопотребления.

Быстродействие и эксплуатационная нагрузка. Суперкомпьютерное сообщество уже привыкло к оценке производительности на основе теста Linpack, который используется при составлении списка Top500. Хотя составители Top500 и признают, что тест Linpack не является всеобъемлющим средством оценки высокопроизводительных систем, он продолжает сохранять доминирующее положение, несмотря на появление множества других методик тестирования. По мере того как другие тесты, среди которых можно выделить SPEChpc [3] и HPC Challenge [4], будут завоевывать все более широкое признание, планируется расширять методологию Green500. Похоже, сегодня сообщество специалистов в области высокопроизводительных вычислений уже определило четко сформулированный и легко воспринимаемый способ выражения потребительских достоинств машины с помощью одного числа, поэтому для оценки быстродействия суперкомпьютера был использован показатель числа выполняемых им операций с плавающей точкой в секунду, а для измерения масштабируемости эксплуатационной нагрузки— тест Linpack.

Показатель EDn. Сейчас в мире существует множество критериев оценки производительности и эффективности. Одним из них является показатель оценки эффективности архитектуры электронных схем EDn, в котором компонент E отражает энергопотребление системы при выполнении тестов, D— время выполнения этих тестов, а n— весовую характеристику задержки. Однако применительно к суперкомпьютерам показателем EDn следует пользоваться осторожно, особенно при увеличении значения n. При больших значениях n задержка начинает играть доминирующую роль, и небольшое изменение времени выполнения оказывает на показатель весьма существенное влияние, в то время как гораздо более весомые колебания компонента E остаются практически неощутимыми.

FLOPS в пересчете на ватт. При составлении рейтинга Green500 для оценки эффективности энергопотребления использовалось соотношение между производительностью и потребляемой мощностью. Однако в этом случае преимущество получают небольшие суперкомпьютерные системы. Потребляемая мощность суперкомпьютера демонстрирует линейную зависимость от количества вычислительных узлов, в то время как производительность растет линейно лишь при обеспечении полной параллельности (добиться которой весьма затруднительно) и нелинейно с учетом всех прочих факторов. В результате, более высокие оценки по данной шкале получают небольшие системы.

Тем не менее соотношение производительности к потребляемой мощности получить очень легко, и этот показатель пользуется поддержкой в научном сообществе. А уклон в сторону небольших систем можно уменьшить путем ограничения минимальной производительности суперкомпьютеров. Можно просто установить минимальный порог для вхождения в рейтинг Green500, предоставив большим суперкомпьютерам возможность повторного выполнения теста Linpack для преодоления минимальных ограничений и оценки потребляемой мощности в ходе этого повторного тестирования. Таким образом, в рейтинге Green500 компьютеры оцениваются по мощности, потребленной в процессе выполнения некоторого фиксированного объема работ, с учетом того, что их производительность должна быть выше некоторого минимального порога.

Оценка потребляемой мощности

Даже после определения набора тестов и параметров оценки эффективности энергопотребления, вопрос определения показателя для расчета соотношения между производительностью и потребляемой мощностью по-прежнему остается нерешенным. Неясно даже, каким должен быть минимальный порог производительности для вхождения в рейтинг Green500. За минимальный порог приняты показатели производительности, продемонстрированные 500-м суперкомпьютером из последнего списка Top500.

Итак, числитель дроби известен. Осталось определить потребляемую мощность, которую следует разместить в знаменателе. Как это ни удивительно, но выявить знаменатель оказывается еще сложнее, потому что измеряемые параметры могут колебаться в достаточно широких пределах. К примеру, мы можем:

  • измерить общую потребляемую суперкомпьютером мощность;
  • измерить мощность, потребляемую одним узлом, которая впоследствии экстраполируется на весь суперкомпьютер;
  • воспользоваться заявленными производителем цифрами пиковой мощности (как это сделано на рис. 1).

Измерить мощность, потребляемую суперкомпьютером размером с баскетбольную площадку, достаточно сложно. Использование же заявленной пиковой мощности приводит к заметному завышению реальных цифр. Предлагается измерить мощность, потребляемую одним компьютерным узлом, и умножить ее на совокупное количество узлов. Под узлом в данном случае понимается шасси, заключенное в корпус и имеющее размер стандартного серверного отсека высотой 1U или стойки целиком.

Счетчики энергопотребления. Для измерения потребляемой мощности предлагается использовать счетчик. Выбор цифровых счетчиков сегодня достаточно широк, начиная от моделей массового потребления Watts Up Pro (www.wattsupmeters.com ) и заканчивая промышленными моделями Yokogawa WT210/WT230 (yokogawa.com/tm/wtpz/wt210/tm-wt210_01.htm). На рис. 2 отображена общая схема процедуры измерения мощности, потребляемой системой (одним компьютерным узлом) во время тестирования. Цифровой счетчик через стандартный разветвитель питания подключается к узлу и передает собранную информацию на другой компьютер для дальнейшего анализа.

Рис. 2. Инфраструктура измерения энергопотребления. Цифровой счетчик подключается к системе и пересылает результаты измерений на другой компьютер для дальнейшего анализа

Продолжительность измерений. Необходимо определить также продолжительность измерений и характер итогового отчета. С учетом записывающих возможностей счетчика предлагается измерять и регистрировать энергопотребление на протяжении всего теста Linpack, а в качестве основного показателя использовать среднюю потребляемую мощность. Сопоставив среднюю потребляемую мощность с общим временем выполнения тестов Linpack, мы можем приблизительно рассчитать совокупное энергопотребление, умножив среднюю потребляемую мощность на время.

Охлаждение. Cтоит ли включать в число оцениваемых параметров электроэнергию, которую приходится тратить на охлаждение? Мы решили не учитывать соответствующие показатели, потому что рейтинг Green500 отражает эффективность энергопотребления суперкомпьютеров, а не охлаждающих систем (энергетическая эффективность которых также варьируется в достаточно широких пределах). Но даже в случае положительного решения об учете охлаждающих факторов, проделать это на практике и учесть параметры охлаждения конкретного компьютера было бы очень сложно, поскольку системы охлаждения проектируются для обслуживания сразу всех компьютеров в машинном зале.

TOP500 против Green500

В табл. 2 показаны места, занимаемые в рейтингах Green500 и Top500 восемью суперкомпьютерами, а также оценки их производительности и максимального энергопотребления. Также представлены значения параметров, отражающих соотношение производительности к пиковой потребляемой мощности (эффективность максимального энергопотребления) и результаты выполнения тестов Linpack (эффективность среднего энергопотребления).

Как уже говорилось, использование при сравнении цифр пиковой потребляемой мощности не является оптимальным. Тем не менее, сопоставление с учетом цифр пиковой потребляемой мощности может быть весьма полезным для отслеживания повышения эффективности энергопотребления. По мере совершенствования процедуры измерению и контролю будут подвергаться все параметры.

В отчете Top500 утверждается, что пиковая потребляемая мощность суперкомпьютера IBM Blue Gene/L, находящегося в Национальной лаборатории Лоуренса Ливермора, составляет 1,5 мегаватта. На сайте лаборатории сообщается, что для питания и охлаждения компьютера ASC Purple требуется 7,5 мВт, а системы Eurekalert— 8 мВт.

По данным лаборатории, на каждый ватт потребляемой мощности приходится 0,7 Вт, расходуемых на охлаждение. Таким образом, потребляемая мощность ASC Purple должна находиться на уровне 4,4-4,7 мВт, что примерно соответствует цифре в 4,5 мВт, прозвучавшей на презентации Blue Gene/L.

Гибридная система Jaguar, установленная в Национальной лаборатории в Оук-Ридже, включает в себя 56 блоков XT3 и 68 блоков XT4. Пиковая потребляемая мощность блока XT3 составляет 14,5 кВт, а T4— 18,75 кВт. Таким образом, совокупная пиковая мощность Jaguar оценивается примерно в 2 мегаватта.

Дебютировавший в июне 2005 года в рейтинге Top500 суперкомпьютер MareNostrum, оснащенный 4800 процессорами, занял там пятое место с оценочной потребляемой мощностью в 630 кВт. Модернизированная модель MareNostrum, установленная в Суперкомпьютерном центре Барселоны, представляла собой кластер BladeCenter JS21, состоящий уже из 10240 процессоров. Если экстраполировать первоначальный энергетический бюджет MareNostrum в 630 кВт на это количество процессоров, получится, что новая версия суперкомпьютера потребляет уже 1,3 мВт.

Потребляемая мощность суперкомпьютера Columbia, размещенного в центре NASA Ames Research Center, оценивается примерно в 2 мВт. Расчетная термическая мощность процессора Itanium-2 составляет 130 Вт, следовательно, 10240 процессоров Columbia потребляют 1,33 мВт. А на все остальные компоненты суперкомпьютера, исходя из общей потребляемой мощности в 2 мВт, приходится лишь около 700 кВт.

Совокупная мощность энергопотребления и охлаждения японского суперкомпьютера Earth Simulator, имеющего 5120 процессоров, оценивается в 11,9 мВт. Этого достаточно для того, чтобы обеспечить работу университета, в котором учатся 27 тыс. студентов. Все 5120 процессоров Earth Simulator объединены в восемь узлов, каждый из которых состоит из 640 процессоров. Каждому из узлов требуется мощность в 20 кВА. Предположим, что коэффициент перевода мощности равен 0,6. Тогда каждый узел потребляет 20 кВА x 0,6 = 12 кВт. Таким образом, общая потребляемая мощность суперкомпьютера, состоящего из 640 узлов, достигает 640 x 12 кВт = 7680 кВт, и еще 4220 кВт приходится на охлаждение.

Потребляемая мощность систем ASC Q и ASC White находится на уровне приблизительно 2 МВт, а компьютер System X, установленный в Вирджинском политехническом институте, и вовсе потребляет какие-то жалкие 310 кВт. По крайней мере, такие данные снимались с энергораспределительных устройств, поставляемых вместе с System X. Как показано в табл.2, несмотря на свои большие размеры, система Blue Gene/L является единственным заказным суперкомпьютером с низким энергопотреблением, вошедшим в список Top500. Соотношение между производительностью и потребляемой мощностью у него на два порядка выше, чем у остальных суперкомпьютеров из табл.2, поэтому он без труда обошел всех соперников в рейтингах Top500 и Green500.

Эффективность энергопотребления систем MareNostrum (занимающей промежуточное положение между элитными и массовыми моделями) и System X (компьютер массового потребления) оказалась в два с половиной раза выше, чем у других суперкомпьютеров, благодаря чему они заняли соответственно второе и четвертое место в июньском рейтинге Green500. Эти результаты также отражены в табл. 2. Интересно, что высокие показатели эффективности энергопотребления обоим суперкомпьютерам обеспечили процессоры массового производства PowerPC, разработанные инженерами компаний Apple, IBM и Motorola. С другой стороны, модель ASC Purple, занявшая шестое место в рейтинге Top500, также построена на основе процессора PowerPC, а точнее, его несколько менее экономичного с точки зрения энергопотребления родственника Power5. Не столь высокие показатели Power5 способствовали общему снижению эффективности потребляемой компьютером ASC Purple мощности, опустив его на шестое место в рейтинге Green500 за 2007 год.

Операционные расходы и устойчивость

Игнорирование показателей энергопотребления при проектировании привело к тому, что стоимость выполнения операций высокопроизводительными системами растет, а показатели устойчивости снижаются, что ведет к общей потере эффективности. Огромные «аппетиты» ASC Purple, выражающиеся в потреблении электрической мощности на уровне 7,5 мВт (примерно 4,5 мВт тратится на питание системы и 3 мВт— на ее охлаждение), повлекли за собой увеличение операционных расходов. Если учесть, что стоимость электроэнергии сегодня составляет около 12 центов за кВт*ч, то годовой счет за электричество, израсходованное системой, достигает почти 8 млн. долл. Построение на основе соответствующей архитектуры машины с производительностью в 1 PFLOPS приведет к тому, что на ее питание и охлаждение будет тратиться 75 мВт. А годовая плата за электричество составит 80 млн. долл., при условии что стоимость электроэнергии останется неизменной.

В табл. 1 показано, что устойчивость и надежность крупномасштабных систем, начиная с суперкомпьютеров и заканчивая крупными кластерами, зачастую измеряется в часах. Дальнейшее увеличение масштабов суперкомпьютеров и центров обработки данных приведет к тому, что каждую минуту в системе будет возникать несколько сбоев [9]. Вследствие снижения отказоустойчивости ежечасные потери будут измеряться миллионами долларов.

Учитывая вышесказанное, поставщикам высокопроизводительных систем неплохо было бы использовать наклейки EnergyGuide, напоминающие ту, что изображена на рис. 3. Кроме того, имеет смысл обратить внимание на результаты исследований, показывающих, что стоимость электроэнергии, которая ежегодно тратится на питание и охлаждение машин, уже приближается к затратам на закупку самих суперкомпьютеров.

ИТ-сообществу следует присмотреться к рейтингу Green500, который отражает соотношение между быстродействием и потребляемой мощностью и является хорошим дополнением к рейтингу Top500. Архитекторы суперкомпьютерных систем из разных стран прилагают немало усилий к тому, чтобы рейтинг Top500, составляемый дважды в год, регулярно обновлялся, и гордятся этим. Мы надеемся, что усилия составителей рейтинга Green500 (www.green500.org ) также не пропадут даром и станут хорошим стимулом для проектирования суперкомпьютеров, более эффективных с точки зрения энергопотребления, и построения более крупных центров данных.

Литература

  1. C. Hsu, W. Feng, A Power-Aware Run-Time System for High-Performance Computing. Proc. ACM/IEEE SC Conf., IEEE CS Press, 2005.
  2. K.W. Cameron et al., High-Performance, Power-Aware Distributed Computing for Scientific Applications. Computer, Nov. 2005.
  3. M. Mueller, Overview of SPEC HPC Benchmarks. BOF presentation, ACM/IEEE SC Conf., 2006.
  4. J. Dongarra, P. Luszczek, Introduction to the HPC Challenge Benchmark Suite. Tech. report, Univ. Tennessee, 2004; www.cs.utk.edu/~luszczek/pubs/hpcc-challenge-intro.pdf .
  5. A. Martin, Towards an Energy Complexity of Computation. Information Processing Letters, Vol. 77, No. 2-4, 2001.
  6. D. Brooks, M. Martonosi, Dynamically Exploiting Narrow Width Operands to Improve Processor Power and Performance. Proc. 5th Int’l Symp. High-Performance Computer Architecture, IEEE CS Press, 1999.
  7. R. Gonzalez, M. Horowitz, Energy Dissipation in General-Purpose Microprocessors. IEEE J. Solid-State Circuits, Sept. 1996.
  8. A. Martin, M. Nystrm, and P. Penzes, ET2: A Metric for Time and Energy Efficiency of Computation, Kluwer Academic Publishers, 2002.
  9. S. Graham, M. Snir, and C. Patterson, eds., Getting Up to Speed: The Future of Supercomputing, Nat’l Academies Press, 2005.

Ву-Чун Фен (feng@cs.vt.edu)— профессор Вирджинского политехнического института. Кирк Камерон (cameron@cs.vt.edu)— профессор и директор лаборатории Scalable Performance Lab Вирджинского политехнического института.

Энергетическая эффективность Green Destiny

Первый образец устойчивого и доступного суперкомпьютера с эффективными параметрами энергопотребления был построен в 2002 году в Национальной лаборатории Лос-Аламоса. Green Destiny представлял собой 240-процессорный кластер и занимал около 0,5 кв. м (площадь стандартной компьютерной стойки). При бездисковой загрузке [1, 2] ее потребляемая мощность составляла 3,2 кВт (примерно столько потребляют два фена). С рейтингом Linpack в 101 GFLOPS (такую же производительность демонстрировали 256-процессорный суперкомпьютер SGI Origin 2000 и система Cray T3D MC1024-8) машина занимала на тот момент 393-ю строчку в рейтинге Top500.

Система Green Destiny привлекла к себе широкое внимание прессы и демонстрировала устойчивую работу на протяжении двух лет. Она размещалась в пыльном помещении на высоте 2256 метров над уровнем моря. Температура воздуха в помещении составляла от 29 до 32 градусов Цельсия. Система нормально функционировала без какого-либо охлаждения, увлажнения, фильтрации и вентиляции воздуха.

Несмотря на высокие достижения, продемонстрированные Green Destiny, далеко не все верили в потенциал этого компьютера. Однако затем отношение к данной проблеме заметно изменилось. Вопросам энергопотребления стали уделять гораздо более серьезное внимание, особенно в свете увеличения размеров блоков энергоснабжения и теплоотвода и того влияния, которое это увеличение оказывало на параметры стоимости, устойчивости и доступности систем питания и охлаждения.

Примерно через полгода после дебюта Green Destiny отдел биологических исследований лаборатории приобрел еще один экземпляр такой системы. Что дало его сотрудникам возможность параллельного выполнения приложения mpiBLAST, относящегося к сфере биоинформатики. Правда, половина узлов второго кластера, который оснащен более мощными процессорами, оказались неработоспособными. Поэтому несмотря на то, что тактовая частота первой модели Green Destiny на 0,15 ГГц ниже, ее продуктивность (число результатов, получаемых за месяц) оказалась выше, чем у более быстрой, но не вполне работоспособной модели.

Сегодня Green Destiny уже не используется для проведения вычислений и хранится в Музее истории компьютеров в Маунтин-Вью (Калифорния).

Литература

  1. W. Feng, Making a Case for Efficient Supercomputing. ACM Queue, Oct. 2003.
  2. W. Feng, The Importance of Being Low Power in High-Performance Computing. Cyberinfrastructure Technology Watch, Aug. 2005.

Wu-chun Feng, Kirk W. Cameron. The Green500 List: Encouraging Sustainable Supercomputing. IEEE Computer, December 2007. IEEE Computer Society, 2007. All rights reserved. Reprinted with permission.