Деятельность компании Hewlett-Packard в области Grid условно можно разделить на две составляющие. Во-первых, это участие в инициативах по стандартизации программного обеспечения Grid, поддержка программных технологий Grid на аппаратных платформах НР — высокопроизводительных серверах, кластерах и системах хранения, альянсы с производителями коммерческих продуктов для реализации идей Grid и участие в научных проектах. Вторая составляющая — собственные разработки НР в области создания новой модели вычислительных систем, в которой предоставление данных и процессорных мощностей организовано по принципам коммунальных услуг (utility computing).

Это направление может показаться не связанным напрямую с тем, что сегодня принято понимать под Grid, однако именно в нем проявляется, на мой взгляд, основной вклад НР в развитие идей метакомпьютинга.

Коммунальные вычисления

Около двух десятилетий назад тогдашний директор HP Labs Джоэл Бирнбаум выдвинул идею utility computing, и этот факт дает сегодня компании основание причислять себя к пионерам grid-технологий. Что вкладывал Бирнбаум в предложенную им концепцию? Директор подразделения НР Always On Infrustructure Solutions Ник ван дер Звип объясняет: «Бирнбаум предсказывал, что в будущем все вычислительные инфраструктуры мира будут подсоединены к глобальной системе (аналог Grid) и станут доступными для использования любому приложению в любое время, при этом стоимость компьютерных ресурсов будет вычисляться по принципу: чем больше вы используете, тем больше платите, чем меньше используете, тем меньше платите. В мире будет существовать одна большая сеть, в которой все компьютеры соединены друг с другом, все доступны для использования в любой точке мира, и каждый получает столько ресурсов для своих приложений, сколько необходимо. Мы верим в эту идею, выдвинутую 20 лет назад, и за прошедшие годы значительно продвинулись к ее воплощению».

Бирнбаум выделял в своей концепции три основных компонента:

  • все компьютеры объединены в глобальную сеть;
  • все ресурсы доступны любому приложению и выделяются в зависимости от его потребностей;
  • оплата вычислительных мощностей находится в прямой зависимости от степени их использования.

Сегодняшние предложения НР в области utility computing Ван дер Звип разделяет на две основные группы — финансовые и технологические. К первым относятся различные способы реализации принципа «чем больше используете, тем больше платите». Так, аутсорсинг управления ИТ-услугами на базе центров данных НР строится таким образом, что оплата производится на основе данных об использовании ресурсов под конкретные службы, например, о числе задействованных почтовых ящиков, интенсивности транзакций в месяц и т.д. Это позволяют делать механизмы мониторинга и контроля информационной инфраструктуры в программной системе ИТ-управления HP OpenView, которая поддерживает принципы управления ИТ-услугами (IT Service Management, ITSM) и средства отслеживания соглашений об уровне обслуживания (Service Level Agreement, SLA).

Другой аспект финансовой модели предоставления компьютерных ресурсов по требованию заказчика проявляется когда корпоративный пользователь не стремится отдавать свою инфраструктуру на аутсорсинг, владея информационными системами в собственных центрах данных, но по-прежнему хотят платить только за то, что реально находится в эксплуатации. Эту потребность удовлетворяют различные схемы сapacity on-demand, вводимые НР с 1999 года для своих высокопроизводительных серверов и систем хранения, в том числе самое последнее решение — Temporary instant Capacity On Demand (TiCOD), которое позволяет подключать и оплачивать дополнительные процессорные мощности на ограниченный период времени.

Однако для того чтобы реализовать другую важную составляющую концепции utility computing — создание единого пула и динамическое перераспределение ресурсов между приложениями нужны технологии. Здесь вступают в действие кластерные системы с их возможностями балансировки нагрузки и перемещения приложений с неработающей системы на работающую, серверы с разбиением на системные разделы и средства управления рабочей нагрузкой (Work Load Management, WLM). Так, разбиение на разделы сервера НР Superdome позволяет представить эту систему как совокупность, скажем, трех машин c 8, 16 и 32 процессорами соответственно. Каждая будет работать под управлением своего экземпляра ОС и выполнять свое приложение — допустим, CRM, сервер баз данных и приложение управления персоналом. При этом в зависимости от требований рабочей нагрузки средства WLM автоматически примут решение о передаче процессоров от одного приложения «на лету».

Принцип, который лежит в основе UDC — wire once, reallocate many. Это означает, что при неизменности физической конфигурации UDC позволяет на программном уровне динамически перераспределять ресурсы между приложениями в зависимости от их потребностей.

Предположим, компания использует торговую систему на базе Web, для которой в обычные дни необходимо 5 компьютеров, однако в период роста продаж перед рождественскими праздниками для ее нормальной эксплуатации понадобится 20 компьютеров. Как традиционно поступает ИТ-менеджер — приобретает 20 компьютеров под торговую систему, поскольку только так он сможет гарантировать, что системе хватит ресурсов в любой сезон. Аналогичными соображениями он будет руководствоваться и по отношению ко всем остальным приложениям, которые используются его компанией. Очевидно, что при этом далеко не все аппаратные ресурсы: серверы, системы хранения будут использоваться оптимально. UDC меняет принципы эксплуатации приложениями ресурсов корпоративной ИТ-инфраструктуры. Программные механизмы UDC позволят выделять дополнительные ресурсы торговой Web-системе из общего пула центра данных именно тогда, когда они ей будут необходимы, и передавать их другому приложению после того, как они освободятся.

UDC представляет собой распределенную вычислительную инфраструктуру нового типа, программируемый центр данных, в котором обеспечивается динамическое выделение приложениям серверных мощностей и областей хранения данных из единого пула разнородных компьютерных ресурсов. Для такого распределения ресурсов задейcтвуются механизмы виртуализации на разных уровнях, но не затрагиваются физические соединения систем и фактическое расположение приложений. Поэтому ключевым элементом UDC является управляющее программное обеспечение Utility Сontroller (рис.1), которое непосредственно отвечает за выделение ресурсов под предоставление тех или иных информационных услуг. Здесь не случайно упомянуты именно услуги. В НР давно и принципиально проповедуют сервисный подход к управлению информационными инфраструктурами предприятий, который подразумевает, что ИТ-подразделение предприятия должно отвечать не за функционирование отдельных серверов, принтеров, сетевых устройств и прикладных систем, а за объединение этих разрозненных компонентов в сквозную информационную услугу для определенного бизнес-процесса. На этом строится модель ITSM от НР, принципы которой поддерживаются специальными модулями программного семейства HP OpenView.

Utility Controller позволяет с помощью простых операций проектировать, конфигурировать и динамически переназначать ресурсы на определенные задачи. Интеграция средств распределения ресурсов в UDC и механизмов управления услугами и мониторинга уровня обслуживания в OpenView создает новый тип платформы управления ИТ-инфраструктурами, который в НР называют адаптивной. Ресурсы назначаются и перераспределяются динамически в зависимости от исходных требований для реализации услуги и изменений этих требований в ответ на изменение потребностей заказчика данной услуги.

Рис. 2. Перспективы развития utility computing

Принципы организации UDC, которые уже реализуется в рамках корпоративного центра данных, в дальнейшем планируется распространить на масштабируемый виртуальный центр данных, который объединит множество фактических центров и автоматизирует надежное и безопасное предоставление информационных сервисов пользователям без каких-либо корпоративных и географических ограничений (рис. 2). В этом направлении ведутся сейчас исследовательские работы в HP Labs в рамках долгосрочной программы под названием Planetary Computing. Конечная цель этого масштабного проекта — создание модели управления вычислительной инфраструктурой глобального масштаба, которая сделает доступ к географически разбросанным вычислительным ресурсам столь же простым, как получение любой коммунальной услуги — электричества для бытовых приборов или воды из крана. Ключевым элементом модели «планетарного компьютинга» является организация разделяемого пула ресурсов, из которого приложения получают необходимые мощности по мере необходимости, без изменения физической топологии центров данных и их межсоединений. Объединение центров данных в единый пул позволит оптимизировать использование ресурсов для региона, страны или даже всего мира. Если в определенные часы в одном регионе компьютерные мощности не задействованы, они могут использоваться для предоставления ИТ-услуг пользователям в других регионах.

По сути, это и есть воплощение идей Grid, которое будет сопровождаться решением проблем безопасности доступа к глобальным ресурсам и виртуализации не только вычислительных мощностей, но и систем хранения. Глобальная реализация принципов UDC позволит в перспективе совместно использовать ресурсы приложениям в рамках Globus Grid, корпоративным приложениям типа SAP R/3, системам, работающим под управлением коммерческих реализаций Grid и т.д. Основные исследования с целью глобализации UDC сосредоточены в НР Labs на трех направлениях.

  • Создание механизмов интеллектуального управления центром данных, которые позволят предоставлять приложениям ресурсы по требованию. Разрабатываемая система контроля центра данных будет автоматически идентифицировать доступные в рамках виртуального центра данных аппаратные и программные ресурсы и затем выполнять необходимые работы по инсталляции, конфигурированию, развертыванию, мониторингу и предоставлению ИТ-услуг. Существенным моментом является максимальный отказ от вмешательства человека в процесс управления; центр данных должен использовать механизмы самомониторинга, самовосстановления и самоадаптации.
  • Создание механизмов глобальной виртуализации систем хранения и автоматизации управления хранением как ресурсом.
  • Решение проблемы контроля энергопотребления в рамках центра данных глобального масштаба.

Стоит еще раз подчеркнуть, что НР в своем видении перспектив глобального компьютинга придерживается модели компьютерной среды мирового масштаба, ориентированной на информационное обслуживание пользователей и приложений (service-centric computing): все ИТ-компоненты предоставляются, управляются и оплачиваются в рамках определенной информационной услуги.

Grid на платформах НР

Другая сторона НР Grid — это участие в процессах по стандартизации, в международных научных проектах, альянсы с поставщиками коммерческих Grid-решений. Наличие независимых от конкретного производителя стандартов — принципиально важное условие для широкого распространения технологий Grid.

НР обеспечивает поддержку Globus Toolkit на своих платформах под управлением операционных систем HP-UX, Linux и Tru64 Unix. Кроме того, в НР находят перспективной интеграцию концепций и технологий Grid и Web-служб. Реализация этих идей предложена в открытой архитектуре Open Grid Service Architecture (OGSA), спецификациям которой соответствует последняя версия Globus Toolkit 3.0. НР, участвующая в разработке OGSA, будет поддерживать эту архитектуру на своих системах. Компания также предлагает широкий спектр услуг консалтинга по проблемам анализа возможностей, проектирования и развертывания Grid-решений на различных компьютерных платформах.

Новое направление в Grid-стратегии НР — продвижение программных решений других поставщиков на собственных аппаратных платформах. Осенью 2002 года был заключен альянс с компанией Avaki, которая является одним из очень немногих разработчиков полнофункционального коммерческого продукта для реализации Grid-проектов. По соглашению между двумя компаниями последняя версия системы Avaki 2.5 будет доступна на серверах AlphaServer под управлением ОС Tru64 UNIX. В отличие от инструментальных Grid-пакетов, Avaki — готовый продукт, который не требует специальных доработок и настроек. Он создает единую среду доступа к распределенным ресурсам с необходимыми механизмами защиты, гарантирует согласованность данных и доступ к последним версиям данных, возможности, существенные для научных приложений, на которые пока в основном ориентированы проекты Grid.

По словам ван дер Звипа, при всей популярности идей Grid, говорить о ее реальном воплощении в массовых коммерческих продуктах и широком использовании в корпоративном мире пока рано. По-прежнему основой областью приложения Grid остаются научные исследования и университетские сообщества. НР принимает участие в ряде таких проектов, считая подобное сотрудничество взаимовыгодным. Научные организации получают от НР мощные компьютерные системы с поддержкой технологий Grid, а НР — опыт разработок и тестирования Grid-решений. Так, во второй половине 2002 года было объявлено о нескольких важных поставках суперкомпьютерных систем НР в научные лаборатории, участвующие в различных Grid-проектах. Лаборатория Pacific Northwest National Laboratory Министерства энергетики США подключила суперкомпьютер НР производительностью 9,2 TFLOPS к системе Science Grid. Эта Grid-система включает еще четыре исследовательских лаборатории в США и предоставляет вычислительные и информационные ресурсы на национальном и международном уровне для моделирования, анализа данных и совместных экспериментов в таких научных областях, как химия, физика высоких энергий, синтез, исследование климатических и жизненных процессов. На суперкомпьютер НР, который является самой мощной в мире Linux-cистемой, установлено программное обеспечение Globus. Для идентификации пользователей используются стандартные аутентификационные записи Globus Grid Security Infrustructure.

Другой пример — участие НР в научной организации CERN openlab, которая занимается разработкой решений по хранению больших объемов данных и преодолению проблем анализа в технологиях grid. На первых этапах этого сотрудничества НР осуществит поставку серверов на базе Itanium 2 для построения 32-узлового кластера CERN opencluster, который будет подключен в формируемую CERN инфраструктуру DataGrid.

Компания имеет и собственную систему для демонстрации и тестирования Grid-решений. Внутренняя Grid-среда HP охватывает несколько мощных центров данных в США, Франции, Ирландии и Японии и строится с использованием программного обеспечения Globus Toolkit на платформах HP-UX, Linux/Alpha и Tru64 Unix.

Grid для коммерческих применений

О стратегии продвижения технологий Grid компанией HP журналу «Открытые системы» рассказывает Хилмар Лоренц, генеральный директор компании в странах СНГ, директор Отдела корпоративных систем НР Россия.

Что сегодня означают технологии Grid для российского представительства компании Hewlett-Packard?

Сегодня в разных организациях сосредоточено много вычислительных средств, которые обычно покупаются под различные задачи, но далеко не всегда используются по назначению. Эти компьютеры находятся в разных местах, выполняют разные приложения, используют разные средства хранения информации и разные системы доступа. С другой стороны, есть ряд интересных задач глобального масштаба, для которых необходимы разнообразные компьютерные ресурсы и большие вычислительные мощности, и которые можно распараллеливать. Эти предпосылки и привели к появлению Grid-технологий. Здесь можно провести параллель с развитием Web, которая возникла практически на тех же самых задачах. Но тогда нужны были коммуникации, а сейчас - вычислительные мощности. Наша компания занималась продвижением Web-технологий. Точно так же сегодня мы видим свою роль в развитии средств и возможностей по составлению единого Grid из вычислительных мощностей и компьютерных ресурсов. Отличие нашего подходах к Grid состоит в том, что мы рассматриваем необходимость консолидации не только вычислительных средств, но и всей совокупности компьютерных ресурсов.

Развитие Grid связано прежде всего с научными применениями. Что касается России, то я считаю, что здесь сложились важные предпосылки для распространения этих технологий. В стране существуют крупные научные центры, расстояния между которыми огромны. Благодаря усилиям Правительства, Академии наук и Министерства образования были выделены значительные средства на развитие коммуникаций — в России существует основа для продвижения технологий Grid. С другой стороны, в различных научных организациях достигнуты важные результаты по разработке программных средств для Grid. И мы видим свою роль в поддержке этих разработок с перспективой их интеграции в наши собственные проекты. В частности, речь идет о финансировании работ, направленных на развитие научного сегмента Grid в России по тем проектам, которые соответствуют планам лабораторий НР и могут быть использованы в дальнейшем для разработок компании.

Есть ли уже примеры конкретного использования технологий Grid в России? Готовы ли местные коммерческие пользователи и партнеры компании к применению Grid?

Если брать научную область, то здесь мы находимся в стадии переговоров с рядом научных учреждений и анализируем, как можно использовать их разработки в наших проектах по Grid.

В отношении коммерческих применений Grid наш подход кардинально отличается от других компаний. Есть существенные различия в использовании Grid для научных целей и в коммерции, связанные с проблемами защиты и сохранности информации, поэтому для этих двух направлений у нас существуют два разных названия. Если в банке объединять компьютеры для решения одной задачи на тех же принципах, что и в научном мире, то работать это не будет — в коммерческих применениях кроме задачи объединения компьютерных мощностей есть еще ряд существенных моментов: организация этих работ, возможности распараллеливания приложения. Компьютер должен выполнять свою задачу, и при этом предоставлять дополнительные мощности другим. Необходимо решать проблему минимизации объема передаваемой информации и обычно в коммерческих применениях надо решать вопросы распараллеливания баз данных, поэтому в коммерческой области применение технологий Grid охватывает не только компьютерные мощности, но и ресурсы, прежде всего средства хранения данных. Для этого мы разработали специальную концепцию UDC (Utility Data Center), отражающую наше понимание того, как технологии Grid будут развиваться в коммерческой области. UDC - это Grid для коммерческих применений, технологии, которые обеспечивают минимальную нагрузку на средства передачи данных, решают проблемы защиты, распараллеливания БД и т.д. Проекты, аналогичные UDC, ведутся и в других компаниях, но больше теоретически, коммерческая же реализация существует пока только у НР.

По поводу продвижения UDC в России у нас существует целая программа, определенные элементы которой уже реализованы в банковской сфере и телекоммуникационной индустрии. Это связано главным образом с нашей стратегией по SAN, разработками в области виртуализации хранения, которые фактически являются частью проекта UDC.

Какова местная бизнес-модель HP по отношению к проектам Grid?

Во-первых, — это непосредственная кооперация с пользователями и разработчиками, организация прямой связи НР с отечественными научными учреждениями. К этой работе привлекаются наши центры компетенции и центры компетенции наших партнеров. Во-вторых, программа по UDC. Здесь мы ведем работу как с клиентами, так и с партнерами, объединяя наши исследовательские и организационные ресурсы. Эта программа имеет несколько компонентов, в том числе направление для правительственных и муниципальных структур, для телекоммуникационных компаний и производственных предприятий.

Какой примерный объем рынка может быть для HP Grid в России?

Доля UDC будет очень значительной, поскольку большую часть наших проектов в России мы будем развивать именно в рамках этой концепции. Но точные цифры сейчас назвать затрудняюсь. В научной области вопрос в меньшей степени коммерческий, главный интерес для нас здесь состоит в том, что мы можем участвовать в разработках и вместе с партнерами использовать существующие технологии для дальнейшего развития программных средств Grid.

Какова роль российских разработчиков в проектах НР Grid?

Процесс двунаправленный — инициатива исходит и от НР, и от разработчиков. Есть несколько примеров, когда представители научных учреждений выходили на нас и демонстрировали свои программные разработки. У нас давние интересные контакты с научными институтами в Дубне, Протвино, мы поставили большие системы для Суперкомпьютерного центра РАН, а сейчас тесно работаем с МГУ.

Перспективы Grid в России?

Я считаю, что у технологий Grid в России очень большие перспективы. Связаны они не только с наличием распределенных вычислительных ресурсов, но и с тем, что в организациях до сих пор существуют и будут существовать в ближайшее время финансовые ограничения по развитию собственных компьютерных мощностей. С другой стороны, классические преимущества России состоят в высоком уровне образования персонала и широком распространении научных исследований. Для возникновения идей не нужны компьютерные средства, однако для их эффективной реализации я вижу единственный способ - широкое внедрение распределенных вычислительных мощностей, чему и призвана способствовать Grid.

Что касается коммерческих применений, то один из элементов нашей стратегии — сформировать у пользователей правильное понимание, что стоит за слоганом Grid. Мы очень заботимся о наших клиентах, и потому стремимся правильно позиционировать возможности Grid-технологий в коммерческой области. Каждый, кто несет коммерческую ответственность, должен знать не только возможности, но и ограничения Grid, которые связаны с использованием локальных ресурсов, прежде всего, данных — при распараллеливании общей задачи.