grid раздвигает горизонты

Несмотря на утверждения производителей аппаратного обеспечения, что grid-сети подходят для работы приложений любого типа, область их применения редко выходит за рамки научных, инженерных и статистических расчетов

В тот момент, когда корпорации Novartis понадобились дополнительные вычислительные мощности, фармацевтический гигант без особого труда нашел их в 2700 настольных ПК, установленных в штаб-квартире Novartis в Базеле (если быть точным, суммарные неиспользованные резервы оценивались в 5 трлн. операций с плавающей точкой в секунду). Компания объединила имеющиеся у нее ПК в сеть grid. Сегодня эта сеть используется для выполнения многочисленных приложений, которые предназначены для суперкомпьютеров и обеспечивают моделирование взаимодействия между белками и другими химическими элементами, находящими применение в лекарствах.

«Сеть grid предоставила нам целый ряд недостижимых прежде возможностей, — отметил менеджер по управлению знаниями подразделения Novartis Research Мануэль Пайч. — Многие до сих пор не могут поверить в принципиальную возможность выполнения операций, которые сегодня уже превратились для нас в рутину».

Программная система анализа лекарств Novartis загружается на настольные компьютеры через сервер, на котором выполняется программное обеспечение Grid MetaProcessor, разработанное компанией United Devices. Инвестировав в grid-технологию 400 тыс. долл., корпорация не стала тратить 3 млн. долл. на построение нового Linux-кластера.

Впрочем, успех Novartis не единичен. Компании, выпускающие лекарства, университетские вычислительные центры, коллективы, занимающиеся разработкой продуктов и инженерными изысканиями, финансируемые из государственных бюджетов исследовательские консорциумы, а также некоторые фирмы, специализирующиеся на предоставлении финансовых услуг, уже имеют в своем распоряжении сети grid. В результате им удалось сэкономить большие суммы на оборудовании, а в некоторых случаях и на повышении производительности труда.

Сети grid состоят из географически удаленных друг от друга компьютеров, которые динамически связываются друг с другом для того, чтобы предоставить пользователям унифицированный доступ к вычислительным ресурсам: процессорам и дисковому пространству, а также к программному обеспечению и данным. Подобные сети могут разворачиваться внутри одной компании (как в случае с Novartis) или же объединять вычислительные ресурсы разных партнеров (в качестве примера здесь можно привести сеть TeraGrid, финансируемую Национальным научным фондом США).

Идеалом для компаний наподобие IBM и Hewlett-Packard являются сети, предоставляющие свои ресурсы по принципу коммунальных услуг. Они должны обеспечить практически неограниченный доступ по запросу к необходимым вычислительным мощностям. Аналогичным образом энергосистемы удовлетворяют сегодня потребности клиентов в электроэнергии. К сожалению, подобных компьютерных сетей пока не существует.

Технологические ограничения

Сегодня большинство grid-приложений обладают тремя важными преимуществами. Во-первых, они позволяют выполнять объемные вычисления. Во-вторых, большинство из них поддерживают параллельную или массово-параллельную обработку. И наконец, в-третьих, сети подобные той, которая имеется у Novartis, задействуют неиспользуемые циклы процессоров. Некоторые из них, впрочем, ориентированы лишь на получение доступа к распределенным данным или дисковым ресурсам.

Несмотря на утверждения производителей аппаратного обеспечения, что grid-сети подходят для работы приложений любого типа, область их применения редко выходит за рамки научных, инженерных и статистических расчетов. Одна из причин такого положения дел заключается в том, что большинство бизнес-приложений не поддерживают возможности параллельной обработки и не позволяют воспользоваться преимуществами множества «полунезависимых» процессоров, доступ к которым позволяет получить grid-сеть.

«Для обеспечения параллельной обработки в эти приложения нужно вносить очень серьезные изменения, — отметил аналитик компании Meta Group Карл Грейнер. — Вот почему сети grid практически не находят применения при решении коммерческих задач. Пройдет еще не менее пяти лет, прежде чем разработчики адаптируют свои программы (в частности, системы управления цепочками поставок) к особенностям grid».

Еще одним сдерживающим фактором является нехватка вспомогательных средств, позволяющих осуществлять контроль за эксплуатацией сети, выставлять счета за использование ее вычислительных ресурсов и обеспечивать необходимый уровень безопасности данных. Отсутствие подобных механизмов ощущается особенно остро, когда сеть объединяет несколько подразделений или организаций. В ходе опроса представителей 50 компаний, проведенного по заказу компании-разработчика grid-приложений Platform Computing, 89% респондентов заявили, что вопросы, связанные с формированием организационных политик, представляют собой серьезный барьер на пути развертывания сетей grid. Среди прочих препятствий опрошенные указали потерю контроля над вычислительными ресурсами — вследствие «приватизации серверов» — и сокращение бюджета информационной службы.

Директор компании Grid Technology Partners Ахмар Аббас, обобщая все отрицательные моменты, мешающие повсеместному развертыванию grid-сетей, сформулировал их в одной фразе: «Прежде всего, вам следует хорошо знать особенности своих приложений. И понимать, есть ли смысл применять их для организации распределенных вычислений».

Впрочем, производители принимают меры к адаптации своих программ к особенностям grid. Например, IBM недавно анонсировала новую версию программного инструментария WebSphere Application Server, которая позволяет объединить набор серверов в grid-сеть с тем, чтобы сбалансировать нагрузку приложений WebSphere. В будущих версиях предполагается организовать дополнительную поддержку прикладных программ, не имеющих отношения к WebSphere.

«Именно в Web-службах следует искать ключ к распределенной обработке коммерческих приложений, — подчеркнул Аббас. — Бизнес-приложения могут использовать преимущества grid-сети за счет применения технологий XML, UDDI, SOAP и WSDL. Стандарт Open Grid Services Architecture объединяет в себе все достоинства grid-сетей и позволяет им обслуживать ту же номенклатуру задач, что и приложения Web-служб».

В настоящее время работы по развитию стандартов grid ведутся при активной поддержке производителей, пользователей и представителей сектора научных исследований. Однако до сих пор многие приложения не отвечают требованиям стандартов, а некоторые разработчики продуктов для grid-сетей утверждают, что сегодняшние стандарты недостаточно совершенны для их использования в коммерческих прикладных программах.

Впрочем, несмотря на практическое отсутствие коммерческих приложений число традиционных программ для grid-сетей продолжает расти. Сотрудники университета Пердью создали у себя иерархически распределенную сеть вычислительных ресурсов, на вершине которой находятся суперкомпьютеры, в средней части — шесть кластеров на платформе Intel/Linux (каждый из них объединяет 48 компьютеров), а в нижней части — 2300 ПК с программным обеспечением United Devices. По словам помощника вице-президента университета по решению научно-исследовательских вычислительных задач Дэвида Моффетта, конечная цель проекта заключается в том, чтобы перенести основную нагрузку в нижнюю часть иерархии, мощности которой обходятся университету дешевле.

«Я возлагаю очень большие надежды на то, что нам удастся перенести большую часть объема работ из кластерного пространства в пространство United Devices, — пояснил Моффетт. — Хотя сеть grid на базе ПК требует приобретения лицензий на программное обеспечение United Devices и наличия двух выделенных grid-серверов, рациональное использование свободных процессорных циклов стоит того».

В дальнейшем Моффетт собирается расширить сеть, включив в нее компьютеры факультетов и административных служб. Кроме того, он рассчитывает освободить вычислительные мощности компьютеров, используемых в исследовательских целях, за счет переноса бизнес-приложений в grid-сеть, объединяющую ПК. «Мы получим достаточное количество ресурсов на вершине этого стека, и они будут использоваться более эффективно», — подчеркнул он.

Новаторы grid

Некоторые организации уже сейчас выносят grid-технологии за пределы типичных для сегодняшнего дня областей применения.

В компании Novartis они используются для более эффективного перераспределения незадействованных вычислительных мощностей настольных компьютеров. Кроме того, производитель лекарственных препаратов с оборотом в 19 млрд. долл. изыскивает возможность рационального применения дискового пространства тысяч имеющихся у него компьютеров. «Каждый пользователь располагает жестким диском емкостью 30 или 40 Гбайт, но при этом большая часть данных находится за пределами сети, — пояснил Пайч. — Однако прежде чем начинать строительство сети распределенных данных, нам нужно ответить на целый ряд непростых вопросов. Как осуществлять поиск необходимой информации? Каково соотношение между производительностью grid-сети и сети хранения? Какова стоимость создания сети распределенных данных подобного типа по сравнению с установкой бездисковых рабочих станций и централизации системы хранения? Кроме того, необходимо оценить возможность расширения областей применения grid-сети и вывода ее за рамки научно-исследовательских приложений (в частности, для выполнения задач CRM)».

В университете Пердью уже построена grid-сеть, объединившая 2300 ПК. Но Моффетт отмечает, что его коллеги вместе с представителями компании United Devices будут продолжать разрабатывать ПО, позволяющее организовать совместное использование дискового пространства настольных компьютеров.

«Построить распределенную сеть хранения сложнее, чем создать распределенную вычислительную сеть, — считает Моффетт. — Нужен механизм, который сможет обрабатывать весь существующий трафик. Кроме того, строительство распределенной сети хранения сопряжено с решениями вопросов безопасности, тиражирования данных, обеспечения готовности и устойчивости функционирования машин».

Тем не менее Моффетт намерен расширять сферу применения grid-сети: «Меня так же, как и многих других, раздражают простои процессоров. И если у автомата по продаже кока-колы будет разъем Ethernet, мы сделаем все для того, чтобы ?позаимствовать? процессорные циклы и у него».

Если надо построить grid

Avaki

Пакет Avaki Data Grid предназначен для распределения структурированных и неструктурированных данных между отделами, а также между территориально-удаленными бизнес-единицами. В отличие от хранилища данных, где информация из множества источников объединяется в централизованном репозитарии, Data Grid позволяет не перемещать данные и предоставляет приложениям соответствующий каталог для унифицированного и безопасного просмотра ресурсов grid.

DataSynapse

ПО DataSynapse GridServer ориентировано на приложения, требующие интенсивных обращений к данным и вычислительных операций, которые выполняются на платформах Linux, Unix или Windows. Основной круг заказчиков — финансовые службы, энергетическая отрасль и правительственные организации. DataSynapse GridServer служит для трансформации инфраструктуры промежуточного слоя (например, серверов приложений на базе J2EE), которая позволяет обеспечить интеграцию, ускорение работы и стандартизацию используемых приложений.

Entropia

Пакет DCGrid помогает организовать управление, планирование, развертывание и выполнение приложений, требующих проведения интенсивных вычислений, в распределенной сети на базе ПК под управлением операционной системы Windows.

Platform Computing

Программное обеспечение Platform Symphony представляет собой механизм разработки сетей grid, в которых приложения, требующие интенсивных вычислений и обращений к данным, выполняются в режиме реального времени. Программные компоненты Platform LSF и JobScheduler служат для планирования рабочей нагрузки, мониторинга и управления grid-сетью. Кроме того, компанией предлагается версия программного обеспечения Globus Toolkit, разработанного альянсом The Globus Alliance.

United Devices

Продукты United Devices Grid MetaProcessor позволяют «заимствовать» неиспользуемые циклы процессоров настольных компьютеров, серверов и кластеров. Они обеспечивают виртуальный доступ к вычислительным ресурсам, приложениям и данным, предоставляя единый интерфейс всем пользователям на предприятии. Возможна эмуляция выполнения двоичного кода Linux на платформах Windows, которая позволяет клиентам запускать приложения как Linux, так и Windows на одной машине.