Ориентировочно в 1996 году в академических и университетских кругах появились первые системы распределенных вычислений. Эти системы быстро трансформировались в intraGrid — «альтруистический Grid», регулирующий отношения внутри научных коллабораций. Со своей стороны, бизнес, озабоченный вопросами оптимального управления уже существующими ИТ-инфраструктурами, также заинтересовался возможностями, предоставляемыми технологиями Grid. На этот интерес откликнулись основные игроки ИТ-рынка, принявшие правила новой игры, в которой будут востребованы Web-службы и услуги по предоставлению компьютерных ресурсов по запросу. Экстенсивное развитие аппаратных технологий привело к падению полезной загрузки оборудования; согласно ряду исследований, показатель использования серверов в среднем составляет всего 12-15%. Нарастают емкости хранилищ данных и их распределенность по научным и деловым центрам. А как интегрировать разрозненные ресурсы, создать виртуальные проектные команды без лишних затрат, в условиях непредсказуемости пиковых нагрузок, сбоев компьютерных систем? Оказывается, Grid — это один из эффективных путей, позволяющих оптимизировать затраты, уменьшить стоимость владения и перераспределить вычислительную нагрузку на свободные ресурсы.

Все эти факторы катализировали развитие Grid. На смену intraGrid пришел extraGrid — «партнерский Grid», связавший подразделения предприятий и их субподрядчиков (рис. 1).

Рис. 1. Этапы становления Grid

Истоки

Что же такое Grid? Это среда поддержки унифицированной инфраструктуры для решения сложных задач за счет использования динамических распределенных ресурсов. Не следует путать Grid с подключенными к Internet системами пакетной обработки, менеджерами кластеров или системами хранения. Grid — четко описанная система базовых служб, которые обеспечивают унифицированный доступ к ресурсам: компьютерам (суперкомпьютеры, кластеры, рабочие станции, персональные системы всех типов); информации (информационные хранилища, базы данных, системы хранения); инструментарию (метаданные для управления объектами реального мира и др.) и т.п.

Если в 1998 году Иан Фостер и Карл Кессельман, определяя Grid, акцентировали внимание на вычислительном компоненте, то сегодня речь идет и о скоординированном использовании распределенных динамических ресурсов, собранных для решения проблем виртуальных организаций. Оба компонента имеют важное значение для Grid: первый — источник ресурсов, второй — правила их совместного использования с помощью единой архитектуры.

Grid — изначально открытая, теоретически неограниченно масштабируемая система. Grid — это набор служб, и, как и в случае Web-служб, здесь не обойтись без открытых стандартов, в разработке которых принимают участие все ведущие производители. Здесь нельзя умалять вклад каждого участника компьютерного сообщества, однако подход и роль ИТ-компаний в процессе становления Grid несколько отличаются.

Сегодня немногие, пожалуй, помнят об одном из «первоисточников» Grid, системе IBM VM, предлагавшей пользователям виртуальные ресурсы мэйнфрейма: процессоры, память и диски. Сегодня IBM принимает активное участие в создании технологий Grid, потенциально позволяющих управлять «мэйнфреймом», состоящим из всех компьютеров планеты. Базовым программным обеспечением для Grid и фактическим международным стандартом стала система Globus, признанная основными игроками ИТ-рынка. Globus лежит в основе ведущих Grid-проектов, на него ориентируется большая часть новых исследований и разработок в области Grid. Со своей стороны IBM бесплатно распространяет инструментарий Globus Toolkit, позволяющий строить Grid-конфигурации, создавать службы и приложения. Дистрибутив снабжен документацией, а также скриптами для развертывания на IBM eServer с ОС Linux или AIX, обеспечивая взаимодействие с решениями других компаний: Avaki, DataSynapse, Entropia, Platform Computing и United Devices, а также бесплатных систем наподобие OpenPBS и Condor.

Итак, Grid в современной интерпретации — это среда, которая (рис. 2):

  • координирует ресурсы, используя самонастраиваемые (autonomic) системы, автоматически реагирующие на изменения обстановки подобно нервной системе человека;
  • использует только стандартные, открытые протоколы и интерфейсы;
  • предоставляет практически неограниченные ИТ-услуги.

Рис. 2. Ком­по­нент­ное окру­же­ние Grid

Рис. 2. Ком­по­нент­ное окру­же­ние Grid

IBM в сетях Grid

Компания IBM создала первый в мире центр компетенции по решениям Grid в Монпелье (Франция). Одна из задач Центра — предоставление пользователям доступа к гетерогенным распределенным Grid-структурам, выполнение пилотных и коммерческих проектов. Центр оборудован всеми моделями серверов IBM; имеются также системы от Hewlett-Packard и Sun Microsystems. Сотрудники Центра осуществляют тестирование конфигураций для электронного бизнеса, выполняют работы по оптимизации ИТ-архитектур клиентов и независимых разработчиков программного обеспечения.

На рис. 3 схематично представлена стратегия, которой придерживается IBM по отношению к Grid. Сравнив ее с общей концепцией Grid (рис. 2), можно заметить, что, не придумывая ничего принципиально нового, корпорация наполнила схему конкретным содержанием из арсенала своих решений.

Рис. 3. Среда Grid в вер­сии IBM

Рис. 3. Среда Grid в вер­сии IBM

В качестве примера реализации Grid можно указать UK National Grid — Web-суперкомпьютер, используемый академическими и коммерческими организациями Великобритании. В этом проекте IBM применила программное обеспечение Globus, скомпоновав его в единый продукт. Бесплатно распространяемый инструментарий IBM Grid Toolbox для сред Linux и AIX позволяет развертывать Grid-инфраструктуру, управлять безопасностью и распределением нагрузки.

Ресурсы по запросу

Grid и централизация несовместимы: функционирование любой глобальной сети невозможно при управлении из одной точки. По аналогии с энергетическими сетями, в узлах сосредоточения ресурсов имеются центральные пункты управления, однако главенствующим должны быть принципы самоуправления, регулируемые соглашениями об уровне обслуживания (Service Level Agreement, SLA).

Одной из недавних инициатив IBM стало намерение инвестировать 10 млрд. долл. в программу развития технологий для второго поколения электронного бизнеса. По замыслу корпорации, речь идет об эволюции Web-служб, открытых стандартов, Grid и самовосстанавливающихся систем, интеграция которых позволит конкретному заказчику по запросу получать персонифицированные услуги в нужный момент времени. Реализация концепции «услуги по запросу» позволит скомпоновать виртуальный центр, в котором будут собраны все ресурсы, необходимые для решения специфических задач бизнеса. Базовые Web-службы обеспечивают интероперабельность между приложениями, а Grid позволяет доставить распределенные ресурсы в одну точку и управлять ими как одним виртуальным компьютером. Предложенная ранее IBM концепция самонастраиваемого компьютера очень вписывается в эту модель, играя ключевую роль в управлении сложными инфраструктурами. Ряд компаний уже имеют опыт по использованию «услуг по запросу». Так, American Express семь лет является клиентом IBM, получая все ИТ-услуги по мере необходимости. Однако нельзя сказать, что IBM в одиночестве выступает с такой программой. Скажем, Sun Microsystems анонсировала Webtone, своего рода ИТ-аналог «музыкального центра», в котором можно собирать нужные пользователю «устройства»; в Hewlett-Packard говорят об аналогичной инициативе Planetary Scale Computing.

Важным шагом стала программа Application Enablement Program поддержки поставщиков программного обеспечения по адаптации их продуктов к виду, пригодному для поставки в виде служб. Речь идет о приложениях по управлению центрами данных, CRM, SCM, аналитических программах и других критически важных для бизнеса решениях. IBM Global Services будет заниматься хостингом таких приложений и предоставлять их всем желающим в виде «услуг по запросу». Локализация и интеграция приложений может быть выполнена либо самими независимыми разработчиками, либо подразделением IBM Business Consulting Services. Однако говорить о реальной востребованности услуг по запросу можно будет только в случае, когда все игроки этого рынка будут предлагать совместимые решения. К сожалению, такое получается далеко не всегда.

Открытая платформа

Без доступных, действительно открытых стандартов и протоколов сама идея Grid теряет всякий смысл. Открытую платформу можно сравнить со свежим ветром, раздувающим туман технологических решений, предлагаемых различными поставщиками. На роль такой платформы с октября 2002 года претендует Globus Toolkit 2.2 (GT2). Сегодня GT2 называют стандартом де-факто для Grid. Объединившись в альянс, двенадцать ведущих ИТ-компаний объявили о готовности поддерживать и развивать и оптимизировать для своих платформ Globus Toolkit. Речь идет также о создании коммерческих версий Globus Toolkit и выпуске промышленной реализации среды Grid, способной поддерживать неограниченное число пользователей.

В рамках развития инструментария Globus Toolkit в 2001 году была инициирована исследовательская программа, направленная на создание следующей версии Globus Toolkit 3.0 (GT3) на основе архитектуры Open Grid Services Architecture (OGSA). Эти работы осуществляются при непосредственном участии IBM. Так, инфраструктура Open Grid Services Infrastructure (OGSI), призванная стать основой ядра GT3 Core, создавалась при активной поддержке корпорации.

OGSI включает инструментарий клиента и сервера для разработки Grid-служб. Кроме уже существующих служб, таких как GridFTP, Replica Location Service и Community Authorization Service, в OGSI войдет служба исполнения GRAM и служба надежной передачи файлов Reliable File Transfer. Дополнительно в GT3 войдет служба внешних взаимодействий. Проектом предусмотрена также инструментальная среда, а менеджер работ GT3 будет запускать приложения как отдельные процессы, независимо от того, в какой среде программирования они были созданы.

На основе Globus подразделение IBM Research создало географически распределенный «суперкомпьютер», объединяющий исследовательские и проектно-конструкторские лаборатории корпорации в США, Великобритании, Израиле, Франции, Швейцарии и Японии. Его консолидированные ресурсы используются, в частности, для моделирования микропроцессоров. Более 2 тыс. сотрудников IBM так или иначе работают с технологиями Grid; регулярно проводятся конференции по данной тематике, осуществляется сотрудничество с сообществом разработчиков и администраторов, принимающих участие в создании и поддержке Globus.

Большой сервис

Какие качества сервиса является тривиальными, а какие нет? По мнению Фостера, весьма непросто обеспечить гарантированное время отклика, пропускную способность, доступность и безопасность. Как следствие, основной объем услуг приходится сегодня именно на локальный сервис. Однако в случае с Grid, перечисленными качествами должен обладать сервис, предлагаемый в глобальных масштабах. Как быть?

Пока идеи Grid не выходили за рамки университетов и отдельных компаний, проблем не возникало. Но идти дальше без стройной системы предоставления услуг уже невозможно. Одновременно с этим наметилась тенденция расширения доли услуг в бизнесе крупнейших игроков ИТ-рынка. В этом смысле IBM пока оказалась прозорливее; больше трети своих доходов — 35 млрд. долл. — корпорация получает из подразделения IBM Global Services. Недавно IBM купила еще и PwC Consulting за 3,5 млрд. долл.

Сегодня в IBM видят будущее ИТ-индустрии как набор услуг, которые клиенты по мере необходимости будут приобретать у провайдера, который (в данном случае IBM) будет использовать продукты всех игроков ИТ-рынка. Собственно говоря, сбывается идея сорокалетней давности — организация работы в режиме разделения времени с целью предоставления всем желающим доступа к ресурсам. В 60-х годах эта идея опередила свое время, а реализация в силу организационных и технологических проблем осталась на уровне сотен пользователей (да и не было тогда их больше). Появление Internet, а теперь и Grid изменило ситуацию.

Есть еще один аргумент в пользу «большого сервиса». Основной ресурс любой ИТ-системы, определяющий в конечном итоге ее стоимость, — люди: дорого найти квалифицированных специалистов, дорого их собрать в одной точке для решения какой-либо задачи, дорого поддерживать их профессиональный уровень. Эффективность волоконно-оптических сетей ежегодно увеличивается вдвое, вычислительные мощности растут на 60% каждый год, а эффективность труда человека остается неизменной. Выход — организация кооперативной работы специалистов высокой квалификации. Когда компьютеры и специалисты были относительно дешевы, а коммуникации дороги, компании размещали их у себя. В результате, по данным Gartner, реально используется только 15% имеющихся ресурсов, а предприятия продолжают приобретать «черные» ящики, а не решения конкретных проблем. Когда коммуникации дешевеют, а специалисты дорожают, становится выгоднее покупать внешние услуги. Оптимальная комбинация Grid-служб, протоколов и правил управления распределенными системами призвана снизить влияние человеческого фактора на работоспособность ИТ-инфраструктуры, а следовательно и стоимость ее эксплуатации. Аренда серверов и систем хранения — только первый шаг; основной эффект будет получен, когда заказчику не нужно будет инвестировать в развитие собственной инфраструктуры и собственных специалистов, как сегодня никому в голову не придет строить свою электростанцию, нанимать электриков и завозить мазут, чтобы освещать и обогревать супермаркет.

Проблемы

Когда данные технологии станут доступными для широкого использования? Не окажется ли, что это всего лишь красивая иллюстрация для доклада Совету акционеров корпорации? Действительно, по мнению руководства IBM, массовое использование «услуг по запросу» начнется не ранее чем через два-четыре года.

Технологии Grid пока не лишены существенных недостатков. Рано говорить об их победном шествии. Скажем, для безболезненной интеграции Web-служб внутри Grid нужна специальная архитектура, однако для нее еще требуется разработать ряд протоколов. Необходимо наполнить OGSA конкретным содержанием, поддержав процедуру запуска заданий, реализовав информационную службу и мониторинг ресурсов, а также обеспечив адекватный уровень безопасности. Частично это уже реализовано в версии Globus 2.2, но пока еще недостаточно, чтобы строить решения для коммерческих пользователей. Почти не проработан вопрос об эффективном планировании распределения нагрузки; еще предстоит организовать биллинг.

Наконец, кроме технологических проблем потребуется еще преодолеть инерцию мышления, чтобы осуществить переход от парадигмы персональных и централизованных вычислений к предоставлению ИТ-услуг по запросу. Решенная в области энергетики проблема общего рынка электроэнергии для Grid, пока не совсем очевидна: предстоит разработать механизм вовлечения в единый пул ресурсов конкурирующих компаний. Возникает и проблема использования лицензионных программ, защиты авторских прав и т.п. Выработка стратегий, исключающих потерю стабильности вопреки политическим, социальным и технологическим барьерам, а также разработка инструментария для создания приложений Grid (отладчики, инструменты поддержки отказоустойчивости, мониторы производительности и др.) требует беспрецедентных по масштабам скоординированных усилий.

Перспективы

По аналогии с развитием Internet, завтрашний день для Grid — это World Wide Grid, динамическое образование из всех структур и ресурсов, имеющих отношение к решению конкретной задачи или поддерживающих определенный бизнес (аналитические компании, поставщики материалов, исследовательские организации, рекрутинговые агентства, страховые фирмы и т.п.). Ресурсы в WWG временно подключаются для решения общей цели (рис.4). Ровно то же происходит, когда вам нужно сварить кофе. Вы берете кофеварку и включаете ее в розетку. Кофеварка получает свою порцию электричества, преобразуя его в тепло, а вы получаете кофе, совершенно не задумываясь о том, откуда пришел ток, где расположена электростанция и знает ли провайдер о вашем намерении использовать его ресурс в данный момент. Примерно также должна функционировать и WWG.

Рис. 4. Эво­лю­ция Grid

Рис. 4. Эво­лю­ция Grid

ИТ постепенно становится основой всего современного бизнеса, а Web-службы, Grid и технологии визуализации основными инструментами превращения Internet в платформу поддержки бизнеса.

Инфраструктура для поддержки распределенной деятельности

Помимо технических перспектив Grid интерес представляют коммерческие аспекты продвижения соответствующих решений. Мишель Тейсседре, вице-президент IBM по стратегическому развитию электронного бизнеса для региона EMEA, и Кирилл Корнильев, генеральный директор IBM Восточная Европа/Азия, отвечают на вопросы журнала «Открытые системы».

Что для IBM Россия сегодня означает Grid?

Кирилл Корнильев (К.К.): Сегодня от представительства IBM не требуют каких-либо конкретных объемов продаж по Grid-проектам. Однако у нас есть план действий по продвижению здесь соответствующих продуктов. Мы знакомим наших заказчиков и партнеров как с решениями IBM в этой области, так и с основами технологий Grid. Активное участие «большой» IBM в развитии и внедрении стандартов Grid, а также опыт реализации Grid-проектов позволяет нам чувствовать себя уверенно в тех областях, где потенциальное применение Grid может играть роль «добавленной стоимости», которую IBM привносит в проекты заказчиков.

Нет ли в ваших усилиях по продвижению технологий Grid больше элемента маркетинга, чем реального бизнеса?

Мишель Тейсседре (М.Т.): Представители академических и университетских кругов иногда утверждают, что внимание коммерческих поставщиков к детищу сообщества разработчиков Globus Toolkit преследует маркетинговые цели. Но сегодня Grid — реальная бизнес-стратегия IBM. У нас три исследовательских центра, так или иначе связанных с технологиями Grid: Остин (США) — оценка и тестирование новых решений, Монпелье (Франция) — разработка и внедрение, Токио (Япония) — работа с клиентами. Все лаборатории компании объединены средой Blue Grid: Беблинген (Германия), Цюрих (Швейцария), Монпелье (Франция), Токио (Япония), Хайфа (Израиль).

Есть ли примеры конкретного использования технологий Grid для внутренних нужд компании или для ее клиентов? Готовы ли коммерческие пользователи и партнеры IBM к применению Grid?

М.Т.: Среди конкретных инсталляций можно назвать TeraGRID, сеть консорциума четырех ведущих американских исследовательских центров. IBM построила крупнейшую Grid-инфраструктуру, объединив множество Linux-кластеров общей производительностью 13,6 TFLOPS. Другие примеры: немецкая национальная сеть DAS-2, Research Grid в Великобритании, Grid для ЦЕРН. Есть и коммерческие применения, например, Национальный архив цифровой мамографии в США. Butterfly.net использует Grid для доставки по запросу игр и видеофильмов, а также для поддержки интерактивных игр на базе инфраструктуры электронного бизнеса, предоставленной IBM. В проекте использовались Linux-серверы на базе IBM xSeries, способные поддержать работу более миллиона одновременно играющих пользователей. Предусмотрена возможность подключения ПК, игровых консолей, карманных компьютеров.

К.К.: В первую очередь технологии Grid актуальны для научного сообщества и образования, позволяя максимально эффективно использовать уже имеющиеся ресурсы. Также явно просматривается перспектива использования Grid в социально значимых проектах, связанных, например, с медициной, где требуется обеспечение быстрого поиска, извлечение и обработка информации из распределенных хранилищ больших объемов. Самыми быстрыми темпами развиваются международные проекты Grid, среди которых можно особо отметить LHC Computing GRID — создание общемировой инфраструктуры хранения и обработки результатов экспериментов на Большом адронном коллайдере в ЦЕРНе. С российской стороны в проекте участвуют институты, связанные с фундаментальными исследованиями в физике высоких энергий. В последнее время заметен рост интереса к Grid и со стороны коммерческих организаций. Однако, поскольку стандарты Grid еще окончательно не сложились и еще не все коммерческие программные продукты «умеют» использовать их, этот интерес носит пока предварительный характер. Формируя свои долгосрочные стратегии, предприятия хотят знать, каким образом Grid будет влиять на развитие ИТ в целом.

М.Т.: Пожалуй, сегодня все осознали, что Web — это источник информации, но не все поняли, что для ее обработки требуются адекватные источники вычислительных ресурсов. Бизнес — не спокойная река, обязательно возникают пиковые нагрузки, неплановые выбросы и т.п. Задача Grid — исключить провалы производительности при возникновении любых неожиданностей, перераспределить ресурсы для решения кратковременных, но интенсивных задач.

В чем особенность подхода IBM к технологиям Grid?

М.Т.: Вполне естественно, что технологии Grid не остались без внимания других игроков ИТ-рынка. Роль IBM — услуги, а также разработка внешних интерфейсов, скриптов и промежуточного программного обеспечения для взаимодействия с Globus. Такие инструменты, как IBM Grid Toolbox for Linux и Grid Toolbox for AIX, как раз и предназначены для этой цели. Если говорить шире, то стратегия IBM по отношению к Grid весьма проста: развивать партнерские отношения с поставщиками инструментария для Grid, поставщиками приложений, сообществом разработчиков Globus, совершенствовать архитектуру OGSA. Программное обеспечение Globus, платформа для создания инфраструктуры, позволяющей создать систему управления распределенными ресурсами, работает на всех серверах IBM eServer в среде AIX и Linux.

Какова бизнес-модель IBM по отношению к Grid?

М.Т.: Наша бизнес-модель для Grid аналогична, например, бизнесу компаний PepsiCo и Nestle Waters Group, продвигающих брэнды Aqua Minerale и «Святой источник» соответственно. В природе имеется чистая вода, ее не надо производить. Однако сбор, фасовка, логистика — все это инвестиции. Затраты на первоначальное приобретение Linux близки к нулю, но сопровождение, поддержка, консалтинг решений на этой платформе стоит денег. Значит, есть место для бизнеса. Вообще говоря, по мнению аналитиков, только 30% всех затрат на ИТ уходит на закупки программ и оборудования, остальное — услуги.

К.К.: Так как Grid не является «продуктом» IBM, отдельная категория партнерства на локальных рынках по Grid не предусмотрена. Как и в других проектах, где основную роль играют не продукты и технологии, а услуги, мы рассчитываем на участие наших партнеров — как с точки зрения поставок, так и с точки зрения системной интеграции. И, конечно, хотелось бы, чтобы наши партнеры активнее подключались к процессу популяризации идей Grid. Мы готовы предоставлять им информацию, доступ к соответствующим центрам компетенции, к нашему опыту.

Каков объем рынка Grid?

М.Т.: Рынок в регионе EMEA мы оцениваем в 400-500 млн. евро. Объем этого рынка будет расти, учитывая преимущества, привносимые Grid в бизнес: низкая стоимость владения за счет оптимизации использования имеющихся ресурсов; возможность создания эффективных виртуальных коллабораций на базе ресурсов распределенных организаций; оперативное реагирование на пиковые нагрузки.

К.К.: На данный момент трудно назвать конкретную цифру для России. Если говорить о решениях Grid в целом, речь, без сомнения, идет о быстро растущем сегменте рынка оборудования, программного обеспечения и услуг. И мы надеемся занять здесь достойное место.

Каковы общие перспективы Grid в России?

К.К.: С учетом интереса научного сообщества России к Grid, его территориальной рассредоточенности и неплохой основе с точки зрения инфраструктуры, а также с учетом поддержки идей Grid со стороны российского правительства, будущее этих технологий мы оцениваем как весьма многообещающее.

Роль российских разработчиков?

К.К.: Сегодня они не только активно знакомятся с мировым опытом построения систем на базе Grid, но и создают собственные методы построения распределенных вычислительных сред. Мы рассчитываем на то, что они будут вносить все больший вклад в продвижение и популяризацию идей Grid в России.