Жестокий урок

Никакие события не оказывали такого серьезного влияния на состояние финансового сообщества Нью-Йорка, как ужасающие террористические акты, совершенные на территории США 11 сентября.

Всего через несколько минут после того, как первый самолет врезался в башню Всемирного торгового центра, в IBM Disaster Recovery Center обратился первый клиент. К счастью, службы центра уже находились в состоянии повышенной готовности в связи с ураганом, бушевавшим в Мексиканском заливе, и корпорация смогла быстро начать необходимые операции по ликвидации последствий кошмарных событий страшного вторника.

Работы по восстановлению еще далеки от завершения, поэтому Тод Гордон, генеральный менеджер подразделения, смог уделить совсем немного времени редактору еженедельника InfoWorld Эду Скэннелу, чтобы рассказать о деятельности по восстановлению информационных систем после катастроф. Это подразделение корпорации IBM является одним из самых крупных подобных служб в ИТ-отрасли. Оно обслуживает 12 тыс. заказчиков в 76 странах мира. Гордон подробно рассказал о работе подразделения 11 сентября и в последующие дни.

Наша корпорация потеряла двух сотрудников. К счастью, члены моей семьи и наши друзья не пострадали.

Сначала это было почти как стихийное бедствие — ураган или землетрясение. Уже вскоре после первого удара к нам обратился один из клиентов, с которым у нас заключен контракт на обслуживание. Подобные обращения продолжались в течение какого-то времени. Никакого специального предупреждения мы не получили, однако как раз к этому моменту увеличили штат центра Disaster Recovery Center в ожидании урагана над Мексиканским заливом. Поэтому все поступающие звонки обслуживались традиционным образом и для каждого клиента выделялся свой ресурс центра, после чего начинался обычный процесс восстановления данных с магнитных лент с резервными копиями. Примерно через три часа, когда стало ясно, что совершен чудовищный террористический акт, ситуация приобрела совсем иной характер.

Многие из организаций оказались застигнутыми врасплох, не в том смысле, что они остались без своих систем или потеряли данные, а в том, что целые комплексы пользовательских рабочих мест оказались разрушены. Поэтому руководство корпорации собралось на срочное совещание, где обсуждались вопросы о том, как IBM может помочь нашим заказчикам и всем тем, кто попал в зону бедствия. Мы провели реорганизацию, чтобы в центр Disaster Recovery Center могло обратиться любое городское или федеральное ведомство, любой сотрудник или заказчик, которому нужна помощь.

Для поддержки первых контактов мы воспользовались услугами Disaster Recovery Center и его специалистов экстренной помощи. Затем мы оперативно вызвали менеджеров проектов со всего региона, а также менеджеров проектов стратегического аутсорсинга. Вскоре после этого мы подготовили технические ресурсы, необходимые для решения всех возникающих вопросов. Мы использовали базы данных, которые применяли при ликвидации последствий ураганов и наводнений, а также при решении проблемы 2000 года, и начали отслеживать все поступающие к нам звонки. Мы привлекли дополнительно около 20 сотрудников, которые принимали звонки круглосуточно от всех, кто хотел дозвониться. Очень быстро стало ясно, что ситуация кардинально отличается от всего, что было раньше, и пришлось решать проблемы, связанные в первую очередь с подменой людей, а не с подменой машин или утраченного оборудования.

Типичные обращения выглядели таким образом: «У нас 200 сотрудников, но им негде работать». Это были или службы поддержки заказчиков, или трейдеры, или службы, призванные обеспечить деятельность тех, кто работает на передней линии.

Проблема заключалась в том, что, как правило, не было места для работы, поэтому к нам обращались с просьбой предоставить стол, телефон, компьютер, а затем связь по сети так, чтобы сотрудники пострадавших компаний могли получать доступ к нашему центру данных. По существу, наши клиенты хотели, чтобы мы помогли им восстановить работоспособность их бизнесов.

На второй и третий день к нам стали обращаться люди, пережившие шок, они задавали вопросы, которые следовало бы адресовать службам экстренной помощи, например: «Живы ли люди? Есть ли им где жить и что есть?» Мы сфокусировались на решении проблем тех, кто сообщал нам, каких из критически важных для их бизнеса систем и процессов больше не существует.

Мы начали получать запросы на замену ПК, замену оборудования для маршрутизации и на восстановление коммуникаций, учитывая, что операторы междугородной связи и некоторые локальные провайдеры оказались без доступа к сетям связи в пределах города. Даже восемь дней спустя мы продолжали получать сообщения о сбоях и недошедших звонках. Во время этой второй волны обращений стало очевидно, что разрушено огромное количество клиентских рабочих мест. По мере возобновления контактов с заказчиками и операций, связанных с основными внутренними процессами, все приходили к выводу, что утрачен целый уровень операций поддержки. Поэтому мы начали получать более сложные заявки на интеграцию и объединение некоторых приложений. Другие беспокоились о том, восстановим ли мы инфраструктуру, сможем ли быстро возобновить все виды связи и базовые службы, которыми они привыкли пользоваться.

Я бы сказал, что работа основных служб была возобновлена в течение 72 часов. Основные коммуникации мы попытались восстановить в течение 48 часов.

Важно отметить, что и мы, и наши заказчики поняли, что существовавший план восстановления был неэффективным. Слишком многие особое значение придавали восстановлению работы своих компьютеров, а внимания вопросам восстановления всего комплекса, составляющего основу работы компании в целом, практически не уделялось. Думаю, что в результате приоритеты будут пересмотрены. Следует задать себе такой вопрос: понимаем ли мы, что нашим людям угрожает опасность? Это во многом будет напоминать то, что мы делаем во время пожарных учений. Куда нужно идти, где находятся люди, какова цепочка управления, какие имеются альтернативные методы коммуникаций, каковы основные бизнес-процессы и какие из систем в таком случае не являются основными, а также что вы должны делать, если работа переговорного центра прервана? То есть все это совсем не обязательно связано с информационными технологиями.

Да, так оно и было. Что касается следующей волны обращений, то мы уже были готовы к ней, как и другие компании. Если вы знакомы с инициативой ISACK, то знаете, что ее цель — защитить Internet. Мы начали на следующий день после террористической атаки, то есть 12 сентября, вести сканирование с целью обнаружения сомнительной сетевой активности. Было выявлено около 17 подозрительных IP-адресов, они были подвергнуты тщательному анализу, после чего мы связались с ФБР и другими правоохранительными органами. С того момента мы ведем непрерывный мониторинг сетей.

Каждая компания теперь должна четко себе представлять, какие компоненты в ее бизнесе имеют критически важное значение для сохранения работоспособности и какие именно процессы поддерживают эти компоненты. Я думаю, эта катастрофа подтвердила: высокий риск представляет не технология сама по себе, а способ использования технологии для ведения бизнеса. Особое внимание следует уделять людям, нашей зависимости от них и выбору методов работы. Тот же факт, что сети отличаются высокой избыточностью, аппаратное обеспечение работает практически безотказно и существует множество компонентов оборудования, используемых для выполнения одних и тех же задач, означает, что мы правильно географически распределили вычислительную нагрузку. Мы приобретаем высокую квалификацию в том, что касается использования технологии.