Виктор Малахов
Возраст: 33 года
Образование:
Московский институт физики и технологий, специальность "прикладная математика и физика"
Послужной список последних лет:
2006 - настоящее время 
Группа компаний "Тройка Диалог", исполнительный директор управления информационных систем и технологий
2001-2006
Deutsche Bank, директор центра программного обеспечения инвестиционно-банковского департамента
1995-2001
"Программбанк" (впоследствии "Диасофт + Программбанк"), заместитель начальника аналитического отдела.

Бизнес компании «Тройка Диалог» демонстрирует стремительный рост: за прошлый год торговый оборот вырос более чем вдвое. В связи с развитием рынка ценных бумаг и появлением все большего количества финансовых инструментов перед торговым подразделением была поставлена задача за пять лет значительно увеличить свою долю рынка. Для выполнения этой задачи было решено ввести в эксплуатацию новый высокотехнологичный дилинговый зал на сто рабочих мест с возможностью в течение года увеличить количество рабочих мест в полтора раза. Непрерывную работу инфраструктуры трейдинг-центра должен был обеспечить новый центр обработки данных группы компаний «Тройка Диалог».

Трейдерская специфика такова, что регулярно в ходе торгов случаются всплески биржевой активности. В эти периоды информационная система испытывает пиковые нагрузки, вслед за которыми происходит спад. «Мы всегда должны учитывать, что максимальная производительность систем нужна именно тогда, когда происходит всплеск активности, когда осуществляется больше всего транзакций. В это время цена любых задержек, заминок или иных сбоев систем непозволительно высока», — считает исполнительный директор управления информационных систем и технологий ГК «Тройка Диалог» Виктор Малахов.

Новый ЦОД предполагалось спроектировать в деловом центре «Романов Двор», расположенном в непосредственной близости от московского Кремля, головного офиса компании и на одном этаже с трейдинг-центром. Это накладывало определенные ограничения на выбор решения и затруднило реализацию проекта. От компаний-партнеров требовалось максимально компактно спроектировать серверы на площади 120 кв. м.

«Мы очень осторожно вводим в строй системы, связанные с торговой функциональностью, — рассказывает Малахов. — Подобные решения могут быть хороши, когда есть процессы, использующие разделяемый ресурс. Выигрыш получается за счет того, что этот ресурс нужен не всем одновременно. В момент, когда происходят резкие движения рынка, максимальная производительность системы нужна всем сразу. Соответственно, возможности ресурсов мы планируем, исходя из максимальных потребностей в пиковое время».

Оценивая максимальные нагрузки, специалисты «Тройки Диалог» ориентировались на предельную производительность биржевых систем. По настоянию брокерского сообщества трейдеров биржи проводят нагрузочное тестирование систем. Эти тесты демонстрируют, какие показатели следует ожидать от рынка в целом и какие предельные нагрузки могут возникнуть на бирже. Задача ИТ-департамента в этом случае — сделать все, чтобы системы, обслуживающие биржевых брокеров, смогли справиться с любыми нагрузками со стороны внешнего рынка.

Специфика работы

Помимо требований к ЦОДу, проистекающих из особенностей управления корпоративной инфраструктурой, имелись и другие требования, связанные со строительством дилингового зала. Одной из краеугольных задач была реализация технологии удаленных рабочих станций. Поскольку проект «Тройки Диалог» был одним из пионерских в этой области, пришлось приглашать специалистов и консультантов из-за рубежа.

Современный торговый зал трейдеров — это решение, построенное вокруг коммуникаций, открытое пространство, в котором все брокеры должны взаимодействовать, видя друг друга. Плотность информации в торговых залах фантастически высока — количество информационных потоков, приходящихся на каждого трейдера, исчисляется многими десятками. Чего стоит только голосовой трафик, когда на одном телефоне удерживается одновременно десяток линий, по которым трейдер может вести переговоры в процессе торгов и взаимодействовать с коллегами. Трейдер также использует информацию, которая выводится на несколько мониторов на рабочем месте, телевизионные панели с новостными телеканалами и пр.

Чтобы предоставить трейдеру все эти информационные потоки, необходимо шесть-восемь мониторов и от трех до пяти рабочих станций. «Первая проблема — обеспечить удобство работы. Вторая — справиться с кошмарно большим тепловыделением. На каждую рабочую станцию приходится 250—300 ватт, примерно один киловатт — на каждого трейдера, а их в зале может быть несколько сотен. Я как-то подсчитал, что тепловыделение в нашем зале эквивалентно трем хорошо растопленным каминам, — комментирует масштаб задач Малахов. — Это действительно много и некомфортно для трейдеров. А ведь эти специалисты приносят компании основные деньги. Находясь в состоянии усталости или в дискомфортных условиях, они могут просто не успеть среагировать на движения рынка, что обернется потерями или недополученной прибылью».

Для трейдерского бизнеса характерно то, что позиции трейдеров часто меняются и их рабочие места перемещаются. «Обслуживать эти перемещения нам приходится буквально ежедневно. Чтобы вслед за сотрудником перетащить еще и три-пять рабочих станций, требуется целый проект со своей статьей расходов, которая занимает довольно заметную долю в ИТ-бюджете», — так оценивает проблему Малахов.

Инфраструктура

В ходе подготовки проектной документации все требования к центру обработки и хранения данных были учтены в эскизном проекте его строительства, отдельные задачи отражали ключевые направления работ, в том числе организацию охлаждения, бесперебойного питания, строительство структурированной кабельной сети и др. «На основании этих эскизных документов мы подготовили тендерное предложение, в котором подробно описали наши требования и условия работы, — продолжает свой рассказ Малахов. — В ходе тендера мы потребовали от партнеров представить описания решений одних и тех же задач. Оценив качество описаний работ, мы могли оценить и уровень поставщиков тех или иных услуг». В результате в работах над проектом приняли участие многие партнеры, но генеральным подрядчиком выступила компания «РД Констракшн Менеджмент». Значительную часть работ выполнили также компании «АРМО-Инжиниринг» и APC.

Учитывая высокую степень интеграции оборудования и систем, специалисты объединили в единый инженерно-технический комплекс решения большого числа производителей (в том числе серверы компаний Sun Microsystems и Hewlett-Packard, автоматическую телефонную станцию Avaya, мощные коммутаторы Cisco и еще более 350 рабочих станций на базе Intel V-Pro). От некоторых предложений пришлось отказаться из-за того, что достаточного количества оборудования не было на складе в Москве либо не устраивали сроки поставки.

Специфика бизнеса «Тройки Диалог» не позволяла размещать слишком далеко от торгового зала технологические комплексы, которые используются для поддержания работы трейдеров. Кроме того, это не очень удобно. Так как офисные площади, занимаемые бизнес-центром, в котором располагается «Тройка Диалог», довольно дорогие, ЦОД должен был занять как можно меньше места.

Поскольку плотность оборудования была чрезвычайно высокой (1200 кг/кв.м.), а суммарное тепловыделение составляло 10 кВт/кв.м, от интеграторов инженерных систем потребовалось обеспечить эффективное охлаждение помещения и сохранить работоспособность вычислительных комплексов. В результате было принято решение использовать экзотическую для нашего рынка технологию водяного охлаждения оборудования. Вначале эта идея была воспринята настороженно. Во-первых, вызывали опасения возможные протечки, которые могли привести к порче чувствительного ИТ-оборудования. Во-вторых, сам подход для отечественного рынка был неожиданным, хотя в мире это уже стандарт, рекомендуемый в частности Ассоциацией телекоммуникационной индустрии (Telecommunications Industry Association).

При выборе холодильного оборудования возникал вопрос его транспортировки и доставки в зону хладоцентра. Пришлось отказаться от предложений компаний, которые не могли поставить оборудование такого размера, чтобы можно пронести его в помещение ЦОДа (в случае же частичной разборки или демонтажа оборудования производители складывали с себя гарантийные обязательства). В результате в ЦОД были установлены кондиционер InfraStruXure In Row RC и система климат-контроля компании APC, а в отдельном помещении хладоцентра смонтированы четыре холодильные машины компании Hitachi, две из которых работают в «горячем режиме» и еще две находятся в резерве.

Чтобы обеспечить гарантированное питание ЦОД в условиях дефицита энергоресурсов, было проложено пять дополнительных кабелей от распределительных щитов. Для бесперебойного электропитания всей ИТ-инфраструктуры в ЦОД установлено оборудование компании АРС: семь ИБП Symmetra PX мощностью 80Квт с батареями, блок распределения питания InfraStruXure и ИБП Silicon мощностью 120Квт. В качестве резервного источника энергоснабжения развернуты два дизель-генератора Volvo Penta мощностью по 250 КВт каждый, установленных в подвальных помещениях бизнес-центра «Романов Двор». В случае отключения электроснабжения дизель-генераторы должны сразу же запускаться и выходить на полную мощность в течение нескольких секунд.

Для обеспечения безопасности ЦОД был выстроен многоуровневый технологический комплекс. Установлены системы видеонаблюдения на базе камер Bosch Security Systems. Развернута охранно-пожарная сигнализация, автоматически фиксирующая присутствие в ЦОД людей, она создана на базе двух пожарных панелей Simplex 4110U компании SimplexGrinell, данные на которые поступают с 400 дымовых датчиков и пяти ручных пожарных «кнопок». Для ликвидации возможных возгораний применяется система газового пожаротушения компании EUSEBI Impianti. Имеется также система ограничения доступа в серверные помещения. Управление всеми инженерными системами осуществляется в бизнес-центре «Романов Двор», где на мониторах рабочих станций системы отображаются в виде трехмерных компьютерных моделей.

Общие инвестиции в проект составили 10 млн. долл. Оценивая полученный опыт, Малахов считает, что следовало бы уже на самых первых стадиях проекта собирать всех специалистов, проектировщиков, инженеров и решать все спорные моменты. «Нам не удалось создать общий стержень проекта, — признался наш собеседник. — В результате применялось “комитетное” планирование, которое почти всегда отличается долгими сроками, многочисленными итерациями и повторными согласованиями».

Тем не менее, проект был реализован в рекордно сжатые сроки: проектирование центра заняло 42 недели, на монтаж оборудования ушло девять недель, тестирование завершено в течение месяца.

«Думаю, проект можно было бы осуществить быстрее и лучше. Но, к сожалению, проекты не повторяются», — отметил Малахов.

В новом стиле

Как бы там ни было, управляющий директор ГК «Тройка Диалог» Жак Дер Мегредичян остался доволен проектом. По его словам, команда проекта сделала все, чтобы трейдеры, от работы которых во многом зависят результаты деятельности компании, получили в свое распоряжение мощь и динамику, сравнимую с мощностью суперкара, и при этом чувствовали себя комфортно.

Расположение трейдерских рабочих столов «звездочкой», с одной стороны, обеспечивает максимально полезное использование пространства, с другой — позволяет осуществлять эффективную коммуникацию между рабочими группами. Отсутствие проводов и системных блоков сделало рабочее место просторным — теперь на рабочем столе располагаются только мониторы и специализированная клавиатура, позволяющая управлять несколькими рабочими станциями (сами рабочие станции расположены в ЦОД), кроме того, обеспечен удобный доступ к информационным терминалам Reuters и Bloomberg.

Все источники шума и тепла вынесены в ЦОД, где оборудование эффективно охлаждается, следовательно поддерживается в лучшем рабочем состоянии и работает дольше. Процессы переезда трейдеров с места на место выливаются в довольно тривиальные для ИТ-службы процедуры переконфигурации рабочих станций. «Ничто и никуда не нужно двигать или переносить. Если трейдер переезжает с рабочего места, где было три монитора, туда, где стало их шесть, то эти мониторы придется перевесить. Но это гораздо проще, чем перемещать системные блоки. Мы просто перекоммутируем оборудование, а сами рабочие станции остаются на прежних местах», — рассказывает Малахов.

От трейдеров на расстоянии

Технология для удаления рабочих станций, на базе которой строили свое решение в «Тройке Диалог», была выбрана в силу целого ряда соображений. Прежде всего это решение, специально спроектированное для трейдингового бизнеса, и в тот период, когда шло проектирование ЦОДа, другого варианта просто не было. Предложение, которое позволяло бы, используя IP-технологии, удалять ЦОД на большие расстояния, появилось только летом на выставке Security Industries and Finance, посвященной ИТ в финансово-банковской индустрии. Однако было заметно, что при всей своей перспективности это все же очень спорное, слабо апробированное и довольно «сырое» решение. К тому времени оно было «обкатано» только в Америке, где существует своя специфика.

«Сейчас у нас практически не возникает потребности что-то делать с рабочими станциями. Даже если какая-то из станций выходит из строя, нам проще выделить замену из свободного пула станций и переключить пользователя на нее, а уже потом без спешки разбираться с проблемой, — делится подробностями Малахов. — К тому же все-таки рискованно выносить оборудование далеко — туда, где не присутствуют наши специалисты. Если что-либо случится, нашим сотрудникам придется ехать на удаленную площадку. Время простоя окажется достаточно большим, а последствия для компании могут быть весьма тяжелыми. Постоянно держать команду, способную обслуживать несколько сотен рабочих станций в таком удаленном режиме, тоже не очень-то разумно».

Тем не менее, специалисты «Тройки Диалог» согласны с тем, что ресурсы их ЦОДа действительно не очень велики. По прогнозам, их потенциала должно хватить для обеспечения работоспособности бизнеса в течение двух-трех лет. По словам Малахова, в ЦОД осознанно не закладывали большой ресурс, так как в перспективе компания планирует строительство удаленных центров-дублеров. Они будут выводиться достаточно далеко от центра Москвы, туда, где будут обеспечены хорошие условия: удобная площадка, доступ к электроэнергии и пр.

«Мы будем строить не менее двух ЦОД, чтобы обеспечить непрерывность бизнеса. Наш план разработан таким образом, чтобы до ввода в строй новых мощностей нам хватило бы существующих ресурсов, — поясняет наш собеседник. — Мы рассматривали, причем очень серьезно, и возможности аутсорсинга. Но, к сожалению, пока на российском рынке довольно сложно получить внятное и приемлемое предложение. Если бы оно поступило, мы бы им непременно воспользовались. Все предложения, которые сейчас имеются на рынке, крутятся вокруг аренды шкафов, стоек. А нам нужны не шкафы, а целые кабинеты, где можно было бы разместить десятки таких шкафов. У нас уже достаточно крупная инфраструктура, которая со временем будет только расширяться, и нам необходимо иметь возможность для дальнейшего роста».