Распространение инструментов для анализа Больших Данных открывает новые возможности для разносторонней работы с информацией и ее широкого использования с целью получения дополнительных бизнес-преимуществ. Чтобы накопленные массивы данных не лежали мертвым грузом, системный интегратор «КРОК» предложил концепцию «умного хранения», при реализации которой расходы на эксплуатацию инфраструктуры хранения сокращаются за счет комплексного подхода, объединившего бизнес-сервисы и широкий пул решений (от горизонтально масштабируемых хранилищ до облачных услуг хранения). Умное хранение призвано обеспечить быстрый доступ к данным для оперативного принятия управленческих решений и ускорить вывод новых продуктов на рынок. Кроме того, оно предоставляет необходимые данные для выявления и анализа долгосрочных тенденций. О концепции умного хранения мы поговорили с Владимиром Колгановым, руководителем направления «Системы хранения данных» компании «КРОК».
Журнал сетевых решений/LAN: В чем особенность требований к СХД для видеонаблюдения?
Владимир Колганов: При реализации хранения в корпоративной среде, как правило, развертывается сеть хранения на базе Fibre Channel, передача данных по iSCSI/Ethernet крупными компаниями используется достаточно редко. Иначе говоря, системы хранения корпоративного класса ориентированы на достижение максимальной производительности. Таким образом, основные требования к таким СХД — производительность, надежность и масштабируемость.
В отличие от СХД корпоративного класса, системы хранения для видеонаблюдения подключаются с помощью Ethernet, а не Fibre Channel. Конкретные технические параметры зависят от записываемого потока, частоты кадров и разрешения. Кроме того, выбор СХД напрямую связан с поставленными задачами. Одно дело, когда наблюдение ведется только с целью обеспечения безопасности, например в рамках охранного комплекса, и другое — когда оно впоследствии используется для видеоаналитики.
Многое зависит и от регламента хранения этой информации: чем продолжительнее сроки, тем выше требования к масштабируемости СХД. Для поточного видео не нужны быстрые диски — вполне достаточно дисков SATA большой емкости. Однако, если видеоаналитика применяется для индексации кадров, могут потребоваться быстрые системы на базе флеш-накопителей.
Кроме того, при организации видеоархивов видеофайлы можно хранить и на объектных СХД. Для архивации данных нередко используется облачное хранение с доступом по протоколу S3. В качестве платформы для организации видеоархива подойдут горизонтально масштабируемые системы (например, Dell EMC Isilon), поскольку они совмещают в себе разные функции — на них можно запускать видеоаналитику, аналитику Hadoop для неструктурированных данных — и обладают очень большой масштабируемостью (до 50 Пбайт).
LAN: Что собой представляет «умное хранение»?
Колганов: Сегодня важно не просто хранить данные, а делать это эффективно. Под эффективностью понимается прежде всего экономическая отдача при решении задач бизнеса.
Умное хранение — это концепция, в соответствии с которой хранение данных организуется с учетом их дальнейшего использования и извлечения из них максимума полезной информации. По мере все более широкого распространения средств обработки Больших Данных и систем бизнес-аналитики умное хранение позволяет получить дополнительные возможности для использования информации на разных уровнях с целью получения бизнес-преимуществ.
Концепция умного хранения данных разрабатывалась таким образом, чтобы она была максимально понятна как для сотрудников ИТ-департаментов, так и для руководителей бизнес-подразделений. С точки зрения ИТ данные должны храниться надежно и безопасно. С увеличением объемов хранения и числа потребителей информации производительность их обработки должна пропорционально повышаться. В этом контексте выделяется потребность в обработке больших массивов неструктурированных данных.
Для бизнеса же важны минимизация затрат и простоев, а также возможность использования различных финансовых инструментов, начиная от лизинга и заканчивая сервисной моделью. Причем это не самоцель, а стремление наиболее эффективно извлечь выгоду из накапливаемых данных. Кроме того, встраивание умного хранения в ежедневные рабочие процессы способствует повышению их надежности, так как информация хранится и обрабатывается в единой защищенной от сбоев среде.
Таким образом, под умным хранением подразумевается экономически эффективное использование полученных данных — не только их текущее хранение, но и последующее изучение с помощью аналитических систем. Хранить данные многие более-менее научились, а вот извлечь из них пользу способны далеко не все.
LAN: Каким образом умное хранение позволяет оптимизировать работу с данными?
Колганов: Требования к хранению зависят от регламента. Одно дело, когда речь идет о 30 днях, и другое — о 60. Если емкость основной СХД нецелесообразно использовать для длительного хранения данных, то в этом случае имеет смысл перенести их на архивную систему. Обычно информация перемещается в архив после 15–30 дней.
В качестве основного хранилища целесообразно использовать горизонтально масштабируемые (scale-out) системы, которые в контексте данной задачи обладают определенными преимуществами, поскольку оснащены и быстрыми накопителями, и большими емкостями. Они не имеют узких мест, поддерживают разнообразный функционал и хорошо масштабируются. В качестве архива можно использовать объектное хранилище и программно определяемое хранилище (Software-Defined Storage, SDS).
Таким образом, умное хранение достигается за счет того, что данные с более быстрых носителей переносятся на медленные. Это позволяет уменьшить общую стоимость владения и обеспечить постоянный доступ к информации. К тому же старые, невостребованные данные могут быть быстро извлечены для решения текущих задач и выявления тенденций.
LAN: Насколько широко при этом используется облачное хранение?
Колганов: Хранение данных в облаке позволяет снизить расходы на собственную инфраструктуру и перевести капитальные затраты в операционные. Этот важный аспект умного хранения данных гибко реализуется с помощью решений класса BaaS/DRaaS.
Впрочем, многое зависит от предпочтений заказчика — что для него удобнее и дешевле. Так, в одном из реализованных нами проектов для интернет-магазина используется облачный архив для хранения накопленных медиаданных. Помимо требований регулирующих органов, важное значение имеет регламент службы безопасности — например, любые данные, касающиеся охраны периметра, никогда не передаются за пределы организации.
В качестве конкретного примера могу привести проект электронного хранилища бухгалтерских документов в «М-Видео», где акцент был сделан на аутсорсинге. В какой-то момент компания столкнулась с тем, что поиск необходимых документов стал занимать слишком много времени — иногда до нескольких недель или даже месяцев. Мы предложили реализовать хранение как услугу.
Для перевода входящих документов в электронную форму было организовано их сканирование, после чего они передавались в облако, где происходило их распознавание. Затем данные передавались в систему SAP. Заказчику не пришлось устанавливать никаких дополнительных систем — вся работа осуществлялась через Web. По расчетам, затраты на использование такой управляемой услуги в течение 5 лет ниже, чем стоимость построения собственного электронного хранилища.
LAN: Какова роль интегратора в проектах по созданию инфраструктуры для умного хранения?
Колганов: Умное хранение — это комплексный подход, который мы разработали, чтобы помочь компаниям справляться с постоянно растущими объемами данных и извлекать из них максимальную пользу. Этот бизнес-подход объединяет нашу экспертизу как интегратора в области эффективного управления данными и широкий спектр используемых решений — от архива как услуги до сложных комбинированных систем аналитики.
Наша задача — правильно оценить потребности заказчика и помочь ему сделать обоснованный выбор не по каким-то отдельным продуктам, а по проекту в целом, чтобы инфраструктуру предложенного решения можно было использовать для решения как текущих, так и будущих задач. При этом мы должны суметь убедить его в необходимости умного хранения, поскольку часто выбор определяется стремлением к максимальной экономии, но, как говорится, скупой платит дважды.
Важно подобрать оптимальное количество камер, программное обеспечение видеоаналитики, один или несколько серверов, которые будут обрабатывать видеопотоки, сетевое оборудование, рассчитать СХД с учетом требований к регламенту хранения и возможности ее дальнейшего масштабирования. Финальная задача — провести инсталляцию, обучить персонал заказчика и обеспечить техническое сопровождение комплекса. Все это требует серьезного изучения особенностей деятельности предприятия, что в конечном итоге позволяет разработать индивидуальное решение, позволяющее осуществлять любые бизнес-операции с использованием имеющихся данных.
Интегратор, естественно, несет ответственность за выбранное решение.
LAN: С какими проблемами приходится сталкиваться чаще всего при реализации умного хранения?
Колганов: Как я уже отметил, главная трудность — убедить заказчика в необходимости реализации того или иного решения. Из соображений экономии предприятия склонны делать выбор в пользу наиболее дешевого оборудования, которое порой вообще не подходит для выполнения поставленных задач. Бывает непросто объяснить, что лучше потратить чуть больше и сделать несколько по-иному, чтобы добиться реального результата и одновременно окупить вложенные инвестиции.
LAN: Какие конкретно бизнес-преимущества дает умное хранение?
Колганов: Одна из наиболее «благодарных» отраслей с точки зрения отдачи от умного хранения — розничная торговля, поэтому преимущества проще всего продемонстрировать на ее примере. Ретейлерам приходится оперировать множеством самых разнообразных данных о составе покупателей, совершенных покупках, складских запасах и т. д. Сопоставление и анализ данных, поступающих из различных приложений, записей видеонаблюдения и результатов распознавания, позволяют выявить скрытые закономерности и тенденции изменения предпочтений покупателей.
В частности, можно спрогнозировать продажи на основе анализа реального потока посетителей/покупателей; оценить эффективность торговли для конкретного магазина исходя из статистических данных о его посещаемости; проанализировать качество использования мощностей торговой площади и продуктивность работы персонала; рассчитать эффективность рекламных кампаний и вложений в PR и маркетинг, изучив статистику посещаемости магазина.
В случае возникновения конфликтных ситуаций можно воспроизвести действия персонала на основании записей видеонаблюдения, помещенных в видеоархив. Организация контроля кассовых зон, складских помещений, зон приемки товаров и т. п. — хорошее средство профилактики хищений денежных средств и товаров. Кроме того, это позволяет оперативно управлять работой кассиров в пиковые часы, регулируя в режиме реального времени количество свободных касс. Анализ активности посетителей/покупателей магазина по выбранным зонам позволяет оценить эффективность выкладки товара на полках и упростить работу мерчандайзеров.
В конечном счете извлекаемая информация способствует повышению операционной эффективности бизнеса, позволяя принимать взвешенные управленческие решения, подкрепленные качественной аналитикой. В частности, снизить издержки на оплату труда персонала путем корректировки количества сотрудников в смене и графика работы объекта в соответствии с интенсивностью потока посетителей.
Умное хранение позволяет получить значительный бизнес-эффект компаниям, работающим в банковской сфере, на транспорте, в здравоохранении и других областях. Порой анализ даже типовых данных может принести нетривиальные бизнес-результаты…
LAN: Возможно, имеет смысл показать на примере, какого рода результаты могут быть достигнуты?
Колганов: Недавно от одного из заказчиков поступил необычный запрос: он хотел бы выявить «засланных казачков» от конкурентов по доступным шаблонам поведения сотрудников. Прежде чем что-то предлагать, мы решили провести опыт на себе. Собрали данные почтового сервера о том, кто, когда и кому писал (при этом содержимое писем игнорировалось), извлекли из телефонной системы информацию о том, кто, когда и кому звонил, проанализировали содержимое системы контроля доступа о проходе/выходе из здания, корпоративной социальной сети и т. д.
Это позволило составить граф формальных и неформальных связей, например, кто с кем ходит на обед. Но что это дает? Мы наложили на этот граф данные о сотрудниках, покинувших компанию. Обычно, если сотрудник планирует уйти к конкурентам, прихватив с собой корпоративные данные, он начинает их бесконтрольно копировать. Это легко отслеживается службой безопасности. Анализ графа личных связей показал, что хорошим индикатором такого намерения является резкое сужение неформального общения.
Таким образом, мы научились распознавать момент, когда человек собирается уволиться и пришла пора принять все необходимые меры по защите корпоративной информации.
Беседовал Дмитрий Ганьжа, главный редактор «Журнала сетевых решений/LAN»