Насколько быстро обновляется информация при изменении предпочтений клиентов, рыночных условий, конкурентных действий и особенностей операций? От ответа на эти вопросы будут зависеть объемы инвестиций и масштабы проектов Больших Данных в 2015 году

Всего за несколько лет технологии Больших Данных прошли путь от громких обещаний до одной из главных движущих сил новой цифровой эпохи. В 2014 году мы все чаще имели возможность наблюдать, как предприятия, реализующие проекты Больших Данных, от этапа тестирования переходят к их производственной эксплуатации. «В 2015 году сценарии использования Больших Данных будут расширяться, — отметил Джон Шредер, генеральный директор компании MapR, выпускающей коммерческие дистрибутивы Hadoop. — В этом году организации начнут переходить от пакетной обработки Больших Данных к их использованию в реальном времени. Нынешние лидеры отрасли и те, кто претендует на роль лидеров в ближайшем будущем, добились существенных успехов в деле интеграции новых платформ Больших Данных в аналитические системы, которые смогут обрабатывать информацию ‘на лету’ и оперативно реагировать на изменения в бизнесе».

По мнению Шредера, в 2015 году будут доминировать пять основных тенденций.

1. Быстрая актуализация данных

Потребность в быстрой актуализации данных является одним из главных источников развития технологий Больших Данных. Процессы в унаследованных СУБД и хранилищах данных выполняются слишком медленно, они недостаточно гибкие и не устраивают бизнес. В 2015 году быстроте актуализации данных в организациях будет уделяться еще больше внимания, а акценты начнут смещаться от сбора информации и управления данными к более активному их использованию.

«Унаследованные СУБД и хранилища данных обходятся дорого, а решать задачи обобщения и структуризации данных приходится с привлечением квалифицированных администраторов баз данных, — отметил Шредер. — Необходимость привлекать администраторов баз данных приводит к задержкам в доступе к новым источникам данных и созданию жестких структур, которые с трудом поддаются изменению. Унаследованные базы данных не обладают достаточной гибкостью, чтобы удовлетворить потребности большинства современных организаций. Вместо наращивания объемов данных, находящихся в их распоряжении, предприятия начнут больше заниматься оценкой их актуальности и повышением оперативности получения требуемой информации. Какими возможностями анализа данных и выполнения операций, связанных с их обработкой, располагает организация? Насколько быстро обновляется информация при изменении предпочтений клиентов, рыночных условий, конкурентных действий и особенностей операций? От ответов на эти вопросы будут зависеть объемы инвестиций и масштабы проектов Больших Данных в 2015 году».

2. Переход от озер данных к платформам непрерывной обработки данных

В определенной степени 2014 год можно считать годом озер данных (data lake) — репозиториев, где необработанные данные хранятся в исходном формате: структурированном, неструктурированном или полуструктурированном, в готовности к использованию. Ценность озер данных определяется наличием масштабируемой инфраструктуры, весьма эффективной с экономической точки зрения благодаря низкой стоимости хранения терабайта данных, и возможностью оперативно реагировать на изменение ситуации.

«В 2015 году озера данных будут совершенствоваться по мере перехода от пакетной обработки к обработке в реальном времени и интеграции файловых ресурсов, Hadoop и баз данных в платформы масштабной обработки, — указал Шредер. — Другими словами, речь идет об обеспечении непрерывного доступа к обработке событий и данных с целью оперативного получения самой свежей информации и мгновенного принятия необходимых мер».

3. Самообслуживание

Постоянное совершенствование инструментов и сервисов Больших Данных означает, что в 2015 году технические средства перестанут быть узким местом при организации доступа бизнес-пользователей и аналитиков к нужной им информации.

«В 2015 году начнут внедряться технологии, позволяющие бизнес-пользователям самостоятельно обращаться к интересующим их данным, — отметил Шредер. — Прежде создание централизованных структур данных считалось возможным лишь при участии ИТ-служб. Это был очень долгий и дорогостоящий процесс. Платформа Hadoop позволила предприятиям в некоторых сценариях получать удобный доступ к структурам данных при выполнении операций чтения. Передовые организации будут осуществлять привязку данных в процессе своей деятельности и смогут получать информацию не только из централизованной структуры. Самообслуживание такого рода поможет им использовать новые источники данных и своевременно реагировать на появляющиеся возможности и возникающие угрозы».

4. Консолидация поставщиков Hadoop и новые бизнес-модели

В начале 2013 года в Intel представили собственный дистрибутив Hadoop, отличающийся от всех остальных тем, что он поддерживался непосредственно аппаратными средствами Intel. Но уже через год в корпорации отказались от этой затеи и стали поддерживать дистрибутив Cloudera.

Шредер убежден в том, что в 2015 году консолидация поставщиков Hadoop продолжится. Многие откажутся от собственных дистрибутивов и попытаются сосредоточиться на чем-то другом.

«Технологии совершенствуются поэтапно. Технологический жизненный цикл начинается с появления инновационной идеи и создания продуктов, принципиально отличающихся от других, а заканчивается, когда эти продукты окончательно утрачивают свою индивидуальность, — отметил он. — Эдгар Кодд придумал концепцию реляционных баз данных в 1969 году. В 1986 году развитие этой инновационной идеи превратило Oracle в публичную компанию, а превращением в массовую продукцию можно считать выпуск первой версии MySQL в 1995 году. Для технологии баз данных путь от инновационной идеи до массового продукта занял 26 лет. Hadoop только-только вступает в период технологической зрелости. С момента публикации Google первых материалов по MapReduce прошло десять лет. С глобальным распространением Hadoop мы столкнулись уже через 10 лет после появления первоначальной концепции. Но Hadoop по-прежнему находится в инновационной фазе, и предложения вендоров, опрометчиво принявших стратегии Red Hat for Hadoop, постепенно уходят с рынка».

Шредер уверен, что в 2015 году мы увидим эволюцию новой, дополненной новыми нюансами модели программного обеспечения с открытым кодом, в которой глубокие инновации будут сочетаться с разработкой силами сообщества.

«Сообществу Open Source отводится главная роль в формировании стандартов и поиске консенсуса, — добавил он. — Конкуренция ускорила превращение Hadoop из процессора пакетного анализа в полнофункциональную платформу обработки данных».

5. От Большой Рекламы к Большим Данным

В 2015 году архитекторы корпоративных систем от улучшения понимания технологического стека Hadoop начнут переходить к более четкому и конкретному определению требований к приложениям Больших Данных, включая требования к готовности и непрерывности ведения бизнеса.

«Если организация намерена как можно быстрее перейти от экспериментов к серьезному внедрению, то необходимо, чтобы архитекторы корпоративных систем шли в авангарде движения к Большим Данным, — пояснил Шредер. — ИТ-лидерам отводится важнейшая роль в определении базовых архитектур, учитывающих требования, которые предъявляются к соглашениям об уровне обслуживания, необходимость обеспечения высокой готовности, непрерывности ведения бизнеса и удовлетворения критически важных потребностей предприятия. В 2014 году бум экосистемы Hadoop ознаменовался распространением новых приложений, инструментов и компонентов. В 2015 году рынок сконцентрируется на различиях между платформами и на архитектуре, которая нужна для достижения желаемых результатов для бизнеса».