Анализ данных приносит предприятиям большую выгоду — аналитика применяется во многих видах деятельности для помощи в принятии стратегических и тактических решений: в продажах, маркетинге, распознавании фактов мошенничества, управлении рисками, поддержке клиентов и т. п. До недавнего времени мощные системы аналитики, предназначенные для работы с Большими Данными, были слишком дороги, сложны и ресурсоемки для малых компаний, однако облака сделали большую аналитику доступной и для этой категории компаний.
Как отмечают эксперты IDC, рынок Больших Данных ежегодно расширяется на 40%, и ожидается, что за период с 2010 по 2015 год его оборот вырастет с 3,2 млрд до 17,2 млрд долл. Аналитики Deloitte Touche Tohmatsu предсказывают, что уже в 2013 году около 90% компаний из Fortune 500 начнут реализовывать проекты в области Больших Данных. Исследование, проведенное в 2012 году IBM и журналом The Economist, показало, что у компаний, использующих аналитику, доходы выше, чем у остальных, причем малым и средним организациям аналитика могла бы принести не меньшую пользу, чем крупным. Такие предприятия не справляются с обработкой всех своих данных, объем которых, по сведениям Aberdeen Group, ежегодно увеличивается на 62%, но так как у мелких организаций нет возможности пользоваться мощными аналитическими системами, они не могут извлечь максимум пользы из имеющейся информации.
Главные сдерживающие факторы на пути внедрения большой аналитики для малых компаний — это высокая стоимость и нехватка квалифицированного персонала. Кроме того, в большинстве таких компаний нет необходимой серверной, программной и сетевой инфраструктуры для обработки Больших Данных. Но теперь, благодаря появлению приложений, работающих на мобильных устройствах, у многих организаций впервые появилась возможность пользоваться большими аналитическими системами.
Аналитика по-крупному
Для систем Больших Данных обычно требуется большой штат ИТ-специалистов, много дорогостоящих серверов, сложное в настройке и сопровождении программное обеспечение, а для обработки Больших Данных, как правило, используются специализированные языки программирования, такие как Apache HiveQL, R и Python. Еще одна сложность состоит в том, что большая аналитика приносит максимум пользы, когда ее применяют для исследования множества видов информации из разных источников, поэтому, чтобы получить оптимальные результаты, приходится покупать сразу несколько систем, например для работы со структурированными и неструктурированными данными. Специалистов с необходимым набором навыков на рынке мало, и они требуют больших зарплат.
Стандартный инструментарий большой аналитики — Apache Hadoop, система с открытым кодом, основанная на модели программирования MapReduce, которая позволяет разбивать большие сложные задания на малые подзадачи. Hadoop пользуется мощью кластеров, построенных из стандартных серверов, для решения задач, требующих масштабирования как по производительности, так и по системам хранения данных. Обширная инфраструктура систем хранения и аналитики Hadoop дорога и сложна в настройке, а ее сопровождение требует специальных навыков. Кроме того, для большинства программистов интерфейсы программирования Hadoop трудны в использовании, для них нет развитых инструментов внедрения, управления и мониторинга, поэтому крупные компании иногда самостоятельно создают сложные аналитические инструменты анализа данных.
Все вместе это привело к тому, что до сих пор большая аналитика оставалась уделом лишь крупных организаций.
Аналитика для всех
Малые компании могут использовать большую аналитику многими способами, например, для сбора информации о потенциальных заказчиках. Менеджеры по маркетингу небольших магазинов, которым необходимо повысить продажи, могут с помощью аналитики определять наиболее эффективные рекламные кампании и готовить предложения, адресованные конкретным заказчикам. Менеджеры по продуктам и другие руководители, отвечающие за сохранение клиентуры, могут прогнозировать риски перехода заказчиков к другим компаниям и выбирать акции, которые позволили бы сохранить лояльность. В малых компаниях можно также анализировать ИТ-затраты, чтобы избежать лишних расходов на неиспользуемые ресурсы или ненужное дублирование.
Благодаря облакам большая аналитика стала доступной и для малых предприятий — все необходимые для работы с Большими Данными инфраструктурные ресурсы находятся у сервис-провайдеров. Пользователи могут накапливать данные на своих недорогих системах хранения и периодически отправлять сервис-провайдерам, а для работы с готовыми облачными сервисами решения аналитических задач не требуются штатные аналитики — через стандартные протоколы компании подключаются к готовым сервисам через уже существующие у них системы.
Программный подход
Сегодня компания Suvola и ряд других предлагают интегрированные аналитические системы, дающие возможность малым организациям приобретать доступные по цене решения, для которых продавец предоставляет услуги сопровождения и поддержки. Помимо этого, сегодня разработчики создают средства большой аналитики и иное ПО, способное работать на мобильных устройствах. В отличие от настольного ПО, рассчитанного на большие экраны с множеством позиций меню, мобильные приложения проектируются так, чтобы отображать лишь самую нужную часть доступной информации и набор опций, зависящий от текущих действий пользователя. В результате сегодня появились аналитические приложения, способные работать на небольших серверных системах, смартфонах и планшетах.
Среди разработчиков, предлагающих аналитические приложения для малых организаций, есть как крупные игроки — IBM, Oracle, SAP и SAS, так и малые — например, QlickTech, Tableau Software и Tidemark. Компания Continuuity предлагает набор инструментов на Java, упрощающих разработку приложений большой аналитики, их тестирование и развертывание. Один из ее продуктов — платформа AppFabric, которая позволяет следить за работой приложений и управлять ими.
Облачный подход
В компании, работающей с облачными сервисами аналитики, либо самостоятельно загружают в них данные, либо это делается автоматически, когда сервис подключен к корпоративному сайту или бизнес-системам. Например, аналитический сервис компании GoodData напрямую связывается с работающей у заказчика программной системой поддержки клиентов Zendesk, используя соответствующие API и данные идентификации. В малых компаниях до недавнего времени настороженно относились к аналитическим сервисам, но сейчас и расценки начинают опускаться до приемлемых, и спектр сервисов существенно расширился. Раньше малым компаниям передавать большие объемы данных по сетям было сложно, как и провайдерам было дорого возвращать результаты аналитической обработки, но благодаря более быстрым сетям и процессорам ситуация исправляется. Сегодня в число провайдеров облачных сервисов большой аналитики входят такие компании, как Amazon, BigML, Cloudability, CloudVertical, Cloudyn, Continuuity, BigML, IsightsOne, Newvem, Rackspace, RightScale и Uptime Software. Компания Splunk предлагает разработку Storm — облачную версию своей системы анализа Больших Данных, которая появилась благодаря появлению надежных и доступных по цене масштабируемых облачных сервисов.
Недостатки
Компания Aberdeen провела опрос с целью выявления причин, по которым заказчики не инвестируют в технологии Больших Данных: 51% респондентов заявил, что такое ПО и сервисы слишком дороги, 40% признались в нехватке ресурсов, а 37% не видят в них необходимости для своего бизнеса. Облачные аналитические сервисы могут страдать от проблем, характерных для других облачных технологий, — это высокие цены и недостаточная масштабируемость. Помимо этого, существует предел объема данных, который могут обработать облачные аналитические системы, и для работы с терабайтными массивами может просто не хватить пропускной способности. Если у компании локально генерируются огромные объемы данных и надо извлекать из них тактические сведения в реальном времени, то нецелесообразно перемещать информацию в облако для анализа.
Еще одна проблема связана с безопасностью — во многих организациях не торопятся переносить свои рабочие данные в публичное облако, а в некоторых компаниях, особенно финансового и медицинского сектора, действуют правила, требующие, чтобы информация хранилась только на внутренних системах.
Облачные сервисы аналитики обычно рассчитаны на какую-то одну предметную область, поэтому, как правило, данные и результаты их обработки используются лишь одним департаментом компании или одним направлением бизнеса. Когда в организациях хотят делиться данными между предметными областями, то обычно для этого приходится самостоятельно разрабатывать междоменные аналитические системы, а внешние облачные сервисы нередко нельзя доcтаточно тесно интегрировать в ИТ-среду организации.
***
Со временем, учтя клиентские отзывы, разработчики сделают большую аналитику более доступной — аналитические системы смогут обрабатывать запросы, реализованные с помощью графического интерфейса или простых SQL-команд, а не методов, требующих программирования на специфических языках. Аналитики Aberdeen прогнозируют, что в обозримой перспективе автоматизированные средства интеграции обеспечат возможность быстрого доступа ко множеству источников данных, а интерактивные отчеты и информационные панели позволят легко визуализировать и исследовать большие срезы данных из разных отделов компании для обеспечения более глубокой обработки. Могут также появиться продукты, позволяющие внедрять сбор и анализ данных в повседневную бизнес-деятельность.
Множество преимуществ сулит объединение информации из многих источников, как внутри отдельных организаций, так и в рамках альянсов. Облачная аналитика, в отличие от локальной, станет стандартным выбором для малых организаций или департаментов больших компаний. Одна из потенциальных сложностей состоит в том, что малым организациям пока еще может недоставать сетевой пропускной способности для передачи информации в облако для анализа. Кроме того, многие пользователи, не являющиеся техническими специалистами, могут еще не понимать всех преимуществ аналитики или принципов ее применения, однако организации, внедрившие средства аналитики, получат конкурентные преимущества, а те, кто этого не сделает, окажутся в отстающих.
Нил Левитт (neal@leavcom.com) — президент маркетинговой компании Leavitt Communications.
