Проблема Больших Данных

22 марта в Москве издательством «Открытые системы» был проведен форум Big Data 2012 — первое в России крупное мероприятие, собравшее более 400 слушателей и посвященное теме стремительного роста объемов данных и новому поколению решений, разработанных для экономичного извлечения результатов из больших объемов данных различных типов. Во многих компаниях появляются новые источники данных: системы CRM, RFID, мобильные устройства, спутниковые навигационные системы. Стремительно увеличиваются потоки неструктурированной информации, в том числе мультимедийной, и при этом большинство организаций не обладает ни техническими возможностями работы с Большими Данными, ни умением управлять ими. Признаки наличия проблемы с обработкой данных выглядят следующим образом: объем данных в организации превышает физические возможности вертикального масштабирования ее ИТ-инфраструктуры; требуется высокая скорость обработки значительных объемов данных; имеется большое разнообразие форматов данных либо вариантов их интерпретации и анализа; наблюдается очень быстрый рост затрат на хранение и обработку данных. Во всех перечисленных случаях организациям приходится искать новые подходы к хранению, обработке и анализу данных.

В качестве примеров прикладных задач, при решении которых может возникнуть проблема Больших Данных, Вячеслав Архаров, менеджер по развитию бизнеса платформы приложений российского представительства Microsoft, назвал оценку рисков, борьбу с «отмыванием денег», анализ трендов и прогнозирование в финансовом секторе; анализ обращений, веб-аналитику (в том числе в социальных сетях), анализ рекламы, анализ изображений в средствах массовой информации и интернет-контента; анализ поведения заказчиков и анализ продаж товаров и услуг, в том числе через Интернет; защиту от мошеннических действий в онлайн-играх; различные задачи сферы национальной безопасности; генетические исследования в фармацевтике, а также исследования в интересах науки и образования.