Большие Данные, Интернет вещей и облачные хранилища требуют средств виртуализации данных, которые позволяют работать с ними там, где они нужны в конкретный момент времени, комбинируя новые инструменты с уже имеющимися в компаниях программами интеграции и анализа для реализации различных сценариев обработки сколь угодно глубоких «озер» данных. Естественно, рынок отвечает на такие запросы, и, например, только сегмент средств интеграции, составивший на конец 2015 года около 3 млрд долл., стабильно растет почти на 11% ежегодно.
Изобилие типов данных и возможных срезов их исследования привело к появлению новых разнообразных сред их обработки: систем NoSQL и СУБД класса in-memory, Hadoop и архитектуры когнитивного хранения. Только различных СУБД сегодня насчитывается более 300, но ни одна из них не может поддержать всех запрашиваемых аналитиками сценариев, одновременно обеспечивая параллельное выполнение и масштабирование данных. Задачи анализа социальных сетей, например, требуют выполнения миллионов операций считывания и миллиардов операций записи в режиме реального времени, а СУБД NewSQL и Not-Only SQL, поддерживающие приложения для решения таких задач, различаются возможностями обработки массивов данных и пропускной способностью. Как разобраться в современном ландшафте СУБД, функциональность которых варьируется в широких пределах и нередко перекрывается? Что требуется для выбора решения, наилучшим образом подходящего для конкретной задачи? Авторы статьи «Ренессанс СУБД: проблема выбора», выступая в роли менеджеров по связям с реальностью, предлагают методику подбора систем управления базами данных, в наибольшей степени отвечающих конкретным потребностям.
_200.png "Дмитрий Волков")
За последние 60 лет емкость устройств хранения выросла на шесть порядков и продолжает увеличиваться. Новые типы устройств, например на базе флеш-памяти, обеспечивают повышение производительности, а средства компрессии и дедупликации данных в реальном времени позволяют строить системы хранения, эффективные для многих сценариев применения. Этого арсенала пока достаточно, чтобы справиться с экспоненциальным ростом объемов данных, но хватит ли возможностей нынешних технологий в будущем, сулящем продолжение стремительного накопленния данных и увеличение сложности систем их обработки? Рано или поздно темпы увеличения физического пространства хранения начнут отставать от темпов роста объемов данных и традиционная модель перманентного хранения всех данных упрется в нехватку ресурсов. Авторы статьи «Когнитивное хранение для Больших Данных» предлагают повысить эффективность систем хранения данных — не запоминать все подряд, а прежде разобраться в семантике данных, определить их ценность, что позволит и меньше хранить, и проще раскладывать по уровням хранения. Идея не нова, однако реальные «умные» хранилища, способные предсказать, где, что и как складировать, появляются только сейчас. Автоматически оценив соответствие данных потребностям и предпочтениям конкретной сферы применения, можно выбрать как, с каким уровнем защиты и как долго хранить информацию, что позволит добиться существенной экономии емкости хранения. Популярность разного рода когнитивных сервисов будет неуклонно расти, и к 2018 году ожидается, что половина всех разработчиков (против нескольких процентов сегодня) так или иначе будут заняты именно созданием «умных» систем, а объем рынка таких решений к 2020 году превысит 60 млрд долл.
На протяжении почти полувека реляционные СУБД играли ключевую роль во многих областях деятельности, однако современным приложениям нужна функциональность, не свойственная этим системам, — в частности, требуется возможность изменения схем хранения и поддержки многообразия типов и моделей данных. Помимо этого, СУБД должна уметь элегантно, экономично и автоматически масштабироваться. Как считают авторы статьи «Операционные СУБД NoSQL: сегодня и завтра», такие системы уже появляются и способны поддерживать мультимодельность данных. Конкуренция на рынке СУБД приведет к тому, что и разработчики продуктов NoSQL, и традиционные поставщики реляционных СУБД будут расширять круг применений своих систем, наращивая функциональность и заполняя пустые ниши. Суммарный доход от NoSQL-решений за период с 2013 по 2018 год оценивается в 14 млрд долл. — такие системы теснят крупных поставщиков реляционных СУБД, заставляя их вводить в свои решения все новые функции под угрозой потери клиентов.
Опрос, проведенный аналитиками Forrester, показал, что по состоянию на середину 2016 года около 30% CIO уже применяют СУБД NoSQL, а еще 12% планируют это сделать. Среди лидеров называют MongoDB, Amazon DynamoDB, DataStax, MarkLogic, IBM Cloudant, Couchbase, Oracle NoSQL, MapR и Redis Labs. Такой интерес объясняется возможностями СУБД NoSQL эластично масштабироваться при работе с динамическими нагрузками; поддержкой гибких схем и моделей организации разных типов данных; обеспечением экстремально высоких скоростей чтения-записи; простотой и относительно низкой стоимостью управления. Однако, чтобы системы NoSQL достигли такого же уровня надежности и зрелости, как традиционные СУБД, предстоит решить еще немало задач — например, разработать стандарты, обеспечивающие переносимость приложений и исключающие привязку к производителю. Это станет одним из показателей того, что технологиями NoSQL можно пользоваться здесь и сейчас.
