.png "Дмитрий Волков")
Третья платформа, на пороге которой индустрия ИТ оказалась два-три года назад, сегодня — уже реальность. Остались позади мэйнфреймы и мини-компьютеры с их миллионами пользователей и тысячами приложений, уходят ПК и конфигурации клиент-сервер с сотнями миллионов пользователей и десятками тысяч приложений. А для технологий — СУБД в памяти, закат господства реляционных СУБД, повсеместное распространение Hadoop-кластеров, обработка данных в реальном времени для удовлетворения, например, запросов миллиардов умных устройств.
В отличие от пользователей двух предыдущих платформ, новое поколение не будет мириться ни с пакетным режимом обработки, ни со сбоями систем — ему требуется доступ к информации в любое время в любом месте и с гарантированным уровнем обслуживания. Вряд ли стоило говорить о появлении качественно новой платформы, если можно было бы обеспечить эти требования, опираясь только на известные технологии. Как отмечает Наталья Дубова в этом номере журнала, посвященном технологиям третьей платформы, индустрия ИТ вступает в фазу инноваций, характеризуемую появлением новой волны ключевых технологий и интеграцией различных технологических направлений, материализующих такие явления, как быстрые данные, «умные» вещи и повсеместная аналитика реального времени, — сегодня практически каждое приложение можно считать аналитическим.
Быстрая обработка данных для осуществления повсеместных вычислений требует компьютеров, построенных на новых архитектурах, которые позволяют достигать экзафлопсной производительности и, как отмечается в статье Виктора Корнеева, обеспечивать эффективное потоковое выполнение программ. В основе компьютеров третьей платформы должна лежать модель программирования, учитывающая все нюансы параллельных конфигураций и детально синхронизирующая параллельные потоки. Сегодня происходит смена как парадигмы высокопроизводительных вычислений, так и парадигмы программирования, что напоминает переход с первой на вторую платформу ИТ, когда векторно-конвейерные конфигурации были заменены массово-параллельными на базе передачи сообщений. Освоение такой парадигмы позволит повысить эффективность существующих компьютеров и создать масштабируемые программы для будущих поколений компьютеров третьей платформы, сократив затраты на подготовку пользователей и разработчиков.
Мультипотоковый доступ и мультиарендная дисциплина работы облачных приложений, обслуживающих миллиарды устройств Интернета вещей, заставляют пересматривать даже такие еще совсем молодые технологии работы с Большими Данными, как MapReduce. Действительно, MapReduce имеет дело только с данными постоянного хранения, поэтому говорить про обработку «на лету» уже не приходится, как и про итерационные вычисления и интерактивный анализ. Как отмечают авторы статьи «Новые инструменты Hadoop», аналогичная ситуация складывается и с экосистемой Hadoop, обретающей черты полнофункциональной системы для горизонтально масштабируемой обработки данных, работающей с интерактивными и поточными динамическими нагрузками, характерными именно для задач эпохи третьей платформы. И снова здесь можно проследить аналогию между эволюцией экосистемы Hadoop, взявшей курс на роль фактического стандарта в мире распределенной обработки, и сменой предыдущих платформ, когда от пакетного режима программная индустрия двинулась к интерактивным и далее к многозадачным распределенным системам.
Инфраструктуры обработки глобально распределенных данных также возникли в недрах второй платформы для решения трудоемких научных задач. Снижение стоимости вычислительных элементов, средств хранения и повышение пропускной способности сетей сделали распределенную обработку общедоступной, однако, по мнению авторов статьи «Проблемы и решения распределенной обработки», критичным стал выбор программной базы, позволяющей построить надежную инфраструктуру работы с Большими Данными, разбросанными по множеству вычислительных узлов.
Кроме распределенности и объемов, данные третьей платформы в своей основной массе еще и неструктурированные, как, например, записи на естественных языках в социальных сетях. Для третьей платформы характерно повышенное внимание к проблеме автоматической обработки текстов, однако на сегодняшний день нет единого подхода к ее решению. Подавляющее большинство программ способны обрабатывать тексты лишь на одном-двух естественных языках, прежде всего на английском, а решений по работе с русским почти нет. В статье «Система автоматической обработки русскоязычных текстов» описывается программа анализа неструктурированных текстов из отечественных СМИ.
Переход на третью платформу иногда сравнивают с тектоническим сдвигом в индустрии, создающим новый мир возможностей и конкурентную угрозу для бизнеса в любой отрасли экономики. Как бы то ни было, это чрезвычайно серьезный вызов всем игрокам рынка, и то, как они в ближайшее время отреагируют на новые требования, определит их судьбу на десятилетия вперед.
