В организации Apache Software Foundation объявили о выходе первого готового к рабочему применению релиза Spark — программного механизма, позволяющего выполнять некоторые задачи анализа данных в Hadoop Distributed File System в сто раз быстрее стандартного MapReduce. Помимо скорости, Spark обещает более высокую стабильность, чем ориентированные на поточную обработку фреймворки реального времени наподобие Twitter Storm. С помощью Spark можно выполнять непрерывный анализ данных, поступающих в прямом эфире, а также с помощью вспомогательной библиотеки решать вычислительно-сложные задачи, связанные с машинным обучением и обработкой графов. Задачи Spark можно программировать на Java, Scala и Python. С версией 1.0 предлагается стабильный интерфейс программирования для взаимодействия со Spark и компонент Spark SQL для опроса структурированных данных.
Spark входит в дистрибутивы Hadoop от компаний Cloudera, Pivotal, IBM, Intel и MapR. Основанная разработчиками Spark компания Databricks предлагает платные услуги поддержки системы.