Компания Cray выпустила программные пакеты, упрощающие процессы развертывания платформы распределенных вычислений Hadoop и исполнения задач MapReduce на своих суперкомпьютерах XC30. В состав пакетов Cray Framework for Hadoop и Cray Performance Pack for Hadoop входит набор инструментальных средств, помогающих сконфигурировать и оптимизировать XC30 для решения с помощью Hadoop научных задач, требующих обработки Больших Данных.
Хотя основное применение суперкомпьютеров — параллельная обработка огромных наборов данных, платформа Hadoop на сегодня еще не получила широкого применения в научном сообществе из-за своих архитектурных особенностей. Для ускорения решения научных задач на суперкомпьютерах используются параллельные файловые системы и быстрые межсоединения — ни то ни другое для развертывания Hadoop не характерно. Суперкомпьютерные рабочие задачи также отличаются более сложным потоком операций, включающим в себя вычисления и аналитику. Пакеты для XC30 устранят эти несоответствия, позволив получить максимум вычислительной мощи для задач Hadoop, обещают в Cray. Обновление для Performance Pack, которое выйдет в начале 2014 года, позволит XC30 оптимизировать использование для задач Hadoop файловой системы Lustre и межсоединения Aries.
