Графы могут достигать терабайтных размеров, а для их обработки сегодня обычно используются серверные кластеры с большим объемом оперативной памяти. В МТИ объявили о разработке системы, в которой для анализа графов вместо DRAM используется недорогая флеш-память. «Движком» решения стал алгоритм, сортирующий обращения к графу и размещающий их во флеш-памяти в таком порядке, чтобы к ним можно было осуществлять доступ максимально быстро. Кроме того, для снижения непроизводительных издержек некоторые запросы объединяются. Сам алгоритм требует большой вычислительной мощности, но для его выполнения ученые создали аппаратный ускоритель, размещенный на плате вместе с флеш-памятью.

Исследователи протестировали систему на графе Web Data Commons, включающем данные по 3,5 млрд веб-страниц и 128 млрд гиперссылок. Для обработки графа традиционным образом потребовался сервер стоимостью в тысячи долларов со 128 Гбайт оперативной памяти. Той же производительности удалось достичь после подключения двух ускорителей с 1 Гбайт DRAM и 1 Тбайт флеш-памяти к обычному настольному компьютеру. В дальнейшем исследователи планируют создать программно-аппаратную платформу, которая позволит с помощью несложных программ на обычных ноутбуках обрабатывать большие данные с производительностью на уровне серверов корпоративного класса.

Источник: MIT