NAND против DRAM

В твердотельных SSD-накопителях корпоративного класса обычно используется технология флеш-памяти NAND, хотя иногда даже в хранилище данных применяются модули памяти DRAM, а некоторые компании пытаются комбинировать в своих системных архитектурах обе технологии.

Во флеш-памяти NAND применяется логический элемент NOT AND и, как и во многих других типах памяти, данные хранятся в массиве ячеек, где каждая ячейка содержит один или несколько битов данных. Динамическая оперативная память (Dynamic Random Access Memory, DRAM) — один из видов энергозависимой полупроводниковой памяти с произвольным доступом (RAM) — наиболее широко используется в качестве ОЗУ современных компьютеров.

В Micron Technology ожидают, что рынок памяти в ближайшие три-пять лет будет расти в 2,5 раза быстрее, чем остальная часть полупроводниковой промышленности. Но, если проанализировать историю роста продаж микросхем памяти (см. рис. 1), можно увидеть, что за каждым пиком следовал резкий спад, хотя глубина спада сокращалась с каждым новым циклом, поскольку рынок консолидировался, а спрос на память диверсифицировался — от ПК до смартфонов. По мере дальнейшей диверсификации этот рынок станет менее изменчивым.

Рис. 1. Динамика продаж модулей памяти очень неустойчива, однако поставки памяти NAND увеличиваются стабильными темпами

Ключевые характеристики DRAM SSD и NAND SSD — производительность, долговечность и, конечно, стоимость. Но главное отличие в другом.

ЭНЕРГОЗАВИСИМОСТЬ: ПРОБЛЕМА И РЕШЕНИЯ

Одним из основных преимуществ NAND SSD является энергонезависимость, то есть данные сохраняются в памяти даже при отключении питания. DRAM таким свойством не обладает, но этот недостаток может компенсироваться наличием внешних ИБП или встроенной батареи, которой оснащаются некоторые системы и даже платы DRAM.

Существует также память NVRAM, где NV (non-volatile) означает энергонезависимость. В энергонезависимом модуле с «двойной» встроенной памятью NVDIMM объединены флеш-память и DRAM. При сбое питания конденсатор позволяет скопировать данные из DRAM во флеш-память модуля, а после восстановления нормального режима работы данные копируются обратно в DRAM.

Например, в модулях Micron NVDIMM-N (см. рис. 2) на планке находится процессор FPGA, копирующий данные в память SLC NAND в случае сбоя питания, которое при этом обеспечивается суперконденсатором.

Рис. 2. В 2017 году компания Micron представила модули NVDIMM-N емкостью 32 Гбайт. Они работают на частоте DDR4-2933 и представляют собой комбинацию ECC DRAM и NAND. Последняя служит только для резервирования данных

Объединение DRAM с конденсатором и флеш-памятью может привести к созданию эффективной кеш-памяти для записи данных или высоконадежной серверной памяти, выдерживающей отказы питания. Концептуально и архитектурно эти хранилища хорошо сочетаются с другими энергонезависимыми накопителями — жесткими дисками HDD (см. рис. 3).

Рис. 3. NAND заполняет пробел между HDD и DRAM

Такие модули памяти, получившие название NVDIMM-N, могут найти применение в серверах баз данных и файловых хранилищах. В модулях NVDIMM-F используется только память NAND, и хотя производительность у них ниже, они энергонезависимы «по умолчанию» и сохраняют данные в случае сбоя питания без каких-либо дополнительных технических решений.

ПРОИЗВОДИТЕЛЬНОСТЬ

DRAM, будучи основной технологией оперативной памяти, обладает сбалансированной производительностью чтения/записи и заметно превосходит по этому параметру флеш-память NAND, особенно при операциях записи. Однако и стоимость DRAM значительно выше.

SD на базе NAND отлично подходит для ориентированных на чтение приложений, обеспечивая высокую скорость ввода-вывода в IOPS, но обладают более низкой производительностью при записи. Это связано с тем, что для записи нового блока данных требуется полностью удалить прежний блок.

Тем не менее производительность записи у накопителей NAND все же значительно выше, чем у механичес-ких дисков, а разработчики устройств NAND потратили немало сил и средств на совершенствование алгоритмов оптимизации записи. Кроме того, сравнивать технологии имеет смысл в применении к конкретным приложениям.

ДОЛГОВЕЧНОСТЬ

Срок службы флеш-памяти NAND следует оценивать не по времени эксплуатации, а по числу выполненных операций. В результате стирания и записи данных происходит ее постепенная деградация на уровне отдельных ячеек, что влияет на общую производительность и доступную емкость устройства. Если потребительские накопители NAND рассчитаны на 3000–10000 операций записи, то флеш-накопители корпоративного класса выдерживают до 100 000 циклов. DRAM работает в 100 раз быстрее NAND и служит в 100 раз дольше.

Итак, в отличие от DRAM, флеш-память довольно быстро изнашивается при интенсивном использовании. Иногда накопители изначально имеют большую емкость, чем заявляют вендоры, что помогает компенсировать падение производительности и емкости. А для снижения темпов деградации применяются все более сложные алгоритмы записи.

Память DRAM тоже подвержена аппаратным сбоям, и для их компенсации или исправления используются проверенные временем методологии. У DRAM нет ресурса записи, но со временем и она деградирует. Ошибки могут быть вызваны большим количеством факторов, включая перегрев, длительный срок использования, дефекты и т.?д.

Как показало одно из исследований ошибок памяти DRAM, проведенное в полевых условиях, у почти трети всех машин и более 8% модулей DIMM была зафиксирована по крайней мере одна исправимая ошибка в год («DRAM errors in the wild: a large-scale field study»). На некоторых платформах почти у половины систем возникали исправимые ошибки, хотя в среднем только около 1,3% систем были подвержены неисправимым ошибкам (для некоторых этот показатель составлял 2–4%).

На выручку приходит технология коррекции ошибок и их обнаружения. Наиболее распространенный вариант — память с исправлением ошибок (Error-Correcting Code, ECC). Другой вариант — Dell Reliable Memory Technology PRO (RMT PRO) — по своей концепции похож на технологию коррекции ошибок жесткого диска. Он позволяет выявить неисправимые ошибки и многобитовые исправимые ошибки в модуле DIMM и устранить проблему. При перезагрузке RMT PRO помечает дефектную часть отдельного модуля DIMM, сообщает о дефекте и местоположении сбойного участка DIMM в BIOS, удаляет эти плохие ячейки и небольшое количество соседних ячеек из пула используемой системной памяти.

Что же долговечнее — DRAM или NAND? Для обоих продуктов гарантируется работа в течение многих лет. Многие производители NAND предос-тавляют пятилетние гарантии, некоторые — до 10 лет. Отдельные накопители на основе DRAM имеют аналогичные характеристики. Трудно выделить здесь какое-либо существенное отличие.

СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Обычно поставщики специализируются на устройствах DRAM или NAND, но некоторые вендоры начинают предлагать и то и другое. DRAM чаще всего позиционируется как кеш-память высокой производительности или как первый (самый быстрый) уровень в системах многоуровневого хранения данных (тиринга).

В гибридных пулах хранения NAND дополняет DRAM. Программное обеспечение автоматического тиринга может динамически перемещать «горячие» данные на быстрые (и более дорогие) устройства SSD с более медленных (зато более емких и относительно дешевых) жестких дисков (см. рис. 4).

Рис. 4. SSD NAND дополняют HDD и позволяют оптимизировать производительность / стоимость хранения при использовании алгоритмов автоматического размещения данных

Аналитики считают, что эта твердотельная память, скорее всего, будет востребована в центрах обработки данных. Рост объемов транзакций, облачные вычисления, аналитика Больших Данных и рабочие нагрузки следующего поколения потребуют увеличения производительности. Поэтому данная технология окажется особенно полезной для ЦОД и в меньшей степени — для ПК.

Флеш-память NAND будет использоваться для хранения потоковых данных, для пакетной обработки, задач аналитики с системами управления базами данных. Это потребует удлинения очереди — примерно до 32 ожидающих выполнения операции чтения/записи или больше.

Спрос на память DRAM и NAND подстегивается выпуском новых моделей смартфонов, быстро набравшим популярность майнингом криптовалют, анонсами новых процессоров от AMD и Intel, а также новых ПК на их основе, что ведет к росту цен. Впрочем, они могут стабилизироваться благодаря дополнительному производству микросхем, которое начали в этом году Samsung и SK Hynix.

Большинство ИТ-организаций могут с выгодой использовать комбинацию DRAM и NAND исходя из архитектурной целесообразности и стоимости решения (см. рис. 5). Тем не менее, чтобы оптимизировать развертывание DRAM и NAND, полезно разобраться, чем различаются эти продукты, и оценить их перспективы.

Рис. 5. Еще в 2004 году стоимость NAND сравнялась со стоимостью DRAM и до недавнего времени продолжала снижаться

ПЕРСПЕКТИВЫ 3D NAND

Оба типа памяти продолжают развиваться: разработчики DRAM увеличивают емкость и тактовую частоту модулей памяти, а производители NAND переходят к объемной компоновке (3D NAND).

Так, Intel и Micron уже налаживают производство 64-слойной памяти 3D NAND, а также продолжают совместную разработку и производство энергонезависимой памяти 3D XPoint, что может повысить ее конкурентоспособность. Память NAND 3D XPoint, анонсированную компаниями Intel и Micron в 2015 году, выпускает их совместное предприятие IM Flash Technologies (см. таблицу).

Сравнение NAND и 3D XPoint

3D XPoint обладает большей производительностью и долговечностью, чем NAND, и занимает промежуточную позицию между DRAM и NAND (см. таблицу). Появление 3D XPoint не приведет к повсеместной замене DRAM в серверах, но позволит сократить расходы благодаря замене части оперативной памяти, а также увеличить производительность твердотельных накопителей NAND.

Если в настоящее время стоимость DRAM составляет примерно 5 долларов за гигабайт, то NAND — около 25 центов. По данным Gartner, 3D XPoint будет стоить около 2,40 доллара за гигабайт для крупных партий, то есть намного дороже NAND, и такое положение дел сохранится по крайней мере до 2021 года.

Intel и Micron не сообщают подробностей о применяемой технологии. Предполагается, что 3D XPoint — это тип памяти с фазовым переходом (PCM), поскольку Micron уже разрабатывала такую технологию (со схожими свойствами).

Технология 3D XPoint обеспечивает до 10 раз большую производительность по сравнению с «обычной» NAND (при использовании интерфейса PCIe/NVMe), при этом она до 1000 раз долговечнее: выдерживает более миллиона циклов записи, что по сути означает пожизненную гарантию.

Для сравнения, сегодняшняя память NAND рассчитана на 3–10 тыс. циклов стирания-записи. С помощью програм-много обеспечения для оценки износа и исправления ошибок число циклов можно увеличить, но миллион циклов записи все равно пока недостижим.

Малая задержка 3D XPoint (в тысячу раз меньше, чем у накопителей NAND) позволяет применять созданные на основе данной технологи продукты для выполнения задач, характеризующихся высокой нагрузкой ввода-вывода,?— например, в системах обработки транзакций (см. рис. 6).

Рис. 6. Комбинирование разных видов памяти / технологий хранения данных и получаемая в результате задержка в микросекундах

3D XPoint призвана заполнить пробел в иерархии памяти и хранилищ данных для ЦОД, которая включает в себя SRAM (кеш-память на процессоре), DRAM (оперативная память), NAND (SSD), жесткие диски, магнитную ленту и оптические диски. Она занимает промежуточное место между DRAM и энергонезависимой флеш-памятью NAND.

Intel называет свою версию технологии 3D XPoint памятью Optane (см. рис. 7). Optane предназначена для обслуживания самых «горячих» данных в иерархии хранения или даже для увеличения емкости оперативной памяти. Например, ее можно применять для анализа в реальном времени текущих наборов данных или хранения и обновления записей.

Рис. 7. В DC P4800X, первом SSD корпоративного класса от Intel, основанном на технологии 3D XPoint, используется интерфейс PCIe NVMe 3.0 x4

В 2017 году Intel начала поставлять продукты на базе новой технологии: модуль Intel Optane для ПК на 16/32 Гбайт и модуль Intel Optane SSD DC P4800X на 375 Гбайт. Этот первый 3D XPoint SSD может выполнять до 550 тыс. операций ввода-вывода в секунду (IOPS) при чтении и 500 тыс. IOPS при записи с глубиной очереди 16 или менее. Как и DRAM, 3D XPoint поддерживает байтовую адресацию, в то время как в NAND адресация происходит на уровне блока (см. рис. 8).

Рис. 8. Модуль с памятью 3D XPoint от Intel применяется в качестве кеш-памяти для ускорения работы компьютеров с накопителями SATA

По мнению аналитиков IDC, внедрение 3D XPoint в качестве нового уровня хранения данных является крупным технологическим прорывом, одним из наиболее важных с момента появления масштабных облачных ЦОД. Между тем, согласно Intel, продукты на базе Optane с успехом могут применяться не только в центрах обработки данных, но и в настольных компьютерах для ускорения доступа к данным.

Модуль Intel Optane для ПК, выполняя функции кеш-памяти, поможет повысить скорость работы любого устройства хранения SATA на платформе Intel Core i 7-го поколения. Intel утверждает, что он вдвое сокращает время загрузки ПК и повышает общую производительность системы на 28%.

DC P4800 наиболее эффективен в приложениях с произвольными операциями чтения-записи и в этом случае выступает в роли расширения серверной памяти DRAM. Optane показывает себя с лучшей стороны при произвольном чтении и записи.

Стоимость DC P4800 SSD емкостью 375 Гбайт в пересчете на 1 Гбайт составляет около 4,05 доллара. Скорость чтения у данного устройства — 550 тыс. IOPS с использованием блоков 4K с глубиной очереди 16. Скорость последовательного чтения-записи — до 2,4 и 2 Гбайт/с соответственно.

Для сравнения, твердотельный накопитель на базе NAND, например Intel DC P3700 емкостью 400 Гбайт, продается за 645 долларов, то есть стоимость за 1 Гбайт составляет 1,61 доллара. P3700 обеспечивает скорость чтения блоками 4K до 450 тыс. IOPS при глубине очереди до 128 для последовательного чтения/записи (до 2,8 и 1,9 Гбайт/с соответственно).

У Intel 3D XPoint Optane SSD задержка при чтении/записи составляет менее 10 мкс, что намного ниже, чем у многих твердотельных накопителей на основе NAND, для которых этот показатель находится в диапазоне от 30 до 100 мкс. Intel рассматривает два основных варианта использования Optane DC P4800X (см. рис. 9).

Рис. 9. Intel DC P4800X имеет емкость 375 Гбайт и обладает гораздо меньшими задержками, чем NAND

В планах Intel — выпуск Optane SSD емкостью 750 Гбайт и 1,5 Тбайт с интерфейсами PCIе/NVMe и U.2, а кроме того, компания планирует поставлять Optane в виде модулей DIMM в стиле DRAM.

Ранее иерархия памяти представляла собой следующую последовательность: кеш-память, основная оперативная память и диск. Жесткие диски всегда были самой большой проблемой при таком подходе: задержки при доступе к ним измеряются в миллисекундах, что на несколько порядков выше, чем у DRAM. Задержки у флеш-памяти NAND значительно ниже, чем у жестких дисков, но между NAND и DRAM все же существует значительный разрыв. Память Intel Optane может заполнить пробел между DRAM и NAND подобно тому, как NAND занимает промежуточное положение между DRAM и обычным жестким диском в современной системе.

Другое преимущество Optane — обеспечение схожей производительности при разной глубине очереди. SSD, как правило, работают тем быстрее, чем больше глубина очереди.

Компания Micron тоже намерена постепенно наращивать продажи своего продукта QuantX и перейти к массовому выпуску в 2019 году. Она позиционирует SSD-накопители QuantX как продукты для центров обработки данных, однако разрабатывает и 3D NAND потребительского класса. Для конечного пользователя это означает возможность анализировать больше данных и делать это в режиме реального времени.

По мере роста продаж 3D XPoint и увеличения масштабов производства эти накопители могут частично вытеснить модули DRAM. Их можно применять для кеширования записи или как замену/расширение оперативной памяти. К тому же для некоторых рабочих нагрузок важна не столько скорость доступа, сколько возможность хранить в памяти огромные объемы данных.

Micron объявила, что плотность памяти XPoint в десять раз выше, чем у коммерческих продуктов DRAM. Это справедливо, если сравнивать ее с продуктами DRAM класса 30 нм, поскольку у большинства таких продуктов крупных производителей DRAM плотность памяти составляет 0,06 Гбайт/мм2. У первого коммерческого продукта XPoint плотность памяти в три раза больше, чем у Samsung 1x DRAM, или в шесть раз больше, чем у Micron 20 нм DRAM.

Gartner прогнозирует, что технологию 3D XPoint начнут массово применять в центрах обработки данных уже в конце 2018 года. Экосистему ЦОД придется адаптировать к новой памяти, включая новые наборы микросхем и приложения.

НОВИНКИ И ПЛАНЫ

Последние версии 3D NAND содержат до 72 слоев флеш-памяти, и производители уже проектируют продукты с 96 слоями (они могут появиться в текущем году), а затем и 128 слоями. Кроме того, ожидается, что 3-разрядные ячейки (TLC) NAND заменят на 4 разрядные (QLC). Это позволит увеличить плотность памяти и снизить производственные затраты.

Год назад китайская компания Yangtze Memory Technologies объявила о планах запустить с 2018 года производство микросхем DRAM с техпроцессом 18–20 нм и 32-, а затем и 64-слойных модулей памяти 3D NAND. Это позволит ей составить конкуренцию Micron, Samsung и SK Hynix. К 2025 году в КНР планируется расширить производственные мощнос-ти для изготовления модулей памяти. Увеличить выпуск 64-слойной памяти NAND намерена и компания Toshiba. SK Hynix переходит с производства 48-слойной NAND на 72-слойную.

K Hynix анонсировала завершение разработки твердотельных накопителей SATA емкостью до 4 Тбайт, где применяются микросхемы памяти 3D NAND емкостью 512 Гбайт, состоящей из 72 слоев. Скорость последовательного чтения в новых SSD достигает 560 Мбайт/с, а записи — 515 Мбайт/с. При произвольном доступе скорость чтения может составлять 98 тыс., а записи — 32 тыс. IOPS. Кроме того, компания разрабатывает PCIe SSD на базе 72-слойной памяти емкостью более 1 Тбайт. Их характеристики — 2700/1100 Мбайт/с при последовательных операциях и 230/350 тыс. IOPS при произвольном доступе для чтения/записи соответственно.

В феврале и российская GS Group объявила о начале серийного выпуска SSD в Калининградской области. Как заявлено, эти 2,5-дюймовые накопители SATA построены на базе флеш-памяти 3D NAND ведущих производителей. До конца года планируется расширить линейку SSD за счет моделей емкостью до 1 Тбайт. Первая — емкостью 256 Гбайт — имеет скорость последовательного чтения и записи 550 и 450 Мбайт/с соответственно. И это лишь некоторые из последних новинок (см. рис. 10). Их появлению способствует высокий спрос со стороны производителей смартфонов и серверов для ЦОД.

Рис. 10. Компания Patriot недавно выпустила накопители NVMe SSD на новом контроллере Phison E12, поддерживающем до восьми каналов NAND и интерфейс PCIe 3.0 x4. В основе новинки — 64-слойная память BICS 3D NAND от Toshiba. Емкость ее Viper SSD составляет от 240 Гбайт до 2 Тбайт. Производительность при последовательном чтении — 3200 Мбайт/с, последовательной записи — 3000 Мбайт/с, а при произвольном чтении и записи — 600K IOPS

Модули памяти DRAM от Samsung производятся по техпроцессу 18 нм. Micron и SK Hynix планируют внедрить технологические нормы 10 нм, однако на этом пути предстоит преодолеть немало препятствий. Тем временем Samsung уже осваивает техпроцесс 7 нм.

amsung Electronics остается лидером рынка флеш-памяти. В этом году она нацелена на ускоренный запуск продуктов NAND с высокой плотностью памяти, расширение поставок емких накопителей в сегменте устройств начального и среднего уровней, а также накопителей корпоративного класса с интерфейсами PCIe и NVMe.

Второе место занимает Toshiba, которая сосредоточилась на поставках твердотельных накопителей с интерфейсом PCIe. Компания намерена увеличивать выпуск флеш-памяти NAND и наращивать мощности для производства 64-слойных микросхем 3D NAND.

За лидерами следуют Western Digital, Micron, SK Hynix и Intel. Все они успешно наращивают продажи и развивают производство по выпуску микросхем памяти 3D NAND.

При этом развитие обычной флеш-памяти NAND продолжится как минимум до 2025 года. Технологии флеш-памяти эволюционируют столь быстрыми темпами, что кардинально меняется вся концепция хранения (см. статью Дмитрия Ганьжи «Время флеша, или На пути к универсальной памяти» в мартовском номере «Журнала сетевых решений/LAN» за 2017 год). «Главным героем» этих изменений стала флеш-память NAND.

Появление высокоскоростных энергонезависимых устройств хранения класса Storage Class Memory (SCM) затронет все уровни инфраструктурного стека. Использование памяти различного типа может быть оправданным при создании многоуровневых архитектур хранения, а также для хранения часто запрашиваемых «горячих» данных в ЦОД.

Сергей Орлов, независимый эксперт