Гибридные системы хранения данных (Александр Клыга, LVEE-2018)

Короткая ссылка: 20180825A

Докладчик: Александр Клыга

The concept to create hybrid data storadge is covered.
Main approaches to implement hybrid data storage systems are reviewed as well as modern development tendencies in FOSS.

В основе создания гибридных систем хранения данных лежит принцип объединения в единое пространство хранения твердотельных и механических накопителей. В зависимости от подхода объединения дисков в массивы используется либо технология кэширования, при которой в медленным дискам добавляется кэш на быстрых флеш-дисках, либо реализуется архитектура многослойных СХД. Выбор конкретного подхода в реализации гибридных СХД определяется типом используемых накопителей, требуемыми параметрами быстродействия и надежности хранения данных. В большинстве решений программного-определяемых систем хранения данных, например, Ceph, Gluster, используется оба подхода в реализации гибридных СХД. В файловых системах, например, таких как BtrFS, Bcachefs и ZFS предпочтение отдается технологиям кэширования данных. Однако, массовое развитие производства флеш-накопителей, активное использование нового интерфейса NVM Express, и возрастающие требования к доступности данных, меняют концепцию создания гибридных СХД.
Ключевой проблемой гибридной СХД является более высокое время отклика данных по сравнение с флеш-массивами (All-Flash Array, AFA), и неоптимальное использование возможностей флеш-накопителей с интерфейсом NVM Express, но при этом они обеспечивают более низкую цену хранения данных на механических накопителях (как правило, жесткие диски большой емкости с низкой скоростью вращения шпинделя).

Видео

on youtube

Посмотрели доклад? Понравился? Напишите комментарий! Не согласны? Тем более напишите.

Презентация

Thesis

Первым вариантом создания гибридных СХД с низким временем доступа к данным является использование многоуровневой схемы организации хранения данных, где на первом уровне располагаются AFA массивы хранения, а на втором и при необходимости на третьем уровне массивы хранения данных на механических накопителях:

Гибридные системы хранения данных (Александр Клыга, LVEE-2018) 2018-08-04 21-26-42 image0.png

AFA-массивы на первом уровне (L1) при такой архитектурной реализации выступают в роли самостоятельных СХД, обеспечивающих высокую производительность для критически важных данных. По мере «остывания» данных они в режиме теневого копирования переносятся на второй уровень хранения на механических дисках с высокой скоростью вращения шпинделя. Удаление данных на первом уровне производится когда их показатель их востребовательности ниже установленного уровня определенного показателем «температуры данных», при этом при необходимости их резервная копия сохраняется на втором уровне хранения.

Данные со второго уровня хранения (L2) так же по мере «остывания» теневым копированием переносятся на третий архивный уровень (L3) на котором используются механические накопители большой емкости, но с низкой скоростью вращения шпинделя. Для хранения данных с некритичным временем доступа, в пользовательском пространстве создается точка монтирования на второй уровень (L2) СХД. Управление размещением данных на уровнях и организацией доступа к ним осуществляется с помощью контроллера SDS (software-defined storage), например, на базе решения openSDS.

Основные преимущества данного варианта создания гибридной СХД:

возможность обеспечения хранения данных с учетом требований к критичности времени доступа к данным;
на каждом уровне отдельное хранилище данных может использоваться как самостоятельно устройства с функцией централизованного управления и возможностями резервного хранения данных;
использование функционала теневого копирования для резервирования данных между отдельными хранилищами или уровнями;
единый центр управления хранением данных на базе решений FOSS.

Основные недостатки:

невозможность использования технологии тиринга между уровнями хранения данных;
высокая нагрузка на внутреннюю шину подключения хранилищ данных между уровнями из-за операций теневого копирования;
сложность создания архитектуры и настройки под заданные параметры производительности.

Вторым вариантом реализации гибридного СХД с низким временем доступа является использование возможностей накопителей с интерфейсом NVM Express, с двухуровневой схемой структурной схемой СХД с использованием технологии тиринга на первом уровне хранилища данных в массивах AFA (рисунок ниже). В основе этого варианта лежит концепция использования накопителей с интерфейсом NVM Express в качестве элементов хранения данных RAM пользователя, и основным хранилищем данных на AFA-массивах. Между двумя слоями в AFA первого уровня (L1) используется технология тиринга, когда «теплые данные из первого слоя переносятся во второй слой. Если же места для хранения данных исчерпано, либо данные стали «остывшими» они переносятся на второй уровень хранения (L2).

Гибридные системы хранения данных (Александр Клыга, LVEE-2018) 2018-08-04 21-27-12 image0.png

Этот вариант реализации гибридной СХД позволяет оптимально использовать возможности всех типов флеш-накопителей, а при необходимости возможности по хранению данных могут расширены за счет добавления новых уровней.