Кэширование в ОЗУ самого NAS-а
Даже если виртуалка под Windows или Linux занимает на диске сотни гигабайт, активно используются единицы или десятки гигабайт дискового пространства: логи и файлы баз данных, часто запрашиваемые файлы, в общем всё то, что не кэшируется в памяти самой гостевой операционной системы или приложения. Часто запрашиваемые блоки данных хранятся в ОЗУ самой Synology DSM, что мы многократно видели в синтетических тестах прямого файлового доступа. Механизм кэширования в ОЗУ лучше всего наблюдать на дисковых операциях случайного чтения.
На этой диаграмме — идеальный вариант доступа к тестовой области объёмом 16 ГБ. Почти вся она может поместиться в ОЗУ NAS-а, что и происходит в процессе теста
Обратите внимание: «раскачивается» NAS достаточно долго — около 10 минут, после чего выходит на максимальную производительность
Когда кэш заполняется, скорость чтения вырастает в 3 раза, но всё равно остаётся небольшой по меркам того, что можно выжать из ОЗУ. Имеет ли смысл добавлять SSD для операций, использующих небольшую активную область раздела, способную уместиться в памяти СХД?
SSD кэш в реализации Synology
SSD-кэш может работать в двух режимах: только чтение и чтение/запись. В первом случае вам достаточно и 1 твердотельного накопителя, а во втором случае — потребуется как минимум пара для объединения в «зеркало». Кэширующие SSD можно объединить и в более сложные массивы, в том числе RAID 5, главное чтобы для кэширования записи поддерживалась отказоустойчивость.
В текущей версии DiskStation Manager содержимое SSD кэша чтения не сохраняется после перезагрузки NAS-а. То есть, после ребута вас ждёт некий период прогрева, хотя DSM начинает пихать данные на SSD буквально с первых минут после запуска. Для кэша чтения/записи такой проблемы нет.
Повторим наш тест, для чего сначала будем использовать 1 SSD в режиме кэша чтения, а затем 2 SSD в режиме кэша чтения/записи, объединив их в зеркальный RAID 1.
Мы видим, что SSD, мягко говоря, работают-то побыстрее, и зеркальный массив дополнительно увеличивает производительность за счёт чтения с двух накопителей одновременно. Но помимо того, что кэш SSD работает быстрее, он ещё и заполняется быстрее, что хорошо видно на логарифмической диаграмме.
Получается, что NAS не нужно упрашивать сохранить данные в кэше: SSD выходят на максимальную скорость уже через 3-4 минуты, а ОЗУ — через 10-15 минут. Кроме того, SSD-кэш активнее освобождает данные и перестраивается между нагрузками, хотя на диаграммах этого не показать. Но, как говорится, только чтением жив не будешь, и очень интересно, как поведут себя кэши в паттернах VDI и SQL задач. Мы будем использовать 2 размера области теста: 16 ГБ, сопоставимую с объёмом ОЗУ и 96 ГБ, в три раза больше, чем есть памяти в NAS-е.
Там где добавляется запись, уже нужно грамотнее подходить к выбору самих SSD, учитывая, что скорее всего они будут постоянно заполнены данными, и их скорость будет отличаться от максимальной. Увеличим тестовую область в 6 раз:
Интересно, что в SQL-нагрузке при заполнении кэша снижается амплитуда колебаний производительности. Давайте сравним средние значения в разных паттернах.
Внимательные читатели заметили, что для SQL-паттерна мы не приводим диаграмму для 16-гигабайтной области раздела. Конечно, можно было бы махнуть рукой и сказать: «итак всё понятно — нужно ставить минимум 2 SSD», но мы не будем торопиться с выводами, а запустим OLTP тест в реальном приложении в виртуальной машине.
Тест Sysbench OLTP
Возьмём базу данных MariaDB в виртуалке с небольшим объёмом памяти, ну например 8 ГБ. Создадим таблицу в 50 миллионов записей с таким расчетом, чтобы её объём в 11.2 ГБ был больше ОЗУ, доступной для гостевой системы, но меньше ОЗУ NAS-а (16 ГБ) и заставим машину активно использовать диск в режиме транзакционной нагрузки, используя случайные запросы чтения. Проведём этот тест трижды: сначала виртуалка работает на хосте под VMware ESXi 6.7, подключенном по iSCSI, потом то же самое, но с NFS, а затем перенесём виртуалку в Synology Virtual Machine Manager, используя для миграции пакет Synology Active Backup for Business.
Тесты показывают, что сетевой трафик составляет 500-600 Мбит/с, но дисковая активность проявляется только в операциях записи, а значит Synology DSM одинаково хорошо кэширует и операции блочного доступа и операции файлового доступа, что не удивительно, поскольку iSCSI LUN-ы хранятся в виде файлов. Напомню, что наша тестовая RackStation RS18017xs+ имеет базовые 16 ГБ ОЗУ.
В данном случае SSD кэширование не даёт особых преимуществ из-за того, что часть виртуального диска, на котором лежит файл базы данных, легко умещается в ОЗУ NAS-а. Давайте создадим ситуацию, в которой объём базы данных сильно превышает свободную память Rackstation RS18017xs+. Увеличивать количество строк в тестовой таблице до миллиардов не получается: сильно начинает тормозить сама база данных, делая результаты не репрезентативными. Гораздо проще отнять лишнюю память у Synology DSM, для чего запустим в гипервизоре Synology VMM виртуальную машину с 12 ГБ ОЗУ, в результате под кэш останется всего около 2.5 ГБ.
И вот здесь SSD кэш сглаживает негативный эффект от нехватки памяти, хотя всё равно показатели чтения хуже, чем в предыдущем тесте. Нам нужно убедиться, что на скорость влияет именно отсутствие лишней памяти, а не гипервизор Synology VMM, для чего мы должны запустить тот же самый тест на самом NAS-е.
Переместив базу данных в гипервизор Synology VMM, нам пришлось добавить в RS18017xs+ ещё 16 ГБ памяти для того, чтобы сохранить возможность кэширования в ОЗУ NAS-а. Тесты показывают ту же производительность, что не удивительно, поскольку для всех файловых операций в СХД используется общий пул. То есть для практического использования базы данных можно вполне обойтись средствами Synology VMM, сократив количество серверов в вашей компании.
Углубляясь в настройки буферизации на уровне приложения и экспериментируя с параметром InnoDB Buffer Pool Size, я заметил, что при значениях от 1 ГБ до 6 ГБ, производительность существенно не меняется, так что выгоднее отдавать этот объём памяти NAS-у. Так поступают хостинг-провайдеры, предлагая в аренду виртуальные машины с небольшим объёмом памяти: база данных активно работает с дисковой подсистемой, в роли которой выступает СХД с SSD и большим объёмом памяти.
Причём, стоит отметить, что далеко не каждый SAN-массив имеет функцию кэширования в ОЗУ: буферизация LUN на уровне блоков — это редкая особенность, но у Synology сейчас даже iSCSI LUN-ы хранятся в виде файлов, поэтому помимо снапшотов по расписанию, DSM легко ориентируется в том, что нужно держать в памяти, а что — нет. Вот вам ещё один плюс NAS-ов перед SAN-ами.
Сравнение производительности и результаты тестов
Назад
Вперед
процент от максимально зарегистрированных результатов по всем тестам
- HDD 2 Tb SATA 6Gb/s Western Digital Red <WD20EFAX> 3.5″ 5400rpm 256Mb
- от 5 911 руб.
- 55.00%
- HDD 2 Tb SATA 6Gb/s Western Digital Purple <WD20PURZ> 3.5″ 5400rpm 64Mb
- от 5 955 руб.
- 23.10%
- HDD 2 Tb SATA 6Gb/s Western Digital Blue <WD20SPZX> 2.5″ 5400rpm 128Mb
- от 5 843 руб.
- 43.70%
- HDD 2 Tb SATA 6Gb/s Seagate SkyHawk Surveillance <ST2000VX008> 3.5″ 64Mb
- от 5 709 руб.
- 20.60%
- HDD 2 Tb SATA 6Gb/s TOSHIBA L200 <HDWL120EZSTA> 2.5″ 5400rpm 128Mb
- от 5 539 руб.
- 18.90%
- HDD 2 Tb SATA 6Gb/s Toshiba P300 <HDWD120EZSTA> (RTL) 3.5″ 7200rpm 64Mb
- от 5 507 руб.
- 22.50%
- HDD 2 Tb SATA 6Gb/s TOSHIBA L200 <HDWL120UZSVA> 2.5″ 5400rpm 128Mb
- от 5 470 руб.
- 18.60%
- HDD 2 Tb SATA 6Gb/s Seagate IronWolf NAS <ST2000VN004> 3.5″ 5900rpm 64Mb
- от 6 370 руб.
- 18.90%
- HDD 2 Tb SATA 6Gb/s Western Digital Red Plus <WD20EFZX> 3.5″ 5400rpm 128Mb
- от 6 380 руб.
- 23.60%
| # | Наименование | Рейтинг производительности | Цена (руб.) |
| 1 | HDD 2 Tb SATA 6Gb/s Western Digital Blue <WD20EZBX> 3.5″ 7200rpm 256Mb | 62.20% | от 4 568 руб. |
| 2 | HDD 6 Tb SATA 6Gb/s Western Digital Red <WD60EFAX> 3.5″ 5400rpm 256Mb | 59.70% | от 14 817 руб. |
| 3 | HDD 4 Tb SATA 6Gb/s Western Digital Red <WD40EFAX> 3.5″ 5400rpm 256Mb | 59.00% | от 8 724 руб. |
| 4 | HDD 3 Tb SATA 6Gb/s Western Digital Red <WD30EFAX> 3.5″ 5400rpm 256Mb | 58.40% | от 8 530 руб. |
| 5 | HDD 4 Tb SATA 6Gb/s Western Digital Blue <WD40EZAZ> 3.5″ 5400rpm 256Mb | 57.70% | от 8 378 руб. |
| 6 | HDD 2 Tb SATA 6Gb/s Western Digital Red <WD20EFAX> 3.5″ 5400rpm 256Mb | 55.00% | от 5 911 руб. |
| 7 | HDD 2 Tb SATA 6Gb/s Western Digital Blue <WD20EZAZ> 3.5″ 5400rpm 256Mb | 54.50% | от 4 293 руб. |
| 8 | HDD 1 Tb SATA 6Gb/s Western Digital Black <WD10SPSX> 2.5″ 7200 rpm 64Mb | 49.50% | от 3 808 руб. |
| 9 | HDD 500 Gb SATA 6Gb/s Western Digital Black <WD5000LPSX> 2.5″ | 45.90% | от 3 088 руб. |
Характеристики
| Основные характеристики | |
| Производитель | Western Digital |
| Серия | Red |
| Модель | WD20EFAXнайти похожий HDD |
| Тип оборудования | HDD для NAS |
| Емкость накопителя | 2 Тб |
| Описание | Жесткий диск для систем NAS с 1-8 HDD |
| Неисправимых ошибок чтения/прочитанных бит | 1 ошибка на 1E14 (10 в 14-й степени) бит |
| 24×7 | Да |
| Параметры производительности | |
| Скорость вращения шпинделя | 5400 оборотов/мин. |
| Буфер HDD | 256 Мб |
| Эксплуатационные параметры | |
| Рабочая температура | 0 ~ 65 °C |
| Интерфейс, разъемы и выходы | |
| Поддержка NCQ | Есть |
| Интерфейс HDD | SATA 6Gb/s (SATA-III) |
| Пропускная способность интерфейса | 6 Гбит/сек |
| Прочие характеристики | |
| MTBF | 1 млн. часов |
| Уникальные технологии HDD WD | NASware |
| Безопасность | |
| Максимальные перегрузки | 30G длительностью 2 мс при чтении/записи, 65G длительностью 2 мс при чтении, 250G длительностью 2 мс в выключенном состоянии |
| Охлаждение | |
| Уровень шума | 2.1 Бел в режиме Idle, 2.6 Бел при поиске |
| Питание | |
| Потребление энергии в режиме Idle | 2.3 Вт |
| Потребление энергии при чтении/записи | 4.1 Вт |
| Потребление энергии в режимах Standby и Sleep | 0.6 Вт |
| Потребительские свойства | |
| Технология SMR повышения плотности записи | Технология черепичной магнитной записи SMR (Shingled Magnetic Recording) позволяет повысить плотность записи и увеличить емкость диска |
| Advanced Format | 4K |
| Совместимость | |
| Max кол-во HDD в NAS | 8 |
| Формат накопителя | 3.5″ |
| Логистика | |
| Размеры (ширина x высота x глубина) | 102 x 26 x 147 мм |
| Размеры упаковки (измерено в НИКСе) | 14.5 x 10.2 x 2.3 см |
| Вес брутто (измерено в НИКСе) | 0.457 кг |
1.Самый действенный способ — использовать Redis
Если у вас уже есть готовая инфраструктура с серверами VMware vSphere, и вы приобретаете NAS только для хранения бэкапов или в качестве основной СХД, посмотрите на память: Synology RackStation RS18017xs+ имеет в базе 16 ГБ ОЗУ, которые можно расширить до 128 ГБ. Вся операционная система DSM (DiskStation Manager) редко требует более 2 ГБ ОЗУ, поэтому неиспользуемую память можно отдать под Redis. Это NoSQL сервер, который хранит данные в памяти, периодически сбрасывая свою базу на диск. При перезагрузке Redis восстанавливает базу с диска, загружая данные в ОЗУ, и даже при отключении электроэнергии, после перезагрузки вам доступны все данные с момента последней синхронизации. Внутрь Redis можно запихнуть не только строки, но и файлы, и если ваше приложение постоянно обращается к каталогу с десятками тысяч маленьких файликов (например при машинном обучении), то вы наверняка знаете, что в этом случае тормозит любая современная файловая система, а Redis — нет.
Redis можно установить через пакет Synology DSM, подключив репозиторий Synocommunity, но там лежит старая версия 3.0.5-5, поэтому лучше использовать Docker или виртуалку, запущенную на NAS-е. Устанавливаем пакет Synology Virtual Machine Manager и внутри разворачиваем 5-ю версию Redis-а на операционной системе Debian.
Давайте протестируем скорость доступа, используя встроенный бенчмарк Redis-а. Полтора миллиона транзакций в секунду в конвейерном режиме и пятьсот тысяч с настройками по умолчанию. Сам по себе Redis — однопоточный, так что вы можете клонировать виртуалку, чтобы задействовать более 1 ядра процессора NAS-а.
Пример с Redis наглядно демонстрирует, что сегодня рассматривать СХД только в качестве файлохранилки можно в двух случаях: когда речь идёт о домашнем 2-дисковом NAS-е или наоборот, когда мы говорим о мощной инфраструктуре банков или авиакомпаний. В остальном же — пожалуйста, вот вам централизованная кэширующая система: подключайтесь к ней и экономьте ресурсы ваших хостов. Вам даже не потребуется 10-гигабитное сетевое подключение: в типичных случаях использования, 1-гигабитной сети вполне достаточно для быстрой работы подключенных клиентов.
Ну и не забывайте, что Synology DSM может использовать защиту данных Redis-а снэпшотами на уровне файловой системы Btrfs. Конечно, использование Redis потребует от вас небольшую переработку приложения, что не всегда возможно, поэтому давайте посмотрим работу встроенного кэширования Synology DSM.
Выводы
Какие выводы можно сделать из нашего тестирования? Прежде всего, обратите внимание на то, насколько агрессивно Synology DSM записывает данные на SSD. Буквально считанные минуты под нагрузкой — и они копируются на SSD накопители, ускоряя и NFS подключения, и iSCSI LUN-ы
По синтетическим тестам, SSD работают даже быстрее ОЗУ, но на деле выходит совсем иначе: чем большое объём горячих данных в вашей инфраструктуре, тем больше памяти нужно установить в NAS, не важно, используются ли в нём жесткие диски, SSD или гибридные массивы. Ну и наш пример с Redis-ом показывает, что если вы вступили на путь добра и решили вместо старой SAN-СХД установить современный умный NAS с виртуализацией, то используйте его возможности по-максимуму: совсем не обязательно стараться забить все отсеки хранилища твердотельными дисками — можно просто добавить поддержку NoSQL баз данных в ваш софт и на самой простой модели Synology серии Rackstation получить чудо-скорость, которую ещё очень много лет не дадут никакие SSD
Ну и наш пример с Redis-ом показывает, что если вы вступили на путь добра и решили вместо старой SAN-СХД установить современный умный NAS с виртуализацией, то используйте его возможности по-максимуму: совсем не обязательно стараться забить все отсеки хранилища твердотельными дисками — можно просто добавить поддержку NoSQL баз данных в ваш софт и на самой простой модели Synology серии Rackstation получить чудо-скорость, которую ещё очень много лет не дадут никакие SSD.
Михаил Дегтярёв (aka LIKE OFF)
07/03.2019
