208

REFS — Resilient file system

В предыдущей заметке Я обещал рассказать о REFS. Это новая файловая система, призванная со временем заместить NTFS. REFS унаследовала от NTFS множество функций и обрела новый функционал. REFS полностью раскрывает свой потенциал при использовании Storage Spaces. Однако свой профит она вносит и при использовании на одиночном накопителе.

Когда я начинаю говорить о REFS, я обычно слышу схожие вопросы, поэтому попробую их обобщить:


- Какие функции NTFS убрали в REFS?

- Что нового в REFS, чего нет в NTFS?

- Какие основные преимущества REFS перед NTFS?


Преимущества

- Отказоустойчивость

REFS поистине защищена от сбоев: Если мы рассматриваем простой том, то метаданные хранятся в двух экземплярах и контролируются контрольными суммами. перед каждой операцией чтения/записи, данные проверяюся на наличие ошибок и корректируются при необходимости. Раз в четыре недели запускается задание, в фоновом режиме сканирующее том на наличие повреждений. Исправления вносятся на лету. Поэтому при попытке натравить проверку диска на такой том, получим сообщение:

REFS — Resilient file system

По умолчанию потоки целостности включены только для метаданных — это позволяет держать файловую систему в непротиворечивом состоянии. Однако, потоки целостности можно включить для всего тома или выбранных файлов/папок. В этом случае REFS гарантирует, что считанные данные являются тем, что Вы когда-то записали. Если контрольная сумма не совпадает — REFS сообщит об ошибке и удалит файл. Это будет сигналом к восстановлению файла из резервной копии: Вы точно знаете, что этот файл был поврежден.


Всё становится интересней, если потоки целостности для данных включены на томе с избыточностью: Четность, двух- или трехстороннее зеркало. В этом случае, обнаружив ошибку контрольной суммы REFS попробует восстановить данные.


- Производительность

Стоит так-же упомянуть и нововведения производительности:

- Четность с зеркальным ускорением позволяет эффективно хранить данные на томе, используя многоуровневое хранилище.

- Клонирование блоков обеспечит огромный прирост производительности снимкам виртуальных машин, особенно их слияние.

- Разреженный метод VDL позволяет мгновенно создавать фиксированные VHD диски большого размера.


О преимуществах рассказал, теперь сравним её с NTFS


Функции NTFS, недоступные в REFS

По разным причинам, функционал файловых систем отличается. Какие-то функции никогда в ней не появятся (например имена в формате 8.3), какие-то появляются в процессе развития. Например, дедупликация данных, недоступная ранее, появилась в версии 3.2. Подробнее о версиях и их поддержке хорошо написано в Википедии. Ниже я привел список:

- Сжатие файловой системы

- Шифрование файловой системы (EFS)

- Транзакции

- Жесткие ссылки

- Идентификаторы объектов

- Короткие имена

- Расширенные атрибуты

- Дисковые квоты

- Загрузка операционной системы

- Поддержка файла подкачки

- Поддержка съемных дисков


Функции общие для REFS и NTFS

- Шифрование BitLocker

- Дедупликация данных ( Windows Server, v.1709 and later)

- Поддержка общих томов кластера

- Символические ссылки

- Поддержка отказоустойчивого кластера

- Списки управления доступом

- Журнал USN

- Changes notifications

- Точки соединения

- Точки подключения

- Точки повторного анализа

- Моментальные снимки томов

- Идентификаторы файлов

- Нежесткая блокировка

- Разреженные файлы

- Именованные потоки

- Тонкая подготовка

- Offloaded Data Transfer (ODX)

- Trim/Unmap


Функции, доступные только в REFS

- Клонирование блоков

- Разреженный метод VDL

- Четность с зеркальным ускорением

Таким образом можно сделать вывод, что REFS идеальна как хранилище виртуальных машин и критически важных  данных данных.

В следующей заметке я расскажу об обслуживании REFS в рамках Storage Spaces и о том, как дефрагментатор WIndows перестал им быть.

Лига Сисадминов

2.7K поста19.2K подписчиков

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

Вы смотрите срез комментариев. Показать все
0
Автор поста оценил этот комментарий

О производительности разреженного метода VDL.

Попробуйте создать два фиксированных VHD диска объемом 100 Гб:

на NTFS это займет определенное время.

на REFS это мгновенно.

раскрыть ветку (8)
1
DELETED
Автор поста оценил этот комментарий
Ну создания быстро пустого файла, так себе преимущество. А что по скорости чтения записи, есть сравнения?
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Сама ReFS от NTFS при отключенных потоках целостности по скорости не отстает.

В некоторых случаях  категорически опережает: см. клонирование блоков и разреженный метод VDL.

При включенных потоках целостности запись и чтение идет немного медленнее из-за проверки контрольных сумм.

Но опять-же, Потоки целостности могут быть включены не для всех файлов и папок на диске.

Скрин для примера с моего диска. Контроль включен для книг, но выключен для фильмов в папке видео.

Иллюстрация к комментарию
0
Автор поста оценил этот комментарий

Sparse file еще места на диске не занимает, пока блок не записан. Так к слову...

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Так должног быть, но в данном случае это не так.

https://youtu.be/vhDqMcU4x3M

0
Автор поста оценил этот комментарий

давай без VHD, при всей моей любви к hyper-v эту штуку очень мало кто знает и ценит

она умеет резервировать место под файлы мгновенно? значит например в стиме этап "выделения места на диске" будет проходить мгновенно, так?


про "Четность с зеркальным ускорением " я бы предпочел увидеть итоговую выжимку в 1-2 предложения что это даёт по факту, для 1 диска, для 2 дисков в зеркале

прежде чем читать статьи на 3 экрана текста нужна какая-то идея, цель чтоль, типа вот слышал что такое умеет.

например дедупликация реально экономит мне до 60% места на сервере, я считаю это киллер фича и несу ее в массы по возможности

а зеркальный рейд гарантирует что я 100% не потеряю данные накопленные за всю жизнь в одно мгновение.

что мне даст Четность с зеркальным ускорением ?

раскрыть ветку (3)
0
Автор поста оценил этот комментарий

@Onax, Я проверил информацию: поставил на закачку в торрент-клиенте (Tixati) библиотеку 1,3 тб.

Пространство зарезервировано мгновенно.

0
Автор поста оценил этот комментарий

Четность с зеркальным ускорением - это про Storage Spaces из минимум трех дисков. Грубо говоря: у Вас есть том, данные тома распределяются между двумя виртуальными томами Storage Spaces: зеркальным и четностью. Соответственно, данные с частым доступом будут храниться на зекрале, а редко используемые файлы переедут на том с четностью. При этом Вы в проводнике видите один том

А насчет стима всё зависит от того, каким методом он резервирует место. Надо будет испытать на досуге.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

На самом деле дело не только в частоте использования. На зеркало данные писать быстрее - не надо parity вычислять. А уже потом можно потихоньку скопировать, когда диск свободен.


Причем в зеркало поставить SSD, а в parity raid обычные диски - получится нечто похожее на ZFS c ZIL+L2ARC на ssd. Вопрос только в том, насколько ФС/ОС сможет правильно решить, что держать на SSD, а что на медленном.

На практике как-то так: https://www.tech-coffee.net/storage-spaces-direct-performance-tests-between-2-way-mirroring-and-nested-resiliency/

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества