Современная файловая система REFS: особенности и сюрпризы. Файловые системы: сравнение, секреты и уникальные особенности Избыточность хранения данных

Если вам уже довелось установить и поработать с новыми ОС от Microsoft: Windows Server 2012 и Windows 8, вы, вероятно уже заметили, что теперь новые тома можно форматировать в файловой системе ReFS. Что же такое файловая система ReFS ? Аббревиатура ReFS расшифровывается, как Resilient File System , т.е. по-русски «Отказоустойчивая файловая система».

Microsoft прочит файловую систему ReFS в качестве преемника самой популярной на данный момент файловой системы NTFS, технологические возможности которой уже подошли к своим границам. В частности при работе с носителями данных большого размера возникают сложности с их работой: это и слишком длительное время при выполнении операции проверки на наличие ошибок, и медленная работа журнала, и достижение ограничений на максимальный размер файлов на файловой системе NTFS.

Особенности файловой системы ReFS

Большинство новшеств ReFS лежит в области создания структур файлов и папок, и управления ими. Эти функции реализованы с целью автоматического исправления ошибок, обеспечения высокой масштабируемости и работы в режиме Always Online (постоянного подключения). Папки в файловой системе ReFS структурированы в виде таблиц с файлами в качестве записей, которые в свою очередь могут обладать собственными атрибутами, организованными в виде подтаблиц, реализую иерархическую древовидную структуру B+-деревьев, знакомую нам по базам данных. Свободное место на дисках также организовано в таблицах.

При разработке ReFS преследовались следующие цели:

• Обеспечение максимальной совместимости с существующими функциями NTFS, и избавление от ненужных, которые усложняют систему
• Верификация и автоматическое исправление данных.
• Масштабируемость.
• Гибкость архитектуры с использованием функции , которая собственно и была задумана для ReFS.

Основные возможности ReFS

• Увеличенные лимиты на размер разделов, директорий и файлов (таблица ниже)
• Целостность метаданных с контрольными суммами.
• Специальная методика записи на диск — Integrity streams, обеспечивающая дополнительную защиту данных при повреждении части диска.
• Новая модель транзакций «allocate on write» (copy on write)
• Disk scrubbing – технология чистки диска в фоновом режиме
• Возможность организации пулов хранения, которые могут применяться в виртуализации, в т.ч. для обеспечения отказоустойчивости виртуальных машин и балансировки нагрузки.
• Для повышения производительности используется сегментация последовательных данных (data sriping)
• Спасение данных вокруг повреждённого участка на диске.

Ограничения файловой системы ReFS

Поддерживаемые функции NTFS

ReFS унаследовала многие функции и семантики своей предшественницы NTFS, в том числе:

• Ширование BitLocker
• журнал USN
• списки контроля доступа (ACL)
• символьные ссылки для библиотек
• точки монтирования (mount points)
• точки соединения (junction points)
• точки повторной обработки (reparse points)

Все данные на файловой системе ReFS будут доступны через те же самые API, которые в настоящий момент используются для доступа к разделам NTFS.

В ReFS отказались от следующих функций NTFS:

• сжатие данных
• шифрование на уровне файлов EFS
• короткие имена файлов 8.3
• Жесткие ссылки (Hard links)

ReFS в Windows 8

Поддержка ReFS появилась в ОС Windows 8 и Windows Server 2012, причем только для томов с данными. То есть разделы с ReFS нельзя использовать для установки операционной системы и загрузки с него. Со временем ReFS будет оснащена большим количеством функций и сможет целиком заменить устаревшую систему NTFS. Вероятно, все новые функции появятся в первом Service Pack-е для Windows 8.

Кроме того ReFS пока нельзя применять для съемных и переносных устройств хранения (ReFS пока применяется только для внутренних носителей).

Неприятным моментом является тот факт, что существующие NTFS тома нельзя конвертировать в ReFS на лету. Данные придется переносить обычным копированием.

Том можно отформатировать в файловую систему ReFS через консоль Disk Management. Но дополнительные параметры, например, включение проверки целостности, можно включить только из командной строки.

Например, включить проверку целостности ReFS можно командой:

Format /fs:refs /q /i:enable

Отключить проверку целостности.

Знакомьтесь - новая файловая система ReFS (Resilient File System - отказоустойчивая файловая система).

В принципе не такая уж она и новая, Microsoft разрабатывала ReFS не с нуля, ранее известная под кодовым названием Protogon, которая разрабатывалась для Windows Server 8 теперь будет устанавливаться на клиентских машинах Windows 8.

Так, для открытия, закрытия, чтения и записи файлов система использует те же интерфейсы доступа API, что и NTFS.
Нетронутыми остались многие хорошо знакомые возможности - например, шифрование диска Bitlocker и символьные ссылки для библиотек.
Другие же функции, такие как сжатие данных, исчезли.

Прошлая файловая система NTFS (New Technology File System) в версии 1.2 была представлена в далёком 1993 году как часть Windows NT 3.1, а к появлению Windows XP в 2001 году NTFS доросла до версии 3.1, и только тогда её начали ставить на клиентские машины.
Постепенно возможности NTFS подошли к своим границам: проверка носителей данных большой емкости занимает слишком много времени.
Журнал (файл регистрации) тормозит доступ, а максимальный размер файлов уже практически достигнут.

Большинство нововведений ReFS лежит в области создания структур файлов и папок, а также управления ими.
Они рассчитаны на автоматическое исправление ошибок, максимальное масштабирование и работу в режиме постоянного подключения (Always Online).
Для этих целей Microsoft использует знакомую по базам данных концепцию B+-деревьев.
Это означает, что папки в файловой системе структурированы в виде таблиц с файлами в качестве записей.

Они, в свою очередь, могут обладать определенными атрибутами, добавляемыми в качестве подтаблиц, создавая иерархическую древовидную структуру.
Даже свободное место на диске организовано в таблицах.
Ядром системы ReFS является таблица объектов - центральный каталог, в котором перечислены все таблицы в системе.

ReFS избавилась от сложного управления журналом и теперь фиксирует новую информацию о файле в свободном месте, что предотвращает ее перезаписывание.
Но даже если такое вдруг произойдет, система заново пропишет ссылки на записи в структуре B+-дерева.

Как и NTFS, система ReFS принципиально различает информацию о файле (метаданные) и содержимое файла (пользовательские данные), однако щедро предоставляет и тем и другим одинаковые защитные функции.
Так, метаданные по умолчанию предохраняются с помощью контрольных сумм.
Такую же защиту по желанию можно предоставить и пользовательским данным.
Эти контрольные суммы располагаются на диске на безопасном удалении друг от друга, чтобы в случае возникновения ошибки данные можно было восстановить.

Передача данных из NTFS в ReFS

Можно ли будет в Windows 8 легко и просто конвертировать данные из системы NTFS в ReFS и наоборот?
В Microsoft говорят, что никакой встроенной функции для преобразования форматов не предполагается, но информацию все же можно будет копировать.
Область применения ReFS очевидна: поначалу она может использоваться лишь как крупный диспетчер данных для сервера.
Следовательно, пока еще нельзя запустить Windows 8 с диска под управлением новой файловой системы.
Внешних накопителей с ReFS пока не будет - только внутренние.

Очевидно, со временем ReFS будет оснащена большим количеством функций и сможет заменить устаревшую систему.
Возможно, это случится уже с выходом первого пакета обновлений для Windows 8.

Сравниваем файловые системы NTFS И ReFS.

Переименовать файл

NTFS

1. NTFS записывает в Журнал, что имя файла должно быть изменено.
Там же NTFS регистрирует все действия.
2. Только после этого она на месте меняет имя файла.
Таким образом, старое имя переписывается новым.
3. В заключение в Журнале (файле регистрации файловой системы) появляется отметка об успешном завершении заданной операции.

ReFS

1 - Новое название записывается в свободное место.
При этом очень важно, что прежнее имя поначалу не стирается.
2 - Как только новое название записано, ReFS изменяет ссылку на поле имени.
Теперь в файловой системе она ведет не на старое имя, а на новое.

Переименование файла при отказе питания

ReFS

1. NTFS, как обычно, записывает запрос на изменение в Журнал.
2. После этого из-за отказа питания процесс переименования прерывается, и не остается записи ни о прежнем, ни о новом именах.
3. Происходит перезагрузка Windows.
4. Вслед за этим запускается программа для исправления ошибок - Chkdisk.
5. Только теперь с помощью Журнала при применении отката восстанавливается изначальное имя файла.

NTFS

1. На первом этапе ReFS записывает новое имя в другом месте файловой системы, однако в этот момент электропитание прекращается.
2. Отказ приводит к автоматической перезагрузке Windows.
3. После нее стартует программа Chkdisk. Она анализирует файловую систему на наличие ошибок и при необходимости исправляет их.
Между тем набор данных ReFS находится в стабильном состоянии. Прежнее имя файла снова становится действующим сразу после отказа питания.

Ключевые цели ReFS:

Сохранить максимальную совместимость с набором широко используемых фич NTFS, и в то же время избавиться от ненужных, которые только усложняют систему;
. Верификация и автоисправление данных;
. Максимальная масштабируемость;
. Невозможность полного отключения файловой системы за счёт изоляции сбойных участков;
. Гибкая архитектура с использованием функции Storage Spaces, которая задумана и реализована специально для ReFS.

Ключевые функции ReFS (некоторые доступны только со Storage Spaces):

Целостность метаданных с контрольными суммами;
. Integrity streams: метод записи данных на диск для дополнительной защиты данных при повреждении части диска;
. Транзакционная модель «allocate on write» (copy on write);
. Большие лимиты на размер разделов, файлов и директорий.
Размер раздела ограничен 278 байт при размере кластера 16 КБ (2 64 ·16·2 10), стек Windows поддерживает 2 64 .
Максимальное количество файлов в директории: 2 64 .
Максимальное количество директорий в разделе: 2 64 ;
. Организация пулов и виртуализация для более простого создания разделов и управления файловой системой;
. Сегментация последовательных данных (data sriping) для повышения производительности, избыточная запись для отказоустойчивости;
. Поддержка техники чистки диска в фоновом режиме (disk scrubbing) для выявления скрытых ошибок;
. Спасение данных вокруг повреждённого участка на диске;
. Общие пулы хранения данных между машинами для дополнительной отказоустойчивости и балансировки нагрузки.

Труборез и трубогиб для самостоятельной сборки СЖО

Два инструмента компании EK Water Blocks адресованы тем, кто собирает СЖО самостоятельно: резак EK-Loop Soft Tube Cutter и приспособление для гибки труб EK-Loop Modulus Hard Tube Bending Tool.

Первый январский 2020 г. набор графических драйверов Radeon Software Adrenalin 2020 Edition 20.1.1 содержит оптимизации для игры Monster Hunter World: Iceborne и исправляет почти три десятка ошибок, выявленных в предшествующих релизах.

Google продолжит поддержку браузера Chrome для Windows 7

Многие пользователи, особенно корпоративные, не спешат отказываться от Windows 7, хотя расширенная поддержка Windows 7 для обычных пользователей завершается 14 января 2020 года.

Windows 10 поддерживает несколько файловых систем из коробки. Некоторые из них являются наследием и существуют в основном для обратной совместимости, другие современные и имеют широкое применение. В этой статье описаны различные способы, которые вы можете использовать, чтобы посмотреть, с помощью какой файловой системы отформатированы ваши диски.

Файловая система - это особый способ хранения и организации вашей информации на разных носителях, включая жесткие диски, твердотельные диски, USB-накопители и другие устройства. Она позволяет хранить, изменять, читать файлы и папки для приложений и операционной системы, установленных на вашем компьютере.

При форматировании внутреннего диска или флеш-накопителя вы готовите его для использования в качестве носителя для хранения данных в вашей операционной системе. Во время этого процесса создается файловая система. Во время форматирования вся информация, хранящаяся на диске или разделе, будет удалена.

Windows 10 поддерживает файловые системы FAT, FAT32, exFAT, NTFS и ReFS без использования дополнительного программного обеспечения.

У них разные функции и свойства. Например, FAT и FAT32 являются устаревшими файловыми системами. FAT поддерживает максимальный объем 4 ГБ, FAT32 поддерживает 32 ГБ. Файловые системы FAT также имеют ограничения на максимальный размер файла. NTFS - единственная файловая система, которая поддерживает сжатие и шифрование файлов и имеет расширенные функции.

Существует несколько способов, которые вы можете применить для поиска файловой системы, используемой на ваших дисках.

Чтобы узнать файловую систему на дисках в Windows 10, выполните следующие действия.

1. Откройте «Проводник» и перейдите в папку «Этот компьютер» .

1. Кликните правой кнопкой мыши диск и выберите в контекстном меню «Свойства» .

1. В окне «Свойства» на вкладке «Общие», вы увидите файловую систему вашего диска.

Этот способ, является самым простым и быстрым.

Кроме того, вы можете использовать инструмент Diskpart, Управление дисками или PowerShell.

Посмотреть файловую систему диска с помощью Diskpart

1. Нажмите сочетание клавиш Win + R .

1. В поле «Выполнить» введите «diskpart » и нажмите Enter .

1. В Diskpart введите команду list volume .

После выполнения команды вы увидите файловую систему для каждого диска, подключенного к вашему компьютеру.

Показать файловую систему диска с помощью «Управление дисками».

1. Нажмите Win + X или кликните правой кнопкой мыши на кнопку «Пуск» .

1. В меню WinX выберите

1. См. Значения в столбце Файловая система.

Наконец, существует еще один способ определения файловой системы для каждого диска, подключенного к вашему компьютеру, с использованием языка сценариев PowerShell.

1. Откройте PowerShell от имени администратора.

1. Введите: get-volume и нажмите клавишу Enter .

1. На выходе см. Значения в столбце FileSystemType .

Теперь вы знаете, что, очень легко определить файловую систему для ваших дисков. Вы можете использовать любой способ, который вам нравится больше.

Почему система называется ReFS?

ReFS означает Resilient File System — «отказоустойчивая файловая система». Хотя работа по усовершенствованию ведется по многим направлениям, отказоустойчивость остается приоритетом.

Каковы предельные мощности системы ReFS?

Предельные мощности для дискового формата указаны в таблице ниже. Предельные показатели зависят от различных факторов, таких как конфигурация системы (например, объем памяти), пределы, задаваемые различными компонентами системы, а также время, требуемое для заполнения наборов данных, время создания резервных копий и т. д.

Можно ли конвертировать данные между NTFS и ReFS?

В Windows 8 нет возможности конвертировать данные на месте. Данные можно копировать. Это было преднамеренное решение в ходе проектирования, учитывая, какие сегодня размеры наборов данных и как неудобно было бы конвертировать на месте, а также учитывая вероятные изменения в архитектуре до и после конвертирования.

Можно ли выполнять загрузку с ReFS в Windows Server 8?

Можно ли использовать ReFS на съемных носителях или дисках?

Нет, такая возможность не реализована и не поддерживается.

Что из семантики или функций NTFS больше не поддерживается в ReFS?

Мы отказались от поддержки в ReFS следующих функций NTFS: именованные каналы, короткие имена, сжатие, шифрование на уровне файла (EFS), транзакции пользовательских данных, фрагментарное кэширование, жесткие связи, расширенные атрибуты и квоты.

Как насчет пространств на основе четности и ReFS?

Систему ReFS поддерживают функции отказоустойчивости, обеспечиваемые пространствами хранения. В Windows Server 8 автоматическое исправление данных выполняется только для зеркальных пространств.

Поддерживается ли кластеризация?

Поддерживается отказоустойчивая кластеризация, причем отдельные тома могут менять ресурсы при отка??е. Кроме того, поддерживается совместное использование пулов носителей в кластере.

Как насчет RAID? Как использовать возможности ReFS по распределению данных, зеркальному отображению и другим формам RAID? Обеспечивает ли ReFS ту скорость чтения данных, которая нужна, например, для видеофайлов?

Система ReFS применяет имеющиеся в пространствах хранения возможности избыточности данных, в том числе распределенные зеркала и четность. Ожидается, что скорость чтения в системе ReFS будет примерно на том же уровне, что и в системе NTFS, с которой у них много общего кода. Для потоковой передачи данных это будет замечательно.

Как получилось, что ReFS не обеспечивает дедупликацию, кэширование второго уровня между DRAM и хранилищем, а также запись снимков?

Сама система ReFS не обеспечивает дедупликацию. Одним из побочных эффектов этой знакомой, подключаемой архитектуры файловой системы является то, что другие продукты для дедупликации смогут подключаться к ReFS так же, как и к NTFS.

Кэширование второго уровня не реализовано явным образом в ReFS, но клиенты могут воспользоваться решениями сторонних разработчиков.

ReFS и VSS взаимодействуют для создания снимков по тому же принципу, что NTFS в средах Windows. На текущий момент они не поддерживают запись снимков или снимки свыше 64 ТБ.

Сначала в Windows Server, а теперь и в Windows 10 появилась современная файловая система REFS (Resilient File System), в которой вы можете отформатировать жесткие диски компьютера или созданные системными средствами дисковые пространства.

В этой статье - о том, что представляет собой файловая система REFS, о её отличиях от NTFS и возможных применениях для обычного домашнего пользователя.

Помимо функций, связанных с поддержкой целостности данных на дисках, REFS имеет следующие основные отличия от файловой системы NTFS:

• Обычно более высокая производительность, особенно в случае использования дисковых пространств.
• Теоретический размер тома 262144 экзабайта (против 16 у NTFS).
• Отсутствие ограничения пути к файлу в 255 символов (в REFS - 32768 символов).
• В REFS не поддерживаются имена файлов DOS (т.е. получить доступ к папке C:\Program Files\ по пути C:\progra~1\ в ней не получится). В NTFS эта возможность сохранялась в целях совместимости со старым ПО.
• В REFS не поддерживается сжатие, дополнительные атрибуты, шифрование средствами файловой системы (в NTFS такое есть, для REFS работает ).

В настоящий момент времени нельзя отформатировать системный диск в REFS, функция доступна только для не системных дисков (для съемных дисков не поддерживается), а также для дисковых пространств, и, пожалуй, только последний вариант может быть действительно полезным для обычного пользователя, которого беспокоит сохранность данных.

Обратите внимание, что после форматирования диска в файловой системе REFS, часть места на нем сразу будет занято контрольными данными: например, для пустого диска 10 Гб это около 700 Мб.

Возможно, в будущем REFS может стать основной файловой системой в Windows, однако на данный момент этого не произошло. Официальная информация по файловой системе на сайте Майкрософт: