Содержание
Какой размер кластера выбрать при форматировании: NTFS — FAT32
Приветствую своих читателей и сегодня мне очень приятно перейти от теории поближе к практике. Сегодня мы будем выяснять, какой размер кластера выбрать при форматировании NTFS. Именно НТФС зачастую стоит у большинства пользователей, поэтому коснёмся её. Эта реальная задача постоянно возникает при подготовке жесткого диска к переустановке Windows. А так же в других ситуациях.
Для начала вспомним, что такое кластер и NTFS и какая связь между этими понятиями. Итак, память компьютера (или флешки, или карты памяти) разбивается на отдельные сектора объемом 512 байт или 4 Кб, которые в свою очередь группируются в кластеры. Соответственно, размер кластера кратен объему сектора.
Файловая система среди прочих функций определяет возможный размер кластера:
- В устаревшей FAT32 – это от 1 до 32 Мб;
- Пришедшая ей на смену в USB накопителях exFAT – от 4 до 128 Мб;
- Наиболее стабильная, интересующая нас NTFS – от 4 до 64 Мб;
Размер, имеющий значение
Информация файла вносится в эти кластеры, каждый из которых имеет свой адрес. Это облегчает и определяет механизм ее считывания или записи. Важным для дальнейшего понимания процесса является условие, по которому в один кластер могут помещаться только данные одного файла.
Например, мы имеем файл размером 260 Кб и кластеры по 32 Кб. Значит, в 8-и из них будет храниться 32 х 8 = 256 Кб и еще 4 Кб в 9-ом. То есть, в данном случае на диске будет занят объем, соответствующий размеру девяти кластеров 288 Кб, а это уж никак не наши 260 Кб, а на целых 10% больше чем мы предполагали задействовать.
Процент здесь указан просто для иллюстрации того, что не все место диска эффективно используется. Будь у нас файлик поменьше, например 33 Кб (ну, чтоб не помещался в один кластер) это показатель был бы вообще пугающим: 2 кластера по 32 Кб = 64 Кб для хранения 33-ёх!!!
КПД памяти – чуть более 50%. Этот пример четко показывает, что размер кластера должен быть сопоставим с объемом используемых в системе файлов.
Но это скорее частный редкий случай. Поскольку сейчас используются относительно большие файлы, намного превышающие размер кластеризации. И вот здесь проявляют себя другие факторы:
- Выше приведенный пример показывает, что в последнем кластере теоретически может быть использован всего 1 Кб, соответственно, чем больше его размер, тем больше остается незадействованной памяти. Данный эффект усиливается с ростом количества файлов.
Поэтому вполне логично, что чем меньше размер кластера, тем более эффективно мы сможем использовать носитель информации; - С другой стороны. Считывая данные, процессор обращается по адресам каждого из кластеров и это занимает определенное время. Чем больше их задействовано – тем больше таких переходов. Серьезно усугубляет ситуацию и тормозит работу компьютера (особенно в HDD) высокий уровень фрагментации, при которой кластеры не собраны в сплошные блоки, а раскиданы в разных местах. С этой позиции большие кластеры предпочтительнее. Поскольку для размещения условного файла среднего объема их потребуется намного меньше.
Какой размер кластера выбрать — решение принимать вам
Как же все-таки разрешить возникшую дилемму и выбрать оптимальный размер кластера при форматировании NTFS? Да очень просто и здесь есть три варианта:
- Прикинуть, с какими файлами вы собираетесь работать. Если они преимущественно небольшие – можно выбрать размер кластера поменьше. Так же можно разбить диск на несколько разделов и каждый отформатировать со своим размером кластера. Например, установить максимальный для места хранения мультимедийных файлов;
- Установить вместительный жесткий диск с достаточным запасом по объему. И произвести его форматирование, выбрав наибольший размер кластера;
- Вообще не париться по этому поводу и при форматировании установить стандартные настройки по умолчанию. А они напрямую зависят от объема винчестера или SSD;
По-сути, определяя для своей системы или хранилища информации размер кластера, вы ищете компромисс между быстродействием и или эффективностью использования памяти. И, как видите, задача эта в принципе-то не сложная. Во всяком случае, какое бы решение вы не приняли, никаких критических последствий оно за собой не понесет.
Так что даже можете поэкспериментировать. Тем более что существуют программы, позволяющие изменять кластеры в уже отформатированной, работающей системе без потери содержащихся на накопителе информации.
Возможно в будущем как-нибудь напишу подробную обзорную статью о том как влияет скорость работы накопителя при разных размерах кластеров.
Кстати, вот ещё одна статья на тему формат-я, гляньте может и это вам интересно: http://profi-user.ru/raznica-formatirovaniya/
Но я искренне желаю вам уверенности и компьютерной интуиции, которая поможет выбрать оптимальный размер кластера. На этом я буду заканчивать и прощаться с вами.
До скорых встреч в новых темах моего блога.
Источник: http://profi-user.ru/kakoy-razmer-klastera-vybrat-pri-formatirovanii/
Почему не нужен TRIM в серверах
Для начала стоит разобраться с тем, как работает SSD, что такое сборка мусора, как работает TRIM и главное — почему он не нужен в серверах.
SSD отличается от HDD не только ограниченным ресурсом ячеек. Есть еще множество архитектурных особенностей.
Размеры секторов
Стандартный размер сектора для большинства блочных устройств (жестких дисков и систем хранения данных) равен 512 байт (на некоторых SAS/SCSI дисках возможны 520/528 байт для дополнительного контроля целостности данных). Последние несколько индустрия пытается перейти на секторы 4096 байт (4 КиБ), т.н. Advanced Format.
Продвигается процесс медленно, все пока что остановилось на 512e, т.е. дисках с 4K-секторами внутри, но с эмуляцией 512 байт секторов для хоста. На дисках 512e могут возникать проблемы с производительностью: при необходимости записать блок данных размером меньше 4 КиБ контроллеру диска приходится считывать сектор, менять в нем данные и только потом записывать обратно.
Для SSD ситуация с записью небольших блоков еще сложнее:
Контроллер SSD по-прежнему вынужден прикидываться блочным устройством с 512 байт сектором. Но внутри все сложнее: ячейки объединены в страницы размером, как правило, 4-8 КиБ, т.е. это минимально доступный для чтения или записи объем.
Записать данные в ячейку/страницу просто так нельзя, для этого нужно предварительно выполнить операцию стирания, а стереть можно только целый блок, состоящий из нескольких десятков (например, 64 или 128, в зависимости от архитектуры SSD) страниц, т.е.
минимально доступный для стирания блок может оказаться размером, например, в 512 КиБ.
Write amplification (усиление записи)
Данный термин означает соотношение между объемом данных, который фактически приходится записывать на флеш-память, и объемом, который пишет хост. Предположим, что у нас есть блок 512 КиБ с данными и нужно поменять небольшой фрагмент. Для модификации сектора в 512 байт контроллеру SSD приходится делать несколько операций (ситуация напоминает write penalty для RAID-5/6):
- прочитать весь блок в буфер
- модифицировать содержимое буфера
- стереть весь блок
- записать новое содержимое буфера
Т.е. для размера транзакции в 512 байт на SSD с размером блока страниц в 512 КиБ получаем write amplification = 1024 раза. Это не самым лучшим образом сказывается а) на производительности и б) ресурсе, который по-прежнему составляет несколько тысяч циклов перезаписи для MLC SSD.
Copy on write
Проблема усиления записи имеет простое решение: нужно стараться записывать данные в уже предварительно стертые блоки. На помощь приходит классический алгоритм copy-on-write, разновидности которого используются для оптимизации записи в RAID-DP у Netapp или в ZFS (только слоем выше — на уровне файловой системы).
Суть алгоритм copy-on-write заключается в записи в «выгодные» участки носителя, т.е. в случае SSD — на чистые (стертые) блоки. В нижеприведенном примере модифицируется содержимое страницы «B». Вместо чтения/стирания/записи всего большого блока достаточно лишь прочитать содержимое страницы, модифицировать ее и записать в другое место. При этом необходимо поменять указатель, чтобы те же LBA указывали на новое физическое место размещения данных.
В качестве дополнительного средства борьбы с write amplification большинство современных контроллеров SSD используют сжатие данных.
Где взять чистые блоки?
На новом SSD все блоки являются чистыми и готовыми к записи. Дальше есть резервная область, которая на самом деле, используется всегда, так как помимо оптимизации записи необходимо обеспечить еще и равномерность износа ячеек SSD.
TRIM
Как быть, если после непрерывной записи чистых блоков уже не осталось? Для можно каким-либо образом узнать, где на SSD находятся пользовательские данные, а где размещены невалидные данные, оставшиеся после удаления файлов. Собственно, этим и занимается TRIM.
SSD, как и любое другое блочное устройство, ничего не знает, о том, какие именно данные на нем хранятся. ОС может взаимодействовать как со слоем файловой системы, так и с блочным устройством, т.е. после удаления файла ОС передает на SSD вместе с командой TRIM (или UNMAP для SCSI) список LBA, по которым находились удаленные данные.
SSD получает в распоряжение блоки с невалидными данными, и эти блоки можно в дальнейшем использовать для записи.
Background garbage collection (фоновая сборка мусора)
Второй очевидный способ обнаружения невалидных данных — повторные запросы на запись от хоста по тем же LBA. Для хоста это выглядит, как перезапись одних и тех же секторов, но SSD все время старается писать в разные блоки. В вышеприведенной иллюстрации работы copy-on-write актуальные данные содержатся в новой странице «B'», после чего в исходной странице остаются невалидные данные.
Области с невалидными данными могут быть сильно фрагментированы, т.е. содержать ячейки с нужными данными. Остается последний шаг — дефрагментировать эти области, получив набор целых свободных блоков и выполнить их стирание.
Собственно, за все это и отвечает сборка мусора.
«Правильные» SSD, рассчитанные на интенсивную запись, имеют достаточный over-provisiong (резервную область) в качестве «пространства для маневра» и эффективный контроллер с достаточным объемом кэша (разумеется, защищенного конденсаторами) для размещения метаданных и буферизации чтения/записи.
Если контроллер не успевает быстро подготовить место для быстрой записи, то это неминуемо отразится на производительности, будет периодический рост задержек в несколько раз относительно среднего значения, как на данной картинке с www.storagereview.com:
TRIM и реальность
Для работы TRIM помимо выполнения множества условий (поддержка со стороны ОС и файловой системы) необходимо разобраться с другими слоями абстракции, например, RAID.
Пересчитать адреса пришедшие на с TRIM на контроллер от хоста и раскидать их по отдельным дискам теоретически возможно, но никто (ни LSI, ниAdaptec by PMC) не торопится с реализацией.
Причина проста — за пределами домашних систем или рабочих станций такая простая вещь, как удаление файла встречается крайне редко. В серверах, как правило, встречаются совершенно другие нагрузки, к которым TRIM не может иметь никакого отношения:
- Виртуализация. На физическом диске или томе RAID-контроллера лежит одна файловая система (VMFS/NTFS/XFS), а на ней — виртуальный диск в виде файла (который никуда не удаляется и даже не меняется в размере, если диск не тонкий), а внутри виртуального диска — другая ФС. Как, от кого и кому передавать TRIM в такой ситуации — совершенно непонятно.
- Предоставление блочного доступа. Это добавляет несколько уровней абстракции. Том->Раздел (или ФС + файл)->Таргет->Файловая система
- Файловый доступ. В организациях, как правило, никто не удаляет регулярно большое количество файлов. Такой сценарий встречается разве что при хранении временного медиа-контента, например, при рендеринге или перекодировании видео, а SSD тут совершенно не нужны. Файл-сервер обычно используется для долговременного хранения информации.
- Базы данных. Файл, который, опять-таки не удаляется, а лишь модифицируется и растет.
Заключение
Используйте совместимые с вашим контроллером SSD, выбирайте их с учетом ожидаемой нагрузки на запись и не волнуйтесь о TRIM.
Источник: https://www.truesystem.ru/review/360101/
Размер кластера и дисковое пространство — Заметки Сис.Админа
Доброго времени суток, дорогие друзья, знакомые, читатели, почитатели и прочие личности. Сегодня мы говорим, что логично из заголовка, про размер кластера и сопутствующие тому нюансы с дисковым пространством.
Мы уже говорили с вами про размерности, рассказывали о том куда девается место на жестком диске и многое всякое-разное на эту тему. Пришла пора говорить и про размеры кластеров, ибо часто они вызывают при форматировании (не путать с дефрагментацией) множество вопросов.
Сам по себе этот размер задаётся при уже упомянутом форматировании или создании самого раздела. Доступные размеры зависят от файловой системы (NTFS, FAT, exFAT, если мы рассматриваем Windows) и влияют не только на количественные, но и на скоростные характеристики дисковой подсистемы.
Впрочем, давайте обо всём по порядку.
Для начала разберемся, что есть кластер. Все файловые системы, которые используются Windows, организуют ваш жесткий диск на основе такой штуки как размер кластера (также известного как размер блока распределения).
Размер же кластера представляет собой наименьший объем дискового пространства, который можно использовать для хранения файла.
Если размеры файлов не достигают четного кратного размера кластера, для хранения файла необходимо использовать дополнительное пространство (до следующего кратного размера кластера). В типичном разделе жесткого диска средний объем пространства, который теряется таким образом, может быть рассчитан с использованием уравнения:
(размер кластера) / 2 * (количество файлов)
Размер кластера в виде наглядного примера
Возможно последнее предложение и формула несколько Вас смутили. Давайте попробуем объяснить проще и нагляднее. Наверняка, открыв свойства какой-то папки, Вы сталкивались с такой картиной:
Т.е размер папки с файлами и фактический размер занятого пространства на диске, собственно, отличаются в большую или меньшую сторону. Это как раз связано с размером кластера, выбранным Вами (или системой) при форматировании/создании раздела.
Еще раз, — кластер, — это наименьший логический объем дискового пространства, который может быть выделен для хранения файла. Теперь попробуйте представить, что Ваш диск состоит из множества множества ячеек со своей нумерацией, куда можно положить файл. Наиболее наглядно это видно при дефрагментации (хотя там наиболее часто показан блок файловой системы, а не кластер, но всё же):
Размер этих ячеек и есть размер кластера. Теперь о том, как с этим взлетать.
Как с этим взлетать и что стоит понимать
Визуально Вы думаю представили, как оно выглядит. Давайте разбираться как работает.
Предположим, что размер кластера равен 4 КБ (как правило, — это значение по умолчанию, не считая самых старших версий систем). Так устроено, что файл, меньшего размера, помещенный туда всё равно будет занимать 4 КБ. Наглядный пример:
Два файла меньшего размера уже 8 Кб:
Т.е, условно говоря, в показанном выше примере, — Вы теряете место, — ибо хранение небольших файлов в файловой системе с большими (чем размер файлов) кластерами приведет к, условно, потери (простою) места на диске.
Но при этом хранение больших файлов на малом размере кластера привет к излишней фрагментации (не критично для SSD) этого файла на много маленьких кусочков, что потребует большего времени доступа к нему и скажется на производительности. При этом, зачастую (но не всегда), свободное место теряться не будет.
Говоря проще, отсюда стоит вынести следующее:
- Вы выбираете средний (ни туда, ни сюда) размер кластера, если наверняка не знаете какие файлы у Вас будут храниться на диске, за всеми не уследить и вообще пытаетесь попасть в золотую середину;
- Вы точно знаете, что на диске будут храниться в основном мелкие файлы и выбираете наименьший возможный размер кластера;
- Вам не важен небольшой выигрыш в производительности, ценой потери места и потому выбираете наименьший возможный размер кластера;
- Вы точно знаете, что на диске будут храниться в основном большие файлы и выбираете наибольший доступный размер кластера;
- Вы неиллюзорно важен выигрыш в производительности, ценой потери места и выбираете наибольший доступный размер кластера;
- Вы адепт майкрософт_всё_знает_лучше_меня_зачем_я_читаю_эту_статью и оставляете размер по умочанию.
Но это еще не всё. Для адептов последнего пути, далее приводится набор таблиц, которые используются Miscrosoft по умолчанию, в зависимости от размера носителя, т.е это значения по умолчанию, задаваемые системой. Пользоваться ими или нет, — дело Ваше.
Тип файловой системы
Как уже говорилось, диапазон доступного размера кластера зависит от файловой системы. Узнать её можно, нажав правой кнопкой мыши на диске в проводнике («Мой компьютер»), и выбрав пункт «Свойства».
В соответствующей колонке вы увидите, что за файловая система у Вас выбрана при форматировании для диска или внешнего накопителя (если Вы работаете с ним).
Чтобы узнать текущий размер файла, запустите командную строку («поиск — cmd» или «WIN+R» на клавиатуре — cmd) и введите:
fsutil fsinfo ntfsinfo X:
Результат не заставит себя ждать (не кликабельно):
Двигаемся далее.
В следующей таблице описаны размеры кластера по умолчанию для упомянутой в подзаголовке файловой системы:
| 7 МБ — 512 МБ | 512 байт | 4 КБ | 4 КБ |
| >512 МБ — 1 ГБ | 1 КБ | 4 КБ | 4 КБ |
| 1 GB — 2 GB | 2 КБ | 4 КБ | 4 КБ |
| 2 ГБ — 2 ТБ | 4 КБ | 4 КБ | 4 КБ |
| 2 ТБ — 16 ТБ | Не поддерживается* | Не поддерживается* | 4 КБ |
| 16 ТБ — 32 ТБ | Не поддерживается* | Не поддерживается* | 8 KB |
| 32 ТБ — 64 ТБ | Не поддерживается* | Не поддерживается* | 16 KB |
| 64 TB — 128 TB | Не поддерживается* | Не поддерживается* | 32 КБ |
| 128 TB — 256 TB | Не поддерживается* | Не поддерживается* | 64 КБ |
| > 256 ТБ | Не поддерживается | Не поддерживается | Не поддерживается |
Звездочка (*) означает, что она не поддерживается из-за ограничений основной загрузочной записи (MBR).
Размер кластера по умолчанию для FAT32
В следующей таблице описаны размеры кластера по умолчанию для упомянутой в подзаголовке файловой системы:
| 7 МБ — 16 МБ | Не поддерживается | Не поддерживается | Не поддерживается |
| 16 МБ — 32 МБ | 512 байт | 512 байт | Не поддерживается |
| 32 МБ — 64 МБ | 512 байт | 512 байт | 512 байт |
| 64 МБ — 128 МБ | 1 КБ | 1 КБ | 1 КБ |
| 128 МБ — 256 МБ | 2 КБ | 2 КБ | 2 КБ |
| 256 МБ — 8 ГБ | 4 КБ | 4 КБ | 4 КБ |
| 8 ГБ — 16 ГБ | 8 KB | 8 KB | 8 KB |
| 16 ГБ — 32 ГБ | 16 KB | 16 KB | 16 KB |
| 32 ГБ — 2 TБ | 32 КБ | Не поддерживается | Не поддерживается |
| > 2 ТБ | Не поддерживается | Не поддерживается | Не поддерживается |
Идем далее.
Размер кластера по умолчанию для FAT16
В следующей таблице описаны размеры кластера по умолчанию для упомянутой в подзаголовке файловой системы:
| 7 МБ — 8 МБ | Не поддерживается | Не поддерживается | Не поддерживается |
| 8 МБ — 32 МБ | 512 байт | 512 байт | 512 байт |
| 32 МБ -64 МБ | 1 КБ | 1 КБ | 1 КБ |
| 64 МБ — 128 МБ | 2 КБ | 2 КБ | 2 КБ |
| 128 МБ — 256 МБ | 4 КБ | 4 КБ | 4 КБ |
| 256 МБ — 512 МБ | 8 KB | 8 KB | 8 KB |
| 512 МБ -1 ГБ | 16 KB | 16 KB | 16 KB |
| 1 ГБ — 2 ГБ | 32 КБ | 32 КБ | 32 КБ |
| 2 ГБ — 4 ГБ | 64 КБ | 64 КБ | 64 КБ |
| 4 ГБ — 8 ГБ | Не поддерживается | 128 КБ * | Не поддерживается |
| 8 ГБ — 16 ГБ | Не поддерживается | 256 KB * | Не поддерживается |
| > 16 ГБ | Не поддерживается | Не поддерживается | Не поддерживается |
Звездочка (*) означает, что она доступна только на носителе с размером сектора более 512 байт.
Размер кластера по умолчанию для exFAT
В следующей таблице описаны размеры кластера по умолчанию для упомянутой в подзаголовке файловой системы:
| 7 МБ — 256 МБ | 4 КБ |
| 256 МБ — 32 ГБ | 32 КБ |
| 32 ГБ — 256 ТБ | 128 КБ |
| > 256 ТБ | Не поддерживается |
Ну и напоследок послесловие, которое немного резюмирует всё это дело. Еще раз, да.
Послесловие
С точки зрения эффективности пространства, т.е сохранения свободного места на диске, конечно маленький кластер выглядит очень привлекательно и позволяет не терять большие объемы на ровном месте.
С другой стороны, собственно, диски чем дальше, тем больше и дешевле, посему порой можно и принебречь потерями в угоду производительности, и, меньшей фрагментированности данных. С другой стороны, стоит ли заморачиваться, если есть SSD.
С другой, — маловерятно, что на SSD вы храните терабайты фильмов, музыки, фото и других файлов, размером более мегабайта.
Что делать? Как и в случае с файлом подкачки, выбирать решение под свои цели, задачи и железо, либо попросту не заморачиваться, но тогда решительно не понятно зачем Вы это читали 🙂
Как и всегда, если есть какие-то вопросы, разумные мысли и послезные дополнения, то добро пожаловать в комментарии к этому материалу.
Источник: https://sonikelf.ru/razmer-klastera-i-diskovoe-prostranstvo/