Доступное место на томе и на dataset и сколько станет, если добавить диск?

[Mihalich]

Почему свободное место на томе и на датасете (windows share) отличается в два раза, хотя никаких квот не установлено, сколько всё-таки сейчас доступно и сколько будет доступно если добавить ещё один такой же винт (5 x HDD 1TB RAIDZ2 сейчас)?

 

[mav@]

Особенность учета пространства RAIDZ в том что для пула показывается грязное пространство, из которого при записи вычтется пространство занимаемое контрольными суммами, выравниванием и всякими метаданными, размер которых может варьироваться. Для датасета же показывается чистое пространство для данных, но это приблизительное значение, так как оно зависит от характера записываемых данных, размера блоков, а так-же не включает некоторый аварийный резерв места на случай переполнения.

В любом случае пул уже достиг более 80% использования места и писать на него дальше очень не рекомендуется ввиду вероятного резкого роста фрагментации.

Если существующий RAIDZ2 перестроить с 5 дисков до 6, то прибавится примерно 1/3 полезного объема, так как сейчас полезные данные занимают примерно 3 диска из 5, а будут 4 из 6.

 

[Mihalich]

И ещё два вопроса: 1. если добавить диск большего объёма чем остальные, скажем на 2 ТБ, т.е. тот же рэйд из 5 дисков (1 ТБ каждый) и добавляем к нему шестой диск на 2 ТБ, как в так случае объём распределится, будет ли использоваться дополнительный второй ТБ и не упадёт ли производительность массива?
2. Что будет если не добавить, а заменить, например, пятый или первый диск на двух трерабайтный?

 

[mav@]

В RAIDZ нельзя просто добавить один диск, его надо пересоздавать заново или добавлять в пул сразу целый top-level vdev (еще 5 дисков в RAIDZ2 для симметрии).

Если добавлять новый top-level vdev, то он может быть вообще каким угодно в рамках здравого смысла, хотя симметрия желательна для лучшей производительности.

Если же заменить в существующем vdev 1TB диск на 2TB, то не изменится ничего -- диск обрежется до объема наименьшего, входящего в тот vdev. Но если так поочередно заменить все диски, то в конце концов объем удвоится. Но в таком случае может быть быстрее и лучше создать новый пул и перелить данные.

 

[Mihalich]

Ясно. Спасибо.

 

[CrashX]

еще "доступный" объем зависит от
того стоит ли сжатие, дедубликация
тк при добавлении или удалении файлов, может срабатывать дедубликация или сжатие для некоторых видов данных
а для других нет

Raid Z2 не рекомендуется создавать из 5 дисков, так же как оригинальный RAID6 тк наблюдается падение производительности и большой % потери места

и да вот еще примерный % доступного места http://forum.ixbt.com/topic.cgi?id=4:127864:3910#3910
но все зависит от реальных данных

вот хороший калькулятор для расчета емкости пула из дисков http://wintelguy.com/zfs-calc.pl
я от его расчетов вычитаю еще 25% и это число ставлю как квоту на выделенный датасет

http://clip2net.com/clip/m133812/5afe0-clip-294kb.jpg


и вот http://wintelguy.com/raidcalc.pl
классический калькулятор с учетом групп

 

[Mihalich]

Raid Z2 не рекомендуется создавать из 5 дисков, так же как оригинальный RAID6 тк наблюдается падение производительности и большой % потери места

А из скольких рекомендуется? 6 норм будет?
Когда конфигурил, фринас сам предложил RAIDZ2, типо оптимально для моих пяти дисков.
Есть рекомендация для одного vdev: "Using more than 12 disks per vdev is not recommended. The recommended number of disks per vdev is between 3 and 9. With more disks, use multiple vdevs."
Вообще я на производительность не жалуюсь, запись на скорости локальной сети (1 Гбит/с) идёт без проблем и даже быстрее.

 

[mav@]

Это из области тюнинга. RAIDZ2 предпочитает аллоцировать пространство кратно трем блокам (читай 3 винтам, если записи мелкие), потому если записи данных мелкие и так как в ZFS они всегда имеют размер степени двойки, то на 6 дисков в RAIDZ2 они могут ложиться чуть плотнее чем на 5 или скажем на 7. Но это все становится совершенно непредсказуемо при включенной компрессии, так как размеры пляшут от сжимаемости данных. Кроме того, не так давно обнаружили и пофиксили баг в коде RAIDZ снижавший скорость в случае когда плотно они не ложились. В итоге сейчас, по словам самих разработчиков, реально это уже не столь важно.

 

[CrashX]

А из скольких рекомендуется? 6 норм будет?
Когда конфигурил, фринас сам предложил RAIDZ2, типо оптимально для моих пяти дисков.
Есть рекомендация для одного vdev: "Using more than 12 disks per vdev is not recommended. The recommended number of disks per vdev is between 3 and 9. With more disks, use multiple vdevs."

для RAIDZ2
6/8 правильные конфигурации, производительные, и кране надежные
10/12 менее надежные, но имеют наибольшее полезное дисковое пространство, но при ребилде могут возникнуть проблемы, правда у RaidZ2 они менее критичны нежели в RAID6

поэтому я в продакшене группирую
из шасси на 25 дисков, делаю 1 под ОС, 24=3x8 (RaidZ2)

по поводу выбора RAID
я всегда отталкиваюсь так
5 - 4+1
6 - 4+2
8 - 6+2
9 - 6+3

про баги в ZFS к сожалению нам досталась версия очень старая, которую штопают, новые билды нам недоступны в SUN уже давно новые версии используются которые умеют очень многое, ставил солярку там все быстрее работает....

я делаю ставку на OpenZFS