Софтовый рейд

[Ethereal^flame]

Ребят, встал вопрос о выборе, сборке, настройке и внедрии FreeNAS в одну маленькую компанию, но с очень объёмным файловым хранилищем.
В общем, есть 800 Гб файловой инфы с прогнозируемым ростом в дальнейшем, сейчас FreeNAS крутится на бюджетном сервере в виртуальной среде под Hyper-V (знаю, что не есть гуд, но средств не было, только сейчас их смогут выделить на нормальный физический сервер под файлошару).
Вопрос такой: если будет неплохой сервер с ECC памятью (кстати, есть ли особая разница между DDR4 памятью ECC и NON-ECC?), 4 или более хардами, то какими средствами лучше строить рейд-массив под них? Т.е. если на сервере активировать софтовый рейд и собрать, скажем, 4 винчестера в RAID-10, то FreeNAS увидит это лишь как один накопитель? Либо же, отключить софтовый рейд на сервере и включить AHCI (будут определяться 4 винта как 4 отдельные диска) и собрать рейд уже внутри самого FreeNAS? Как будет лучше и надёжнее?

 

[chs]

Просто собрать RAID средствами FreeNAS. И брать, что-то типа SuperMicro с 8-12 портами для HDD.
Ну и по поводу ECC. Везде пишут, что для FreeNAS это необходимо - но я как-то сомневаюсь. Была тут на форуме тема.

 

[mav@]

На счет RAID -- отключить (переключить в AHCI) и забыть, тем более софтовый без кеша и батарейки.

На счет ECC -- зависит от важности данных. Если это файлопомойка которую всегда можно потерять или в разумное время поднять из бакапа, а цена времени админа несущественна, то можно и без ECC. Если же сбой памяти и повреждение пула приведет к остановке бизнеса на неделю, то экономия на памяти очень сомнительна. У ZFS нет стредств восстановления, потому мелких сбоев просто не бывает, все серьезно.

 

[Ethereal^flame]

На счет RAID -- отключить (переключить в AHCI) и забыть, тем более софтовый без кеша и батарейки.

На счет ECC -- зависит от важности данных. Если это файлопомойка которую всегда можно потерять или в разумное время поднять из бакапа, а цена времени админа несущественна, то можно и без ECC. Если же сбой памяти и повреждение пула приведет к остановке бизнеса на неделю, то экономия на памяти очень сомнительна. У ZFS нет стредств восстановления, потому мелких сбоев просто не бывает, все серьезно.

Спасибо за развернутый ответ, дорогой человек, тогда буду строить файлошару с ECC на FreeNAS'овском рейде, т.к. файлошара огромная просто и важны данные, хоть и есть бекап восстанавливаться из бекапа - уйдет много времени. А часто ли такое бывает, что обычная (NON-ECC) память сбоит? В моей практики такого еще не было.
Еще вопрос не совсем по теме: было бы интересно тогда узнать, что произойдет с Интеловским (HP Smart Array b110i) софтовым рейд-массивом (RAID-10), в котором собраны 4 винта, если, скажем, умрет один или два диска?

 

[Mihalich]

А часто ли такое бывает, что обычная (NON-ECC) память сбоит? В моей практики такого еще не было.
Еще вопрос не совсем по теме: было бы интересно тогда узнать, что произойдет с Интеловским (HP Smart Array b110i) софтовым рейд-массивом (RAID-10), в котором собраны 4 винта, если, скажем, умрет один или два диска?

Оперативка - очень надёжная штука, в моей практике проблемы с ней возникали только по причине плохого контакта. По поводу HP Smart Array b110i, я бы вообще не советовал этим пользоваться - это программно-аппаратный рейд от HP и если выйдет из строя один диск, то ничего страшного, а если контроллер начнёт чудить - это будет фэйл. РЭЙД 10, как известно, это сочетание РЭЙД 1 и 0, допускается выход из строя двух дисков (в 4-х дисковой массиве), НО если они будут в пределах разных зеркал.

 

[Ethereal^flame]

Оперативка - очень надёжная штука, в моей практике проблемы с ней возникали только по причине плохого контакта. По поводу HP Smart Array b110i, я бы вообще не советовал этим пользоваться - это программно-аппаратный рейд от HP и если выйдет из строя один диск, то ничего страшного, а если контроллер начнёт чудить - это будет фэйл. РЭЙД 10, как известно, это сочетание РЭЙД 1 и 0, допускается выход из строя двух дисков (в 4-х дисковой массиве), НО если они будут в пределах разных зеркал.

Принял к сведению, спасибо. Думаю, не часто такое бывает, что программно-аппаратные рейды начинают "чудить" или ошибаюсь? Если с питанием всё хорошо (ИБП) и нормальное охлаждение внутри корпуса, то, по идее, не должно быть "приколов".

 

[Ethereal^flame]

Какой массив посоветуете на новом файлосервере для FreeNAS? будут 4 новых диска (выбираем между WD Red vs WD Gold), или RAID-10 или всё-таки RAID-Z?

 

[Mihalich]

По идее то не должно быть, b110i - это не полноценный рэйд-контроллер, в таком случае народ обычно делает полностью софтовый массив, что бы не привязываться к железу.
Z1 - допускает выход из строя одного любого диска, для массива нужно минимум 3 харда (это аналог RAID5, как я понял)
Z2 - соответственно двух любых дисков, минимум нужно 4 винта (аналог RAID6).
Есть ещё мнение что для Z1 лучше использовать нечётное количество дисков, а для Z2 - чётное. И конечно учитывайте доступные объёмы в массивах, для Z1 и Z2 они естественно разные как и их производительности.
Голды считаются круче.

 

[mav@]

А часто ли такое бывает, что обычная (NON-ECC) память сбоит? В моей практики такого еще не было.

В моей практике администрирования "сервера" на базе десктопных компонентов было несколько случаев появления битых контрольных сумм одновременно на всех дисках зеркала, что полагаю могло быть вызвано сбоями памяти. В общем-то мелочь, но лечить это было не очень приятно.

 

[CrashX]

а зачем козе боян ?

ваша цель создание устойчивой файло помойки
в небольшие компании можно купить брендовый сервер прошлых лет, и без проблем использовать его возможности
скажем есть хорошие шасси HP, блоки питания единственный расходник
правда такие шасси требуют оборудованной серверной, и наличие кондея желательно

хороший видео или файло сервер https://shop.nag.ru/catalog/02275.S...-G6-DL180-G6/21234.DL180G6_2xX5650_48GB_25SFF

например дешевая виртуализация https://shop.nag.ru/catalog/02275.S...-G6/23227.DL4x170e_G6_8xL5630_96GB_24HDD#desc

диски можно ставить обычные sata
для видео использую https://barnaul.e2e4online.ru/shop/catalog/item/?id=545614 (служат по 2-3 года, дальше помойка без зазрения совести)
для данных https://barnaul.e2e4online.ru/shop/catalog/item/?id=495442 (диски хорошие, гарантия 5 лет, аналогичные уже стоят около 4 лет проблем нет, рабоют в RAID6 без проблем )

 

[CrashX]

По идее то не должно быть, b110i - это не полноценный рэйд-контроллер, в таком случае народ обычно делает полностью софтовый массив, что бы не привязываться к железу.
Z1 - допускает выход из строя одного любого диска, для массива нужно минимум 3 харда (это аналог RAID5, как я понял)
Z2 - соответственно двух любых дисков, минимум нужно 4 винта (аналог RAID6).
Есть ещё мнение что для Z1 лучше использовать нечётное количество дисков, а для Z2 - чётное. И конечно учитывайте доступные объёмы в массивах, для Z1 и Z2 они естественно разные как и их производительности.
Голды считаются круче.

Z1 Z2 это не аналоги, RAID это организация дисков, а ZFS организация файловой системы
у них разные задачи, и они работают на разном уровне, со стороны обывателя они похожи, но по факту они разные
хороший RAID не нуждается в мощности шасси (память, проц) его главная потребность диски с расширенным набором функций, контролем четности и наличие кеш и батарейки

ZFS зачастую быстрее чем RAID любой организации, за счет того что используется всю мощность шасси, оперативную память (желательно Reg ECC, правда тут мы теряем в скорости памяти, 1-2Т в зависимости от памяти, 1Т еще терпимо, 2Т уже много), тем не менее ZFS более гибкая, и может сильно расширяться за счет SSD кеш M.2/PCI-E, памяти, хороших HBA контроллеров которые часто дешевле чем RAID


отсюда вывод
RAID6 надежнее, но медленнее, имеет ряд функциональных возможностей восстановления массива, миграции, объединения, и дублирования "находу" (только тут надо понимать вытянет ли все это контроллер)
ZFS-Z2 быстрее, имеет возможность восстановления массива, имеет большой недостаток, если вы забыли выставить квоту на датасет, то будет печаль когда места будет менее 20% скорость начнет падать, и будут проблемы, особенно с виртуализацией

ИМХО рассматриваю только Z2 всегда, Z1 не достаточно надежный.