Как проверить работу дедупликации?

[BEEn]

Кидаю в папку и под папки одинаковые файлы по 15 Гиг, в "томах" "использовано" пишется полный объём всех копий...
как бы не работает...

 

[mav@]

В `zpool list` смотри колонке DEDUP. Но прежде чем использовать dedup в реальной работе убедись что ты знаеш все его сложности. Мы не реклментуем этого делать без очень веской причины.

 

[BEEn]

zpool list
NAME_________SIZE___ALLOC___FREE___EXPANDSZ__FRAG___CAP__DEDUP__HEALTH ALTROOT
backup________43.5T__30.8G____43.5T_____-__________0%_____0%___3.89x____ONLINE /mnt
freenas-boot__14.4G__752M____13.6G_____-_________-________5%___1.00x___ONLINE -

А какие могут возникнуть сложности?

 

[BaT]

Первое правило дедупликации - не использовать дедупликацию.

Тот небольшой выигрыш в объеме многократно отменяется проблемами с памятью и производительностью.

 

[BEEn]

Память 64 Gb ECC, процы Xeon, всё равно не рекомендуете?

 

[alexander_ks]

Память 64 Gb ECC, процы Xeon, всё равно не рекомендуете?

неа, слишком мало памяти. Там требование было, что надо на 1ТБ 5 ГБ памяти оперативной, если я не путаю. А для чего собственно это нужно? И какие процы?

 

[BEEn]

память докупить не вопрос, процы е5 2690, в планах использовать как хранилище бэкапов, по сути одинаковые данные с небольшими изменениями...

 

[mav@]

А как эти бакапы пишутся? Нельзя ли случаем вместо записи одинаковых копий писать поверх только изменения, как это делает rsync и создавать снапшоты после каждой записи? Это было бы много легче для файловой системы чем dedup.

 

[alexander_ks]

память докупить не вопрос, процы е5 2690, в планах использовать как хранилище бэкапов, по сути одинаковые данные с небольшими изменениями...

Там есть возможность сначала оценить что будет если включить дедупликацию данных, по имеющимся данным он посмотрит сколько можно сэкономить. Если ничего не выйдет, то смысла от этого нет. Я думаю харды стоят дешевле чем оперативка.

 

[BEEn]

бэкапы mssql, которые делаются локально и затем перебрасываются в сетевое хранилище батником

 

[mav@]

Я не знаю как делаются бакапы MSSQL, но ты уверен что два последовательных бакапа будут иметь те-же смещения данных относительно блоков? Если они сжаты, то я полагаю изменение какого-то байта в наяале файла может изменить все смещения в нем и dedup не найдет совпадений. В общем, как сказали выше -- надо проверять.

С другой стороны, бакапы могут писатьться большими блоками (в отличие от iSCSI, что многие пытаются использовать с dedup), так как их не нужно модифицировать после записи, а это сильно облегчает работу dedup, сильно уменьшая объем метаданных.

 

[BEEn]

т.е. я сначала закидываю некоторое количество бэкапов и пробую включить dedup "Там есть возможность сначала оценить что будет если включить дедупликацию данных, по имеющимся данным он посмотрит сколько можно сэкономить." это где?

 

[mav@]

Включать dedup (как и выключать) после записи -- бесполезно, так как опция влияет только на ново-записанные блоки, а старые отстаются как есть. Речь полагаю про `zdb -S` -- записать данные и искусственно посчитать по ним статистику.

 

[alexander_ks]

т.е. я сначала закидываю некоторое количество бэкапов и пробую включить dedup "Там есть возможность сначала оценить что будет если включить дедупликацию данных, по имеющимся данным он посмотрит сколько можно сэкономить." это где?

Да, как написал автор ниже, надо просто посчитать статистику, как это делать из командной строки легко ищется.

 

[n0000b]

бэкапы mssql, которые делаются локально и затем перебрасываются в сетевое хранилище батником

А нет варианта сразу делать бэкап средстваи mssql, там достаточно много функций, и удобно.

 

[BEEn]

Есть 4 винnа по 12 Тб, при создании RAIDZ2 общий объём 21 Тб
Где остальные? :)
Пойду читать про ZFS

 

[alexander_ks]

Есть 4 винnа по 12 Тб, при создании RAIDZ2 общий объём 21 Тб
Где остальные? :)
Пойду читать про ZFS

Все правильно, у вас получается 2+2, где 2 резервных, итого 24 тб или 22 , смотря чему равен 1 Гб в байтах.