Низкая производительность и постоянная нагрузка на диски

[Wows123]

Добрый день.
Не понятная проблема с FreeNAS.
Build FreeNAS-9.10-STABLE-201606072003 (696eba7)
Platform Intel(R) Xeon(R) CPU E5645 @ 2.40GHz
Memory 36824MB
Имеем огромные дисковые очереди при минимальной нагрузке (очереди до 40, нагрузка 5-10 мбайт в секунду).
В самой системе iostat показывает что с дисков идет постоянное чтение-запись и практически максимальная нагрузка по IOPS:
[root@freenas2] ~# iostat -x 1 /dev/freenas2
extended device statistics
device r/s w/s kr/s kw/s qlen svc_t %b
da0 0.6 0.2 12.7 5.3 0 7.0 1
da1 89.3 44.1 2478.3 997.9 4 24.7 99
da2 89.2 44.1 2479.1 997.9 4 24.6 99
da3 89.4 44.1 2478.0 997.9 4 24.6 99
da4 89.3 44.1 2477.5 997.9 4 24.7 99
da5 89.5 44.1 2477.3 997.9 5 24.5 99
da6 89.3 44.1 2477.8 997.9 4 24.7 99
da7 89.7 44.1 2474.2 997.9 2 24.6 99

Проблема не понятная, возникла на пустом месте.
Что может быть?

 

[Sugaroverdose]

а "zpool status" что говорит?

 

[Wows123]

Всё без ошибок.
[root@freenas2] ~# zpool status
pool: Freenas2
state: ONLINE
scan: scrub repaired 0 in 55h3m with 0 errors on Tue Jul 26 07:03:59 2016
config:

NAME STATE READ WRITE CKSUM
Freenas2 ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gptid/6f6fce20-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0
gptid/6fc86531-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0
gptid/701a2992-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0
gptid/7082c6aa-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0
gptid/710a91e2-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0
gptid/7177508d-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0
gptid/71bf68ba-345b-11e6-b973-9c8e991608f4 ONLINE 0 0 0

errors: No known data errors

pool: freenas-boot
state: ONLINE
scan: scrub repaired 0 in 0h1m with 0 errors on Fri Jul 8 03:46:53 2016
config:

NAME STATE READ WRITE CKSUM
freenas-boot ONLINE 0 0 0
da0p2 ONLINE 0 0 0

errors: No known data errors

Что примечательно - когда остановили сервис (exchange 2010, роль резервного хранилища почты) - все успокоилось.
Сейчас тестируем - показывает вполне нормальные данные по тестам.
Правда на мелких блоках по 4к совсем печально - 3 мб\сек на запись и 0,8 на чтение. Возможно в этом и была проблема - у чанги чтение-запись идет небольшими блоками.
Однако что интересно - сейчас подняли просто на линуксе (mdadm) таргет на таком же сервере. Очереди есть, но в 2 раза меньше (не больше 10), а скорость чтения-записи в пике поднялась в 3 раза (до 30-40 мбайт в сек.) И время отклика получше (больше 200 мс не было)

 

[Sugaroverdose]

А таргет у вас случаем не NFS был?

 

[Wows123]

Он самый...

 

[Sugaroverdose]

nfs генерирует огромное количество синхронных операций, оттуда и низкая скорость, что-бы производительность была вменяемой для nfs нужно либо поставить ssd в качестве slog, либо переключиться на iscsi, либо рисковать и выключить синхронную запись на датасете:
zfs set sync=disabled /path/to/dataset
включается обратно через
zfs set sync=standard /path/to/dataset

 

[Wows123]

Благодарю, попробую выключить.
Что примечательно... при работе с ISCSI скорость была очень похожая, только нагрузка на диски была пониже. И это при отключенном сжатии.
В чем может быть проблема? Куда копнуть и что почитать?
У меня только через mdadm и при использовании SCST получается нормальная скорость чтения-записи на этом сервере. Больше никакие комбинации не дают нормальной производительности, особенно при работе мелкими блоками...

 

[Sugaroverdose]

Проблема в том, что raid-z пул выдает iops, сколько может потянуть самый медленный диск в пуле, соответственно любые синхронные операции случайного доступа(т.е. мелкие блоки) без slog на флер-диске/ах будут медленными.
Посоветовать ничего не могу, все познания ограничены этим форумом и документацией