Медленная работа дисковой системы

[av_spb]

Здравствуйте!
Есть желание сделать файловый сервер. Установил freeswan 9.10. (на ssd), подключаю диск для данных (raid 5, sas). В volueme manager выбираю один диск (raid 5, sas), тип выбираю stripe, создаю том. Затем на созданном томе создаю датасет. Все.
Запускаю на копирование внутри датасета файл 5 Gb (mc) и система его копирует со скоростью ~50 Магабайт/секунда.

Сношу все, устанавливаю debian, назначение дисков не меняю и этот же файл копируется со скоростью ~500 Магабайт/секунда.

Еще раз поставил freeswan и опять медленная скорость на raid sas. Поэксперементировал с опциями тома и дата сетов, но ничего координального не поменялось.

Может кто укажет на возможные мои ошибки? Спасибо.

 

[mav@]

Неужели мало раз было сказано, что не стоит ZFS использовать поверх других RAID?

 

[av_spb]

Сразу извиняюсь за оговорку....конечно же freenas (редактировать не дает)

 

[av_spb]

К сожалению не дошел еще до этой информации :( На raid-е совсем не живет, даже если raid совсем честный (аппаратный)? raid 5 на ssd высокую скорость показывает (этот же комп).

 

[mav@]

Ну как не живет. У тебя же получилось тест провести. Вот только менее надежно и медленне чем на отдельных дисках. Аппаратный RAID в теории может дать выигрыш только по времени коммита транзакций если у него есть большой кеш записи с батарейкой. Если же батарейки нет, то этот RAID вообще ничем не поможет, сколь бы аппаратным он ни был. Но если время коммита критично, то личше купить хороший NVME SSD для SLOG. Мощность современных процессоров много выше мощности процессора RAID, так что сам по себе он не сильно помогает.

 

[av_spb]

Что-то не выходит каменный цветок...

Разобрал аппаратный raid 5. Диски подключены к raid-контроллеру (lsi-3108). Если ничего с дисками не делать, то freenas их не видит, поэтому сделан с каждым диском RAID 0. После чего на FeeNas собираю из 3-х дисков RAIDZ. Проверяю скорость через копирование внутри себя - скорость 20 мегабайт/секунда. Караул!!!

Куда копать?

 

[mav@]

RAID 0 из каждого диска светит сложностями при hotswap. Но скорость и правда караул. Посмотри что `gstat -I 1s` покажет про каждый из дисков (загрузка, IOPS, задержки). Проверь включен ли на дисках кеш: RCD и WCE в `camcontrol mode da0 -m 0x08` (должно быть 0 и 1 соответственно).

Что там за диски? Их нельзя для проверки в мать воткнуь?

 

[av_spb]

Провел замеры, посмотрел на выводы - какая то ерунда.
1. Диски через camcontrol devlist - SEAGATE ST4000NM0023 (sas) и SEAGATE ST400FM0073 (ssd). Кэш на дисках включен (конфигурируется на raid-контроллере) проверить через camcontrol mode не удалось - похоже формат не поддерживается.

2. 3 sas = RAIDZ, 1 ssd=stripe.

При копировании:
sas -> sas = 40 Мегабайт/с;
sas -> ssd = 10 Мегабайт/с;
sas -> sas = 10 Мегабайт/с;
ssd -> sas = 40 Мегабайт/с.

Скрины прилагаю. Непонятно еще то, что при первой установке FreeNas, на ssd все летало, а сейчас нет.

 

[mav@]

150мс время записи на SSD это сильно перебор. Что-то сильно не так с этим контроллером или его драйвером. Возьми простой mps(4)/mpr(4) HBA от LSI и да будет тебе счастье. Или разбирайся что с этим не так, но тут много помощи не окажу.

 

[av_spb]

Если под Linux и Windows нормально работает, то получается дело в драйвере под FreeBSD.

 

[mav@]

Жалобы в LSI/Broadcom -- у них есть FreeBSD коммиттеры, которые официально поддерживают упомянутые драйверы для HBA mps(4) и mpr(4).

 

[mav@]

Проверь что у тебя фирмварь свежая на RAID адаптере.

 

[av_spb]

Спасибо! буду ковырять.

 

[av_spb]

Удалось получить нормальную скорость на данном raid-контроллере (lsi-3108). Причем скорость аппаратного raid-5 оказалась выше чем программного raidz. Скорость с sas на sas = 600MB, ssd-> sas=1000MB.

Рецепт оказался таким:
echo hw.mfi.mrsas_enable = 1 >> /boot/loader.conf
echo mrsas_load = YES >> /boot/loader.conf
echo hw.mfi.mrsas_enable="1" >> /boot/device.hints

 

[mav@]

Ура. Разве что вместо прямой записи в конфигурационные файлы лучше сделать это через Web интерфейс, тогда это будет работать и после обновлений.

 

[av_spb]

ok, сделаю.
Есть небольшой вопрос не по теме.

Стал знакомиться с iscsi. Создал ресурс, подключил клиента, попробовал сделать snapshort. Написал, что snapshort сделал, но восстановить, так как в dataset (щелкнул в админке "ролбэк" и все вернулось), не получается. Ошибок не выдает. В iscsi как-то по другому восстановление делается?

 

[mav@]

Все так-же, и если ошибок не выдало -- вероятно rollback таки сработал. Полагаю что дело в кешировании на стороне клиента. Нельзя делать rollback при живом клиенте, это грозит повреждением файловой системы и данных. Или отключи клиента на всемя rollback, или создай клон на базе снапшота, подключи его отдельным диском и скопируй оттуда нужные файлы.

 

[av_spb]

Спасибо за подсказку!
Через клон уже получилось, через другие варианты пока не очень. Буду ковырять. :)