Register for the iXsystems Community to get an ad-free experience and exclusive discounts in our eBay Store.

Как выжать 12Гб\с из SAS

Joined
Feb 15, 2020
Messages
3
Доброго времени форумчане.

Помогите осмыслить мои потуги)) в направлении скоростей и подключений в сборной солянке на базе FreeNAS

Для домашней лабы и прочих шалостей имеется:

Сервер - supermicro-x8dti-f-3u
2шт - Intel(R) Xeon(R) CPU X5670 @ 2.93GHz
памяти - 65326MB
контроллер - LSI 9300-8i (Fujitsu) SAS 12Гб\с
два диска 6 ТБ Toshiba Enterprise Capacity (MG04SCA60EE)
сеть 10Gb
система FreeNAS-11.2-U7
==============
так же есть много всяких дисков от 160Гб до 4Тб не серверных...
ssd так же от 120 до 480 валяются..
==============
как выжать из этого железа максимально быстрое хранилище для ВМ на базе ESXI и Hyper-V

Хосты гипервизоров так же с 10Gb картами собрано все через 10Gb коммутатор
==============

нет задачи мегапродакшена или из говна-в-конфетку..
просто нужно понимание ЧТО может FreeNAS по iSCSI выдать на таком железе

из потуг своих вижу, что выше 60МБ\с не поднимается скорость даже при копировании с ssd на sas диски подключенные к одному 12gb контроллеру

Главный вопрос - как заставить использовать всю ширину сети и контроллера...
 

mav@

FreeNAS Guru
iXsystems
Joined
Sep 29, 2011
Messages
992
Для ВМ нужен максимум IOPS, так как крупные и выровненные операции там случаются реже чем хотелось бы. Потому пункт первый -- максимальное число шпинделей в зеркале (никаких RAIDZ, особенно из HDD) в одном пуле. Пункт второй -- выбор правильного размера блока ZVOL: больший блок ускоряет последовательные операции, меньший -- случайные, оптимально где-то 16-32КБ. Так-же надо смотреть что именно за нагрузку ты меряешь, не упираешься ли в клиента или не делаешь ли чего-то неразумного вроде сильно мелких операций со слишком короткой очередью. Ну и конечно сеть надо проверить iperf'ом чтобы убедиться что она реально эти 10Gb может выдать.

Что ждать от сервера теоретически сказать сложно, зависит от вида нагрузки, но думаю 10Gb получить должно быть реалистично, хотя сервер конечно древний. 60МБ/с -- это очень мало, если конечно там пул адекватный, дисков хотя бы десяток-два, сеть исправна и т.п. На топовом современном железе на новом FreeNAS/TrueNAS 11.3 мы сейчас меряем на iSCSI до 15ГБ/с чтения из кеша и где-то 6-8ГБ/с с дисков, запись несколько медленнее.
 
Joined
Feb 15, 2020
Messages
3
Спасибо за развернутый ответ. есть пища для размышления..

неужели для домашних 5-7 ВМ нужен пул в 10-20 sas 15k 12gb\s ???
 

mav@

FreeNAS Guru
iXsystems
Joined
Sep 29, 2011
Messages
992
неужели для домашних 5-7 ВМ нужен пул в 10-20 sas 15k 12gb\s ???
15К диски сейчас заменили SSD, так как они много быстрее и имеют больше смысла когда нужна скорость. Когда скорость не главный фактор (объем и цена важнее), то 5.4/7.2K имеют больше смысла. SAS или SATA зависит от масштаба хранилища, требуемой надежности и дополнительный функций. Для дома (тем кому и правда нужно выделенное хранилище) стопка SATA WD Red на 3-4ТБ более чем достаточна. У меня 6 по 6ТБ стоят уже несколько лет, но я на них виртуалки особо не гоняю, фильмы в основном, и то до сих пор не занял.
 
Joined
Feb 15, 2020
Messages
3
так, тогда по факту, у меня есть 2 по 6Тб sas диска, 7200 и 12Гб\с
их я планирую для зеркала средствами FreeNAS для данных в ВМ, ибо как я начитался тут - железный рейд FreeNAS не любит.. ну или не умеет его готовить...

сами же системные диски машин стоит разместить на ssd - верно?
зеркало не имеет смысла на этих дисках?

опять же, если нужно будет завести файлопомойку в ВМ - достаточно ли будет производительности sas 12gb\s или нет? я опять же не про мегапродакшен... для дома.. Комфортно ли будет удаленно работать на такой ВМ при необходимости открытия фоток, каких то документов..

я сейчас тут говорю в разрезе использовании FreeNAS в качестве системы хранилища..

просто, есть большой опыт в использовании Windows сервисов для создания хранилищ для виртуализации..
да и опенсорс не мало.. и glusterfs... openmediavault... ceph.. да много их пробовал..
только здесь iscsi нормально в вебмордой работает...

хочется комфорта... без манов... при конфигурировании и обслуживании...
 

mav@

FreeNAS Guru
iXsystems
Joined
Sep 29, 2011
Messages
992
ибо как я начитался тут - железный рейд FreeNAS не любит.. ну или не умеет его готовить...
Он даже противопоказан, так как подменяет встроенную логику ZFS, что снижает надежность и производительность.

сами же системные диски машин стоит разместить на ssd - верно?
зеркало не имеет смысла на этих дисках?
Для нормальных SSD не имеет. Хотя зеркалирование и поддерживается для всякого г., обычно достаточно время от времени бакапить конфигурацию, чтобы просто ее перезалить на новый диск, если что.

опять же, если нужно будет завести файлопомойку в ВМ - достаточно ли будет производительности sas 12gb\s или нет? я опять же не про мегапродакшен... для дома.. Комфортно ли будет удаленно работать на такой ВМ при необходимости открытия фоток, каких то документов..
Все относительно. Работать будет, а если захочется большего -- потом можно будет дисков добавить. А SAS 12Gb/s это вообще топ на сегодняшний день, больше просто не бывает. Это-же 12Gb/s на линию, которых в одном контроллере обычно не меньше 4 (один разъем mini-SAS HD), а чаще 8 (два разъема) или больше. Чтобы такое реально загрузить при помощи HDD, их надо полный JBOD дисков на 60 одним кабелем подключить. Тут у меня вопрос больше про SAS backplane в твоем сервере. Если он с экспандером и старый, то хорошо если 6Gb/s выдаст, а то и 3. Но если он без экспандера (прямое дискретное подключение дисков к HBA), то за исключением качества сигнала должно быть все равно что там.
 
Top