Как выжать 12Гб\с из SAS

usmailer

Cadet
Joined
Feb 15, 2020
Messages
4
Доброго времени форумчане.

Помогите осмыслить мои потуги)) в направлении скоростей и подключений в сборной солянке на базе FreeNAS

Для домашней лабы и прочих шалостей имеется:

Сервер - supermicro-x8dti-f-3u
2шт - Intel(R) Xeon(R) CPU X5670 @ 2.93GHz
памяти - 65326MB
контроллер - LSI 9300-8i (Fujitsu) SAS 12Гб\с
два диска 6 ТБ Toshiba Enterprise Capacity (MG04SCA60EE)
сеть 10Gb
система FreeNAS-11.2-U7
==============
так же есть много всяких дисков от 160Гб до 4Тб не серверных...
ssd так же от 120 до 480 валяются..
==============
как выжать из этого железа максимально быстрое хранилище для ВМ на базе ESXI и Hyper-V

Хосты гипервизоров так же с 10Gb картами собрано все через 10Gb коммутатор
==============

нет задачи мегапродакшена или из говна-в-конфетку..
просто нужно понимание ЧТО может FreeNAS по iSCSI выдать на таком железе

из потуг своих вижу, что выше 60МБ\с не поднимается скорость даже при копировании с ssd на sas диски подключенные к одному 12gb контроллеру

Главный вопрос - как заставить использовать всю ширину сети и контроллера...
 

mav@

iXsystems
iXsystems
Joined
Sep 29, 2011
Messages
1,428
Для ВМ нужен максимум IOPS, так как крупные и выровненные операции там случаются реже чем хотелось бы. Потому пункт первый -- максимальное число шпинделей в зеркале (никаких RAIDZ, особенно из HDD) в одном пуле. Пункт второй -- выбор правильного размера блока ZVOL: больший блок ускоряет последовательные операции, меньший -- случайные, оптимально где-то 16-32КБ. Так-же надо смотреть что именно за нагрузку ты меряешь, не упираешься ли в клиента или не делаешь ли чего-то неразумного вроде сильно мелких операций со слишком короткой очередью. Ну и конечно сеть надо проверить iperf'ом чтобы убедиться что она реально эти 10Gb может выдать.

Что ждать от сервера теоретически сказать сложно, зависит от вида нагрузки, но думаю 10Gb получить должно быть реалистично, хотя сервер конечно древний. 60МБ/с -- это очень мало, если конечно там пул адекватный, дисков хотя бы десяток-два, сеть исправна и т.п. На топовом современном железе на новом FreeNAS/TrueNAS 11.3 мы сейчас меряем на iSCSI до 15ГБ/с чтения из кеша и где-то 6-8ГБ/с с дисков, запись несколько медленнее.
 

usmailer

Cadet
Joined
Feb 15, 2020
Messages
4
Спасибо за развернутый ответ. есть пища для размышления..

неужели для домашних 5-7 ВМ нужен пул в 10-20 sas 15k 12gb\s ???
 

mav@

iXsystems
iXsystems
Joined
Sep 29, 2011
Messages
1,428
неужели для домашних 5-7 ВМ нужен пул в 10-20 sas 15k 12gb\s ???
15К диски сейчас заменили SSD, так как они много быстрее и имеют больше смысла когда нужна скорость. Когда скорость не главный фактор (объем и цена важнее), то 5.4/7.2K имеют больше смысла. SAS или SATA зависит от масштаба хранилища, требуемой надежности и дополнительный функций. Для дома (тем кому и правда нужно выделенное хранилище) стопка SATA WD Red на 3-4ТБ более чем достаточна. У меня 6 по 6ТБ стоят уже несколько лет, но я на них виртуалки особо не гоняю, фильмы в основном, и то до сих пор не занял.
 

usmailer

Cadet
Joined
Feb 15, 2020
Messages
4
так, тогда по факту, у меня есть 2 по 6Тб sas диска, 7200 и 12Гб\с
их я планирую для зеркала средствами FreeNAS для данных в ВМ, ибо как я начитался тут - железный рейд FreeNAS не любит.. ну или не умеет его готовить...

сами же системные диски машин стоит разместить на ssd - верно?
зеркало не имеет смысла на этих дисках?

опять же, если нужно будет завести файлопомойку в ВМ - достаточно ли будет производительности sas 12gb\s или нет? я опять же не про мегапродакшен... для дома.. Комфортно ли будет удаленно работать на такой ВМ при необходимости открытия фоток, каких то документов..

я сейчас тут говорю в разрезе использовании FreeNAS в качестве системы хранилища..

просто, есть большой опыт в использовании Windows сервисов для создания хранилищ для виртуализации..
да и опенсорс не мало.. и glusterfs... openmediavault... ceph.. да много их пробовал..
только здесь iscsi нормально в вебмордой работает...

хочется комфорта... без манов... при конфигурировании и обслуживании...
 

mav@

iXsystems
iXsystems
Joined
Sep 29, 2011
Messages
1,428
ибо как я начитался тут - железный рейд FreeNAS не любит.. ну или не умеет его готовить...
Он даже противопоказан, так как подменяет встроенную логику ZFS, что снижает надежность и производительность.

сами же системные диски машин стоит разместить на ssd - верно?
зеркало не имеет смысла на этих дисках?
Для нормальных SSD не имеет. Хотя зеркалирование и поддерживается для всякого г., обычно достаточно время от времени бакапить конфигурацию, чтобы просто ее перезалить на новый диск, если что.

опять же, если нужно будет завести файлопомойку в ВМ - достаточно ли будет производительности sas 12gb\s или нет? я опять же не про мегапродакшен... для дома.. Комфортно ли будет удаленно работать на такой ВМ при необходимости открытия фоток, каких то документов..
Все относительно. Работать будет, а если захочется большего -- потом можно будет дисков добавить. А SAS 12Gb/s это вообще топ на сегодняшний день, больше просто не бывает. Это-же 12Gb/s на линию, которых в одном контроллере обычно не меньше 4 (один разъем mini-SAS HD), а чаще 8 (два разъема) или больше. Чтобы такое реально загрузить при помощи HDD, их надо полный JBOD дисков на 60 одним кабелем подключить. Тут у меня вопрос больше про SAS backplane в твоем сервере. Если он с экспандером и старый, то хорошо если 6Gb/s выдаст, а то и 3. Но если он без экспандера (прямое дискретное подключение дисков к HBA), то за исключением качества сигнала должно быть все равно что там.
 

lazybird

Cadet
Joined
Apr 8, 2020
Messages
3
Я собирал за x8 матерях с HBA-контролллерами на SASах. 10G забить синтетикой можно. Скорость будет по максимуму. С одного хба-контроллера это снимается. В реальности же у меня не получилось загрузить 10Гбит сеть. Большой удобный файл в неск. сотен мегабайт (tiff) фотошоп, по памяти, читает что-то вроде 400-500 мбит. Больше не знаю чем.

Я просто поставил на сервер hyper-v и в нем запустил в виртуальной машине freenas. Так сильно удобнее пользоваться и администрить. Диски подключать и т.д. Больше года работает, если не ошибаюсь.
 

usmailer

Cadet
Joined
Feb 15, 2020
Messages
4
и скорость нормальная при виртуальном фринасе?
просто хочется максимально уйти от лицензий...
 

lazybird

Cadet
Joined
Apr 8, 2020
Messages
3
Я собирал разные конфигурации дисков, остановился на страйпе из двух raidz1 по 4 диска каждый. Выжимал макс. скорость однопоточного чтения. По факту, как уже писал, нет софта, который может так много проглотить (у меня). При этом приходилось еще данные переносить. Сейчас бы так не делал (из-за скорости, которую не утилизировать всю), сделал бы попроще что. Но диски забиты и все эти датадвижения надоели уже. Каждый раз риски что-то забыть)) Разницу в скорости ощутить не могу, потому что не проводил исследований по сравнению. Вроде работает. Удобно. Нет проблем с драйверами 10G и обычных карт. Управлять просто, диски менять и т.д.

Минусы: нет динамической памяти (и, видимо, невозможно), при выключении ВМ снаружи, т.е. при перезагрузке хоста, фринас видит какой-то power event, но не понимает его и соотв. выключается насильно на горячую. Если выключать снаружи кнопкой из диспетчера, то видит, наск. я помню. Т.е. это место до конца не работает.
 

Attachments

  • freenas.JPG
    freenas.JPG
    36.2 KB · Views: 310

lazybird

Cadet
Joined
Apr 8, 2020
Messages
3
Если делать отдельный сервер для фринаса, то процессоры будут стоять почем зря -- я никогда не видел большой загрузки.
 
Top