поддержка NUMA?

[shubert]

у меня назрел вопрос, читал, что в 9ой ветке бсд есть базовая поддержка NUMA.
а сейчас вопрос, насколько ZFS многопоточна и как она дислацирует память для кэша.
по простому, лучше использовать 1 проц с максимум оперативки или 2 с равномерно распределённой памятью, либо отдать максимум1 процу и немного второму.

система dell PE c2100. 2 xeon 48GB ram
тоесть я могу презентовать
1cpu 32GB
2xcpux cpu0 32GB\ cpu1 16GB
2xcpu cpu0 24GB\ cpu1 24GB

может кто озадачивался?
интерфейсы 2x igb(1g) и 2x ix (10g)
12 дисков по 1TB
4 страйпа по 3 диска RaidZ

 

[mav@]

Эффективное использование NUMA -- очень непростой процесс. Как правило это предполагает ручную привязку процессов, памяти и прерываний к процессорным ядрам. Автоматом и для OS общего назначения это сделать практически невозможно ввиду переменчивости нагрузки на ядра и постоянной миграции процессов, в то время как память аллоцированная однажды останется на первоначальном узле.

Наиболее простой подход дающий наибольший выигрыш минимальной ценой, заключается в равномерном распределений нагрузки между всеми каналами памяти всех узлов. С этой точки зрения я бы вставил память равномерно по всем каналам, учитывая рекомендации производителя конкретной системы (чтобы память работала как многоканальная на каждом узле).

Что касается ZFS -- она достаточно много-поточна. Однако она так-же зависит от многопоточности источника нагрузки. iSCSI и NFS в 9.3 должны паралелиться неплохо, особенно при большим числе клиентов, а Samba/CIFS, на сколько я знаю, заметно хуже.

 

[shubert]

ну специфику работы нума я знаю, подгонка дело долгое и хлопотное.
работать буду только с ISCSI
мне очень не нравилась работа на 1 гиг сети.
перешел на 10г и получил удовлетворительные скорости.
для меня оказалось открытием, что iscsi на один интерфейс не даёт более 40% пропускной способности канала.
это подтвердилось переходом на 10г, наблюдаю эти же самые 40% =) причём если делаю vlan, то в каждом влане свои 40%, то есть только так можно нагрузить полностью.
спасибо за совет. буду дальше тесты гонять

 

[mav@]

Я думаю что 40% это специфика конкретной нагрузки. Думаю она просто недостаточно параллельная, в результате чего задержки при доступе к дискам вызывают простои сети. В своих бенчмарках при достаточной длине очереди из 40GbE+2x10GbE я выжимал полные 60Gbit/s.

 

[shubert]

спасибо за инфу, буду копать.

 

[ansav051]

Подниму тему... Есть SuperMicro X10DRi + 2xXeon E5-2623 v4 2.6GHz + 4x16Гб ОЗУ, планируется доступ к массивам по iSCSI, BIOS самый свежий, инсталляция с нуля. Вопрос: надо ли оставлять включенным в BIOS параметр NUMA Enabled для использования с FreeNAS 11.2? На какие параметры также следует обратить внимание в BIOS данной материнской платы ?
Буду признателен за рекомендации и наводки...
Спасибо!

 

[mav@]

Я могу только предполагать что при выключении NUMA материнская плата может включить чередование страниц памяти между сокетами для более ровного распределение нагрузки вне зависимости от ОС. При включение NUMA балансировка ложится на ОС, но может быть более эффективна при должной оптимизации. В 11 поддержка NUMA все еще достаточно фрагментарна. В 12 будет лучше, но оптимизация это вечный процесс. На своих системах мы NUMA не выключаем, но ты можешь попробовать потестировать и сравнить.

 

[ansav051]

Спасибо за быстрый ответ! Тут скорее вопрос - насколько сама FreeBSD поддерживает NUMA и
Я попробовал поставить FreeBSD 11.2, сначала в NUMA Enable (по умолчанию) и, затем отключил. Логи загрузки обоих вариантов прилагаю... Вроде ничего особенного не увидел... Чем можно потестить и на что обращать внимание при этом?

 

[mav@]

Ну так в логах видно что при включенной NUMA FreeBSD видит какие устройства принаждлежат какому домену (domain 0/1). В verbose dmesg аналогично должно быть видно какая память принадлежит каком у домену. Ну а уж как это знание используется на практике -- это, как я сказал, вечный процесс оптимизации.

Тестить надо на той самой нагрузке для которой сервер предназначен. Все прочее -- та или иная степень упрощения, вплоть до появления совершенно неадекватных результатов.