Помогите купить\собрать сервер для highload сервера бэкапов на zfs или мысли с слух почему нет.

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
изучая freenas и развернув его на тестовой машине с i3 +4gb+ 4x1500GBsata понял, что серьезности у freeNas мало...
потому что одно дело собрать nas сервер для дома другое для high load хранилки на 60 TB под VeeamBackup Ent
суть заключается в том что это ведь должно еще быть грамотно собрано в корзине ведь так?
что имеем
нужно:
60-100Tb хранилку в raid6(ну или как она в zfs2?) 6-8HDD sata или sas15k
10Gb Ethernet
Led check вышедшего из строя HDD для hot spare замены(вы же не будете выключать сервер чтоб вытащить все hdd чтоб найти серийник того на котором горит alarm по snmp или в dashboard FreeNAS

теперь итог:
можно собрать на коленке ну или да даже купить Supermicro 6027R куда все красиво впихать чтоб поставить в стойку на худой конец.
но столкнемся с тем что:
1) индикации какой hdd вышел из строя у нас не будет, а следовательно забыли о hot spare и горящей замене hdd
это наверно одна из главых проблемы по которой я все еще думаю о том чтоб собирать всё на FreeNAS
2)дальше мы сталкиваемся с тем что если мы собираем на коленке(берем мамку с 6 портами sata) то у нас нет 10gb ethernet оО точнее он как бы есть я даже нашел на сайте Asus XG-C100C кому интересно(https://www.dns-shop.ru/product/fb4fc8c7802f3330/setevaa-karta-asus-xg-c100c/)
но поддерживает ли у нас FreeNAS ее?
Хорошо. у нас есть HBA но он не решает проблемы первого пункта...

и вот я прихожу к выводу, что я не готов тратить деньги заказчика в райне 250-300к рублей на покупку железа не имея гарантии что я разверну нормальный nas сервер.
а так всё хорошо начиналась когда я увидел FreeNAS и глаза загорелись....
старый поклонник FreeBSD я)


Или я может не прав?

ps ночью пока лежал мыслей было просто куча. уснуть не мог до 4х утра. зарегился но решил отложить написания треда на
 

chs

Guru
Joined
Apr 18, 2017
Messages
500
Ну попробуйте - TrueNAS
По поводу 10Gb - ixgb, ixgbe поддерживают Intel 10Gb адаптеры - https://www.freebsd.org/releases/11.2R/hardware.html#ethernet - если будет время посмотрю - как оно с Intel X550 T2
По поводу "мигания лампочкой" - то скорее всего только через MegaRAID утилиту. Всё равно же кроме LSI (Avago) ничего больше не осталось.
 

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
Ну попробуйте - TrueNAS
По поводу 10Gb - ixgb, ixgbe поддерживают Intel 10Gb адаптеры - https://www.freebsd.org/releases/11.2R/hardware.html#ethernet - если будет время посмотрю - как оно с Intel X550 T2
По поводу "мигания лампочкой" - то скорее всего только через MegaRAID утилиту. Всё равно же кроме LSI (Avago) ничего больше не осталось.

А тут следующая проблема, я работаю на гос структуры. и я не смог найти потавщика в РФ кто бы продал TrueNAS... искал я уже это все....

так неужели я прав? что удел FreeNAS это дешевые компы для дома и маленькие бизнес компании на 5-10 человек?

нашел я вроде hba на 16 hdd
RAID LSI SAS 9201-16i/6gbit/16 int
ну вообщем сейчас на сайте одном если брать Б\У сервер с гарантией 3 года 12hdd по 8Тб то выходит в 400к рублей.... покупай а потом от переживания посидеть на ццать лет что за такие деньги ты не смог freeNAS поставить....

Intel Xeon E5530 8M Cache, 2.40 GHz, 4 ядра
Корзина на 12 HDD дисков BPN-SAS-826A -
X8DTL-iF/X8DTL-3F - IPMI макс 96gb RAM 2x Xeon 55xx/56xx, до 96GB RAM DDR3 ECC REG, IPMI
6x8gb RAM DDR3 ECC REG
Новый HDD 12x8Tb/SATA6gbit/3,5/ST8000NE0001
Сетевая карта 10 gbit/2 SFP+/Intel X520-DA2
RAID HBA LSI SAS9201-16i/6gbit/16 int


ps и это я еще молчу что каждый день нужно будет пропихивать 1Тб данных+/- и в особенные дни под 10Тб....
 
Last edited:

chs

Guru
Joined
Apr 18, 2017
Messages
500
Госструктура ? Нууу рейдикс есть ... Не знаю правда как они по деньгам. Они в основном заточены на потоковое видео.

Intel X550 - Определяется как ix в FreeNAS 11. Так что будет у вас 10Gb

А по поводу крупных контор - если нужен Enterprise класс, то и готовьтесь платить от лимона и выше деревянных.
Вот что насчитали мне под backup сервер -
Сервер резервного копирования: Шасси Supermicro 4U (24x3.5", SAS/SATA hotswap, 2x1280W PSU)/Xeon E3-1245v6/16 GB DDR4, ECC/LSI SAS 3108 (RAID 0,1,5,6,10,50,60, 2GB cache + батарея)/16xHDD 12TB SATA 7200rpm/2xGBLan, полезная емкость 168ТБ (RAID 6)
в 800 тыров. Выкинуть отсюда навороченный контроллер и вставить парочку X550. Будет баш на баш.
 

n0000b

Dabbler
Joined
Jul 2, 2018
Messages
31
А тут следующая проблема, я работаю на гос структуры. и я не смог найти потавщика в РФ кто бы продал TrueNAS... искал я уже это все....
Прощу прощения, что не в тему так если вы в гос.структуре то как обходите запрет на использовани и покупку ПО происходящего из иностранных государств если речь о Veem, Free|Truenas???
А начет поставщика, ищите не поставщика а перекупа, любое юр.лицо которое купит его за бугром, а вам перепродаст, ведь так унас рождаются отечественные железки типа сервити, ирбисов и иных.
 

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
Прощу прощения, что не в тему так если вы в гос.структуре то как обходите запрет на использовани и покупку ПО происходящего из иностранных государств если речь о Veem, Free|Truenas???
А начет поставщика, ищите не поставщика а перекупа, любое юр.лицо которое купит его за бугром, а вам перепродаст, ведь так унас рождаются отечественные железки типа сервити, ирбисов и иных.
В любом законе есть всегда сноска, если нет аналогов то можно :)
а аналогам до того же veeam - далеко.
да не все так просто) оборудование должно быть сертифицировано для работы в РФ. а у proNas врятле это есть.
любое оборудование которое есть в РФ - сертифицировано) поэтому собрать из freeNAS можно если собирать из железа которое в РФ есть
 

HowCast

Dabbler
Joined
Jul 15, 2017
Messages
20
Здравствуйте всем,
извиняюсь за дилетантский вопрос.
-Zarj, а что такого, кроме GUI, есть во FreeNAS и нет у FreeBSD, для вас, как старого поклонника?
 

BaT

Explorer
Joined
Jun 16, 2017
Messages
62
Есть промежуточное между TrueNAS и FreeNAS решение - TrueNAS certified server. За основу берется известная конфигурация SuperMicro, на нее уже ставится FreeNAS/TrueNAS. Но это лучше с sales обсуждать.

Лампочками TrueNAS мигать умеет, но скорее всего только c MegaRAID
 

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
а кто нибудь тут вообще собирал хороший NAS не для дома? или конторы 10человек...
 

n0000b

Dabbler
Joined
Jul 2, 2018
Messages
31
Так наверное все зависит от поставленных целей, задач, бюджета.

У нас стоит HP MSA 2000 на 60TB в RAID 10, SAS, HBA FC под систему электронного документооборота, регионального уровня т.е. на терр. орган, в эксплуатации уже 4 года, полет нормальный.
 

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
потому что это государственные деньги, а в рамках этого проекта сейчас тяжело выбивать такие суммы. поэтому параллельно рассматриваю другие варианты
 

chs

Guru
Joined
Apr 18, 2017
Messages
500
Смотря что от NAS-а нужно. Вот у меня FreeNAS для промежуточных бакапов. А всё что важное на NetApp-е. Соответственно я "бесплатным" решением разгрузил дорогостоящее. В продакшен пускать FreeNAS без поддержки, я бы не решился.
потому что это государственные деньги, а в рамках этого проекта сейчас тяжело выбивать такие суммы. поэтому параллельно рассматриваю другие варианты
Говорю - попробуйте RAIDIX - по заявам - то что вам надо. Опять же русская контора.
 
Last edited:

BaT

Explorer
Joined
Jun 16, 2017
Messages
62
Кстати, Veeam - питерская контора, какие могут проблемы с покупкой(софта) у них?
 
Last edited:

n0000b

Dabbler
Joined
Jul 2, 2018
Messages
31
Кстати, Veam - питерская контора, какие могут проблемы с покупкой(софта) у них?
так они зарегистрированы в Швейцарии не?
 

BaT

Explorer
Joined
Jun 16, 2017
Messages
62
так они зарегистрированы в Швейцарии не?

Да даже "Пятерочка" в Нидерландах зарегестрирована :) Но юрлицо в России должно быть, оно и продаст.

Veeam: Россия, 195112, Санкт-Петербург, Малоохтинский пр., д. 64, лит. Б, БЦ «Санкт-Петербург Плаза»

тел.: +7 (812) 677-50-01
 

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
Решением в 1м я нашёл у qnap у них схд есть на zfs как два года эксплуатируют, но по мне так это дорого для zfs. Я так понимаю с учётом того, что они ни чего не разрабатывали а просто взяли и собрали железо для freebsd да ещё и без рэйда... Но позиционируют как ентерпрайз решение
QNAP модель ES1640dc-v2
 

chs

Guru
Joined
Apr 18, 2017
Messages
500
Решением в 1м я нашёл у qnap у них схд есть на zfs как два года эксплуатируют, но по мне так это дорого для zfs. Я так понимаю с учётом того, что они ни чего не разрабатывали а просто взяли и собрали железо для freebsd да ещё и без рэйда... Но позиционируют как ентерпрайз решение
QNAP модель ES1640dc-v2

Рейд для ZFS скорее вреден - она сама его реализует.

Ну и может там внутри не BSD, а Solaris :-D Да и Linux с ZOL может быть.
 

Zarj

Dabbler
Joined
Mar 20, 2019
Messages
11
Я про рейд и ни чего не говорю, я лишь сказал что наоборот дешевле должно быть
https://qnap.ru/es1640dc-v2
тут как раз написано что там идет zfs на FreeBSD только вебмору другую натянули
 

chs

Guru
Joined
Apr 18, 2017
Messages
500
Красивая штука. Интересно - сколько по деньгам ? И как гарантию осуществляют ? И OpenStack привлекает.

Ну как бы написано - что ядро FreeBSD (В NetApp-е тоже). Железо "прошлогоднее" - но, надеюсь, надёжное.
 
Top