FreeNAS com muita Latência

[fsantanajr]

Bom dia.

Tenho um servidor Lenovo RD540 com 1x Intel Xeon E-2600v2, 32GB Ram e Raid 5 com 4x 4TB em disco SATA Enterprise com o FreeNAS dando boot via usb. O servidor está com a configurado como storage iSCSI com placas gigabit.

No início havia configurado as interfaces de rede em lagg com LACP, tanto no FreeNAS e no switch com jumbo frame. Notei que a configuração ficou muito lenta e com alta latência. Devido a isto, removi as configurações das interfaces e do switch e deixei na configuração padrão usando somente 1 interface de rede para o serviço iSCSI.

Ainda assim a latência no monitoramento do VMWare chega a dar picos de 30000ms e se mantendo acima de 1000ms quando inicio os trabalhos em 3 vm's que tenho no FreeNAS.

Alguém já passou por isso?

Fora os comandos iostat -dx, quais outros posso monitorar o i/o de disco?

Nos gráficos do FreeNAS vejo que o disco está em 20MBs de escrita.

A versão do FreeNAS é a 11.0 RC2.

Fico no aguardo.

Obrigado

 

[tomazini]

Eu nunca passei por isso.
Mas quantos interfaces tinha o lagg?
E quantos disco virtuais estavam a correr quando deu os 30000ms?

Para testar a velocidade dos discos podes usar o dd a escrever zeros para algum lado!
qualquer coisa como:
dd if=/dev/zero of=/tmp/test.io bs=512k
antes de correr verifica exactamente a melhor forma de corre-lo.

edit:
outra que também se pode testar é a velocidade de rede:
freenas: iperf -s <ip do FreeNAS>
outra maquina da rede: iperf -c <ip do FreeNAS>

faz tantas ligações quantos nics tiveres activos

 

[fsantanajr]

Bom dia Tomazini.

O dd gerando um arquivo de 4GB acaba em pouco mais de 15 segundos.
Eu tinha 2 interfaces no lagg0.

O que parece é algum "gargalo" na hora de realizar a escrita do disco.
Quanto a rede as 2 placas são onboard. E nos teste sem erro.

Estou trocando o servidor para ver se pode ser algo com incompatibilidade de hw.

 

[Alexandre Almeida]

O Raid5 foi configurado na controladora Raid do servidor (hardware) ou em RaidZ no FreeNAS?

 

[fsantanajr]

Boa tarde.

Acabei trocando o servidor.

Obrigado pela ajuda!!!!

 

[Adelso Barreto Junior]

fsantanajr, boa tarde!

Seu problema foi resolvido com a troca do servidor? Pergunto também trocaste somente o servidor que rodava FreeNAS ou as máquinas clientes do iSCSI também?

 

[fsantanajr]

Sim, troquei o servidor. Acredito que essa raid da Lenovo não é homologada.

 

[Adelso Barreto Junior]

fsantanajr, boa tarde!

Olha pelo que vi na documentação a recomendação é NÃO usar controladoras RAID para fazer o array e sim usar o prórpio FreeNAS para tal função.
Tem várias explicações do porque não fazer isso com a controladora.
Nos servidores que tenho feito coloco a controladora no modo HBA ou uso JBOD's.
Tem uma controladora que é recomendada para usar e tem que colocar um outro firmware nela.
Segue o link
https://www.servethehome.com/ibm-serveraid-m1015-part-4/

Ainda não comprei uma para colocar em produção com este firmware e verificar se dá um resultado realmente melhor, mas se tem recomendação é porque deve fazer diferença :)

Abraço

 

[fsantanajr]

Bom dia.


Resolvido com o sistema de JBOD. Acho que alguém já havia comentado aqui. Obrigado a todos pela assistência.

 

[FranciscoDias]

Meu cenário é o seguinte:
O atual:
um storage montado bi-processado, 8GB memória, 6 HDs de 2TB SATA2 em RAID 5 funcionando desde 2011 sob o sistema FREENAS 9.1. Porém pela idade ele não permite atualização para os HDs SATA3 o que impede de melhorar seu desempenho.
O novo:
Resolvi então usar o outro servidor que é um DELL R520 com 64GB, bi-processado, 03 HDs 600 SAS 15K para instalação das VMS virtualizadas pelo Xenserver 7.6 . Como esse servidor possui 8 gavetas , comprei 04 discos enterprise de 8TB para criar nesse servidor o novo storage e substituir o antigo. Para os HDs de 8TB serem adicionados ao Xenserver, foi necessário fazer um RAID na bios do DELL R520. Fiz Raid5 e obtive um Disco virtual de 24TB. Criei uma VM com VD 30GB para o sistema e 24GBRAM. Instalei o Freenas 11.2, configurei a rede, time, etc, tudo ok. Após fui adicionar o disco de 24TB na VM Freenas, e aí começam os problemas porque para uso os discos só podem ser criados com o máximo de 2TB, ou seja fiz, 12 partições de 2TB e as adicionei na VM Freenas. Entrei no Freenas e fui montar o zfs com todas as partiçoes de 2TB. Usei a opção Stripe e uni tudo em um único dataset. Após, compartilhei no samba e obtive 22TB. Pergunto aos amigos, o que acham do meu projeto? Está totalmente errado, certo, mais ou menos. Gostaria de opiniões de melhores práticas.
Obrigado.

 

[melloa]

Gostaria de opiniões de melhores práticas.

1 - FreeNAS usa ZFS, que cria e controla os volumes. Sua configuracao com um RAID5 controlado pela sua placa do Dell nao e' recomendada.
2 - Para virtualizar, a melhor forma e' fazer um pass thought da controladora, deixando o gerenciamento dos discos ser feito pelo FreeNAS

No meu caso, uso ESXi. Os discos para uso dele estao conectados nas portas SATA da placa mae. A controladora em pass through para o VM do FreeNAS. Claro que a controladora teria que estar em IT mode.

 

[FranciscoDias]

Essa controladora já tem os 3 discos originais ligados a ela. os 4 discos de 8tb só consigo mostrar ao xenserver se criar as vds na controladora. A controladora do meu servidor é H710 e esta não suporta passthrough.

 

[melloa]

A controladora do meu servidor é H710 e esta não suporta passthrough.

Sinto saber. Tenho um amigo com um r710 que esta tentando fazer uma instalacao de uma LSI que dei a ele. O r710 nao bootou com ela no slot da HBA original. Ele testou com ela num slot pci regular e a maquina entrou. Ele acaba de comprar um cabo mais longo para liga-la no backplane e testar o pass through. No caso ele tambem esta usando ESXi ...

 

[FranciscoDias]

Meu problema é que a massa de dados que preciso armazenar não me permite que fique desfazendo a estrutura atual, pois cada mês de dados tem em media 300GB e tenho mais de 5 anos de exames para por online, então vou manter o cenário atual e quando tiver um servidor para instalar exclusivamente o FREENAS sem virtualização, resolvo meu problema. Mas sinceramente mesmo com o RAID5 por hardware, desmembrado e refeito o STRIPE no FREENAS virtualizado no XENSERVER, a taxa de transferencia no freefilesync chega aos 50MB/s o que não é ruim considerando a quantidade de dados transportada.

 

[melloa]

Meu problema é que a massa de dados que preciso armazenar não me permite que fique desfazendo a estrutura atual, pois cada mês de dados tem em media 300GB e tenho mais de 5 anos de exames para por online, então vou manter o cenário atual e quando tiver um servidor para instalar exclusivamente o FREENAS sem virtualização, resolvo meu problema. Mas sinceramente mesmo com o RAID5 por hardware, desmembrado e refeito o STRIPE no FREENAS virtualizado no XENSERVER, a taxa de transferencia no freefilesync chega aos 50MB/s o que não é ruim considerando a quantidade de dados transportada.

rsync nao e' rapido. Aqui em casa minha taxa e' de 90MB/S a 10Gb. Por isso meus back-ups rodam diversos batches ao mesmo tempo, para utilizar toda a capacidade e diminuir o tempo.