FreeNAS 9.10u2 ESXi6.5 Datentransfer bricht ab

[jumperid]

Hallo zusammen,

als erstes zu meiner Hardware:
Supermicro x10srh cln4f
Intel® C612 chipset
Intel® i350-AM4 Quad port GbE LAN
8x SAS3 (12Gbps) via Broadcom 3008 SW Controller bei dem ich per Passthrough an Freenas Weiterreiche.
am HBA hängen 6x 8TB WD-Red Festplatten sowie 2x 256GB SSD 850 v-nand Samsung Evo dran.
144GB DDR4-2400 Reg ECC RAM
Intel Xeon E5-2683 v3 , 14x 2GHz, HT mit 28x 2GHz aktiv


PCIe:
LSI MegaRAID 9265-8i 1GB DDR3 + BBU SAS SATA 6GBs RAID Controller an dem 6x SSD´s im Raid6 modus für ESXi Container hängen.
( Hier ist auch Freenas installiert )
1x X540-T2 10GB PCIe 2.0 8xEthernet Network Server Adapter Dual Port RJ45 Interface
2x HP NC364T Netzwerkkarte 4x Gbit Quad Port Gigabit PCIe x4
1x Mellanox 40Gbps IB MHQH19-XTC Infiniband 40Gbit QSFP ConnectX QDR 40Gigabit

BASIS:
ESXi 6.5 ist auf einem USB Stick installiert.
Hardware wird auch einwandfrei erkannt.

Passthrough:

Freenas 9.10u2 VM Container:

und 5 LAN Nic´s mit VMXNET3

Konfiguration FreeNAS 9.10
ZFS Pool ( Mirror aufgrund I/O Hops )

Netzwerke die nur im Virtuellen Bereich kommunizieren haben ein MTU 9000, der rest MTU 1500
Keine Tunables oder sonstiges.
SMB Freigaben per ACL´s erstellt.

Versuche ich jetzt ein Datentransfer ( 10GB nic ) zu starten, sehe ich das ich bis zu 780 MB/s erreiche, kurz aber danach fällt die Transferrate auf 0 womit der Transfer abbricht.
Aktualisiere ich aber den Ordner, sehe ich dass die Datei dennoch vollständig übertragen wurde.

Freenas Berichte

 

[jumperid]

 

[Ericloewe]

Sieht so aus wie ein Problem mit der virtuelle Netzwerkkarte.

 

[jumperid]

Freenas NIC ( VM 10GB )

Im Lokalen Netzwerk,
Freenas SMB <> Notebook 1GB NIC das gleiche.
Freenas SMB <> PC 1GB NIC auch.
Bricht nach paar Sekunden ab.

 

[X11SAE]

Deine Hardware scheint zwar korrekt erkannt zu werden, aber ich finde keine Deiner Netzwerkkarten auf der VMware Liste der unterstützen Hardware. Das kann ein Problem sein, muss aber nicht.
Dass Dein System relativ komplex ist, hilft beim Fehler suchen auch nicht.

Funktioniert denn PC 1GB NIC <> Notebook 1GB NIC ?

 

[X11SAE]

Habe grad Deinen anderen Beitrag wegen dem virtuellen Netzwerkkartentreiber gesehen.
Bist Du schon produktiv oder ist das erst eine Testumgebung? Wenn Testumgebung, würde ich mal auf ESXi 6.0 zurück und alles neu aufsetzen und nach jedem Schritt alles testen.

 

[jumperid]

komme ja gerade aus dem ESXi 6.0 und Freenas 9.3
Da hat auch alles Einwandfrei funktioniert.

Ja mein System ist sehr Komplex aufgebaut.
Betreibe über den Hypervisor alles mögliche.
Angefangen von Datengrab ( Freenas ) Kameraüberwachung 8xPOE ( über VM Xpenology ) bis zu pnSense ( Netzwerkstruktur für 8 anderen netze )
, TvHeadend mit Octopus Net für TV Clients, bis zu den NP Produkten.
Mehrere Stack´s sowie VM´s für KNX Anlage, und und und.......................

irgendwie sagt mir mein gefühl das es an Freenas liegt, denn unabhängig davon läuft meine Struktur einwandfrei.
Per Srv2012 und 40Gb Nic läuft auch alles top.
PC/Laptop auf Srv2012 bricht der Transfer auch nicht ab.

 

[jumperid]

Sieht so aus wie ein Problem mit der virtuelle Netzwerkkarte.

Da hast du glaube ich recht!

Hab jetzt mit mehreren varianten durchgespielt.
Zwischen VM und Freenas: ( Also Virtuelle Netzwerkkarte )
Test1 em0 :Mit MTU 6000/9000 , auch ohne >>>>> Traffic bleibt stehen!
Test2 vmx0 :Mit MTU 6000/9000 , auch ohne >>>>> Traffic bleibt stehen!:
Test3 vmxf0 ( Tunables ) :Mit MTU 6000/9000 , auch ohne >>>>> Traffic läuft sehr träge durch!:

Freenas und Lokalen Nic 1000MBit
vmx0 :läuft mit etwa ( schreiben ) 100MB/s durch, lesen 120 MB/s

Über Firewall: Freenas > Firewall > Win10 ( Virtueller 10GB NIC )
vmx0 : läuft durch. 360MB/s schreiben , 160MB/s lesen

Per VM Kernel: Freenas > Win10 ( Virtueller 10GB NIC )
vmx0: läuft durch 430MB/s schreiben 220MB/s lesen <<<<<<<<< ich versteh jetzt nichts mehr

 

[X11SAE]

Wenn es mit ESXi 6.0 und Freenas 9.3 funktioniert hat, würde ich mal eines von beidem Downgraden.
Mein Bauch sagt mir: Mit VMware beginnen.

Was betreibst Du für KNX Server? Wie hast Du die virtualisiert? Würde mich freuen, wenn Du etwas zu dem Thema schreiben würdest, interessiert mich sehr :)

 

[Kurti2k]

hi

hatte zu anfang ähnliche probleme mit dem abfallen der übertragungsrate bis auf 0
ist die firmware von dem hba der die hdds an freenas reicht aktuell ?

mfg marcel

 

[jumperid]

hi,

soo.... Wochenende, jetzt kann ich mich meinem Problem wieder widmen.

Ich habe herausgefunden das es an den beiden Netzwerkkarten HP NC364T liegt.
Sie übertragen zwar aber extrem langsam und mit ständigen aussetzern.
Ein video 720p als stream übertragen, alles verpixelt.

Mit meinen Onboard Nic´s i350 läuft alles flüssig.

HP NC364T werden als 82571EB gewertet.
Treiber ne1000 ( INT_bootbank_net-igb_5.3.3-1OEM.600.0.0.2494585 ) keine besserung.
Treiber ign e1000 ( VMW_bootbank_net-igb_5.0.5.1.1-5vmw.650.0.0.4564106.vib ) auch nicht.