Geschwindigkeitseinbruch

[Kurti2k]

Hallo

ich habe ein Problem mit meinem FreeNAS 9.2.1.2

Hardware:
Xeon E5630 1x
4 x 8GB ddr3 ecc reg
Intel S5520 HC Board
3ware 9650 2 x SFF abgang auf je 4 x SATA
6x3 TB WD30EZRX
NIC 2 x Onboard intel 1GB
2 x Intel 1000 Base

ESXI 5.1.0 -> darauf habe ich all meine gastsysteme
An Freenas habe ich den Raidcontroller durchgereicht und die beiden 1Gb nics was auch wunderbar funzt

leider bricht die übertragungsrate ein wenn ich auf das nas kopiere
http://kurt-world.de/freenas.jpg manachmal bricht auch die verb. ab :(

habe mtu von 1500 auf 6000 zu 9000 getestet ohne verbesserung
habe die smb.conf versucht anzupassen obs hilft und zfs tuning unternommen ob verbesserung eintritt leider immer das selbe problem :(

vom nas kopieren rennt mit ~100 mb/s gnadenlos :) ohne probs

nun erhofffe ich mir von euch hilfe weil ich nicht mehr weiterweis


mfg marcel

 

[Rand]

Eine häufige Frage - hast Du die restlichen Threads dazu schon gelesen?;)
Und dann - Mehr Infos bitte:

-Was hat der Client für eine Netzwerkkarte
-iperf zw Client und Server
-dd Geschwindigkeit des Pools
- Pool Layout, wie voll ist der Pool,
-sonstige Last auf der Kiste (smb auslastung cpu)
-was für ein switch dazwischen
-Hast du tso4,rxcsum, txcsum an

 

[Kurti2k]

Hallo

natürlich habe ich mich durchs boards gelesen.

- client hat ebenfalls eine intel gigabit onboard
zusätzlich habe ich noch eine hp intel gigabit karte gesteckt um zu testen ob sie defekt wäre, war aber nicht der fall & 4x wd raptor veloci 300gb im stripe

- zur cpu last: bei dem kurzzeitigem kopiervorgang von ca ~90mb/s liegt der idelvorgang bei 25%
-die 6x3tb sind als raidz-2 eingerichtet (belegt mit 2.6tb von 10,6tb)
-der server hängt an einem 12 port netgear gigabit switch und einem 8 port d-link als etagenvertreiler netzwerk last habe ich kaum weil ich derzeit der einzige bin der auf den server zugreift

-Hast du tso4,rxcsum, txcsum an

kann ich leider nichts mit anfangen aber auf dem bild ist ein ipconfig auszug


mfg marcel

 

[Kurti2k]

Hallo

ich habe mal zum test FreeNAS-9.1.1-RELEASE-x64 Installiert und siehe da gleichmäßiger traffic (anhang freenas1.jpg)
hat freenas 9.2.1.2 irgendwelche treiberprobleme verursacht ?

[root@freenas] /mnt/wd-pool# dd if=/dev/zero of=testfile bs=18024 count=50000
50000+0 records in
50000+0 records out
901200000 bytes transferred in 12.841814 secs (70177001 bytes/sec)

67 mb/sek ?


mfg marcel

 

[Rand]

Also
die Optionen oben laden Last von der CPU auf den Netzwerkchip ab, zB Checksummenberechnung (einfach so in die ifconfig zusätzlichen optionen), in Deinem ifconfig screenshot sieht man das Deine Karte das kann (capabilities).

Sonderlich stabil sieht die Rate immer noch nicht aus, auch wenn es besser ist - und mit 700MB Schreibrate (auch wenn die Blocksize seltsam ist) solltest Du 1GB Ethernet ja wohl auch ausreizen können;)

Immer noch die Frage nach iperf ...
Hatte auch mal GBE Reads und extrem seltsame Writes, da war iperf nicht die Welt und am Ende war es Hyperthreading und ein Switch Issue (Short Cable Length detection Green Ethernet setting)

Treiberprobleme wären mir nicht bekannt - höchstens SMB prozess verursacht CPU Last von 100% - das hat meine Neuinstallation gerade getroffen und zerlegt die Transferrate massiv

 

[Kurti2k]

nabend

wie kann ich tso4,rxcsum, txcsum aktivieren ?


- hab extra noch um alle fehler auszuschliessen auf ESXi 5.5 upgedated
- anbei der iperf auszug (hat ne weile gedauert bis ich verstanden habe was du wissen wolltest :) )

[root@freenas] /# iperf -c 192.168.0.10
------------------------------------------------------------
Client connecting to 192.168.0.10, TCP port 5001
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.0.45 port 60196 connected with 192.168.0.10 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.08 GBytes 925 Mbits/sec


mfg marcel

 

[Rand]

"(einfach so in die ifconfig zusätzlichen optionen)" [in der gui unter interfaces em0]
oder testweise mit
ifconfig em0 tso4
ifconfig em0 rxcsum
ifconfig em0 txcsum

ist dann nur bis reboot gültig.

Und sorry , iperf ist hier ja standard test daher kam ich nicht auf die Idee das genauer zu erläutern;)

Werte sehen gut aus - aber das ist dein read wert (FreeNas->Client) - write wäre andersrum (FreeNas als server)

 

[Kurti2k]

dank dir ^^ bin noch nicht so bewandert mit freenas und den sprachlichen umgang im forum ^^

mfg marcel

 

[Kurti2k]

[root@freenas] /# iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 4] local 192.168.0.45 port 5001 connected with 192.168.0.10 port 52529
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 564 MBytes 473 Mbits/sec

mh warum is das so langsam ?

mfg marcel

 

[Rand]

Das erklärt zumindestens die Probleme ein bisschen...
Kannst Du Dich direkt an den Server hängen ohne Switch dazwischen? Oder mal mit einem anderen System ausprobieren?
Mal die Switch Configs angeschaut? (Wenn die managed sind)... gerade DLink ist ja gerne "Green", testweise mal ausschalten?

 

[Kurti2k]

kann den server nur ausm keller holen und direkt anstecken aber das wollte ich eig nicht da das alles in einem chieftec arena 2k steckt :(

warum ists in eine richtung 98% und in die andre weniger 50% ?

mfg marcel

 

[Rand]

Also kein Laptop zum testen;)

Und ja das ist die Frage, deswegen ja Switchconfig anschauen;)


http://superuser.com/questions/6695...up-but-only-360-mbps-down-on-gigabit-ethernet

Mal von ner Linux LIVE CD booten und versuchen?
Anderer PCIe Slot könnte auch helfen ...
Nadel im Heuhaufen;)

 

[Kurti2k]

ok
danke erstmal für die hilfe und fehlersuche :)
werd morgen danach schauen

gn8

mfg marcel

 

[Rand]

Kannst mal schauen was passiert wenn du iperf -c und -s auf dem gleichen adapter machst...
Dahei hatte sich heute bei mir rausgestellt das er nur 50% der max Bandbreite nutzt auf dem Desktop

 

[Kurti2k]

hi
also hab den server direkt hier am dlink 1gb switch angeklemmt
hat sichs nichts verändert auser die lautstärke :)

mfg marcel

 

[Kurti2k]

wenn ich iperf als -c & -s auf freenas ausführe:

[root@freenas] ~# iperf -c 192.168.0.44
------------------------------------------------------------
Client connecting to 192.168.0.44, TCP port 5001
TCP window size: 47.8 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.0.44 port 53209 connected with 192.168.0.44 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 26.7 GBytes 22.9 Gbits/sec




und local auf meinem desk

D:\>iperf -s
---------------------------------------------------
Server listening on TCP port 5001
TCP window size: 8.00 KByte (default)
---------------------------------------------------
[288] local 192.168.0.10 port 5001 connected with 1
[ ID] Interval Transfer Bandwidth
[288] 0.0-10.0 sec 5.21 GBytes 4.47 Gbits/sec

mfg marcel

 

[Rand]

Ich würde mal die ganzen tunings wieder rausnehmen... sollte bei 1GB auch ohne laufen ...

Kannst mal noch einen linux/live cd clientn probieren oder auch mal FTP als protokoll...

 

[Kurti2k]

hab wieder FreeNAS-9.2.1.2-RELEASE-x64 installiert ohne am netzwerk was einzustellen

mit ftp komm ich ned über 30%

mfg marcel

 

[Rand]

Hast Du den Pool eigentlich mit LZ4 angelegt bzw das dataset wo Du den dd drauf hast laufen lassen?
Das verfälscht das Ergebnis ungemein...

 

[Kurti2k]

[root@freenas] ~# zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
wd-pool 16.2T 3.42T 12.8T 21% 1.00x ONLINE /mnt

ansonsten weis ich ned was du mit LZ4 meinst

hab den dd direkt in /mnt/wd-pool laufen lassen

mfg marcel