TrueNAS-12.0-U8.1 Schreibgeschwindigkeit bricht nach kurzer Zeit ein

[cheaptrick666]

Hallo liebes Forum,

ich habe mein System zuletzt stark geupgraded (siehe Signatur), da ich mehr direkt auf meinem TrueNAS SMB Share arbeiten möchte. Dabei fielen mir ein paar Sachen auf.
Die Schreibgeschwindigkeit innerhalb meines Mirror Pools bricht nach kurzer Zeit ein von fast 1GB/s auf circa 100Mb/s. Beim Kopieren von lokaler SSD auf den Pool von 280Mb/s auf circa 80Mb/s. Beim Lesen von Pool auf lokalen PC bleibt die Geschwindigkeit zwischen 220 und 280Mb/s. Das passiert sowohl auf dem Mirror Pool mit 2x WD Red mit 64MB Cache wie auch dem Mirror Pool mit 2x Iron Wolf 4TB mit 256MB Cache. Ich weiß daher nicht genau, wo das Bottleneck liegt. Die 10Gig Netzwerkkarte ist eine X520-DA2 verbunden mit einem Switch mit 10Gig Uplink SFP+ Port und 2,5Gig Ports.
iperf3 zeigt mir gute Durchsatzraten zwischen Client und Server, weshalb ich das Netzwerk erstmal nicht als Bottleneck vermute.
Gibt es irgendwelche Einstellungen, die ich übersehe oder ist es eine Limitierung der Festplatten/Systems? TrueNAS ist ja sehr RAM hungrig, aber selbst 64GB werden das Problem nicht lösen nehme ich an. Würde mich über eure Hilfe freuen. Gerne gebe ich euch noch mehr Informationen.

 

[micneu]

Meine Leien hafte Vermutung. Dein TrueNAS hat kein Ram mehr frei den er als cache nehmen kann.
Übrigens TrueNAS ist schon bei Version 13. Hat es einen bestimmten Grund warum du eine alte Version einsetzt?

 

[cheaptrick666]

Ich habe Angst, dass nach einem Update mein Plex Jail oder ähnliches nicht mehr funktioniert.
Kann eine Cache SSD hier Abhilfe verschaffen?

 

[chuck32]

Kann eine Cache SSD hier Abhilfe verschaffen?

Nicht wirklich, mehr RAM hilft hier mehr.

Meine Leien hafte Vermutung. Dein TrueNAS hat kein Ram mehr frei den er als cache nehmen kann.

Korrekt. Ich hätte zumindest bei den Iron Wolf etwas höhere Schreibraten erwartet. Die WD Red könnten nach kurzer Google Recherche einfach etwas langsamer sein.
Wie voll sind die Pools?
Vielleicht hat jemand anderes Vergleichswerte, aber ich denke die HDDs sind ein bottleneck. Ob 100 MB/s jetzt auf ein Problem hindeuten glaube ich persönlich allerdings nicht.

Für ein 10G Netzwerk würde sich, wenn Geschwindigkeit wichtig ist natürlich eher anbieten:
SSD Pool
Striped mirrors
RAIDZ wenn IOPS nicht wichtig sind

Dafür brauchst du mehr Festplatten.

 

[cheaptrick666]

Der WD Red Pool ist bei 80%. Der Iron Wolf Pool bei nur 35%. Die Schreibgeschwindigkeit fällt beim Iron Wolf Pool auf bis zu 79Mb/s. Schwankt zwischen 100 und 80Mb/s. Beim WD Red Pool fällt die Geschwindigkeit auf 69Mb/s und pendelt sich zwischen 90 und 70Mb/s ein.
Brauche ich für einen Striped Mirror durchweg gleiche HDDs oder könnte ich theoretisch die 2xWD Red + 2xIron Wolf zusammenfassen? Habe jedoch gelesen, dass bei Striped Mirror nicht so sicher ist, wenn die zwei falschen Platten ausfallen sollten.
Geschwindigkeit ist zwar nicht unwichtig, aber für einen SSD Pool habe ich gerade nicht das nötige Kleingeld. Einen 32GB Ram Stick könnte ich zumindest noch nachrüsten, aber wenn die Festplatte ohnehin der limitierende Faktor ist, sehe ich da erstmal wenig Sinn drin.

 

[chuck32]

Ich kann dir da leider nicht weiterhelfen. 80 MB/s ist echt nicht schnell.
Alle Platten sind direkt mit dem MB verbunden?

Der WD Pool ist quasi voll, da solltest du dir Gedanken machen. Mehr als 80 % wird nicht empfohlen. Die Performance leidet.

Vielleicht hat jemand anderes hier noch Ideen. Welche Einstellungen verwendest du auf dem SMB share, ggf. gibt es da noch Optimierungspotenzial.

 

[cheaptrick666]

Ja, alle über SATA mit dem Motherboard verbunden und AHCI ist aktiviert.
Mit dem WD Pool Belegung ist mir bewusst, aber für den Iron Wolf Pool habe ich auch keine wirkliche Erklärung.
SMB Share Optionen anbei. Nichts besonderes in meinen Augen.

 

[awasb]

Was gibt denn ein gstat -p und ein zpool iostat 1 während des Kopierens aus?

 

[cheaptrick666]

gstat hatte ich auch schon getestet und sah ok aus. Zpool iostat sagt mir was? Ich sehe da durchgängig um die 190-200M. Wären das Mb? Weil dann gibt es irgendeine Diskrepanz.

 

[cheaptrick666]

Was mich grad noch irritiert. Auf dem Pool sehe ich permanent kurze Writes, obwohl ich nicht drauf zugreife. Ist das mein Plex Jail?

 

[chuck32]

Was mich grad noch irritiert. Auf dem Pool sehe ich permanent kurze Writes, obwohl ich nicht drauf zugreife. Ist das mein Plex Jail?

Auf dem Pool wo deine Apps liegen / das System dataset liegt ist mit kurzen Schreibvorgängen zu rechnen, ja.

 

[awasb]

Der Füllstand von 80% auf dem „WD RED-Pool“ ist für Performance-Messung schlicht ungeeignet. Die Performance bricht bei ZFS von 20% bis 50% langsam (aber messbar) ein und ab 80% sind konsistente Aussagen kaum mehr machbar. Je nach Sync-Setting (und Fragmentierung des Pools) geht die Schreibrate bis auf kB/s runter.

Ganz unabhängig davon haben Festplatten halt eine sehr begrenzte I/O-Rate. Den Anfangsboost, den Du siehst, macht das RAM. Sobald dann auch mal geschrieben werden muss, wird gebremst. Ich kann keine echten erfahrungsbezogenen Erwartungen aussprechen, da ich keine solchen Pool-Layouts, wie Du sie hast, kenne, aber prinzipiell darfst Du auch mit kontinuierlichen Raten unter 20 MB/s rechnen, wenn Du viele kleine Dateien (bzw. Blockeinheiten) schreibst (oder eben der Fragmentierungsstand auf dem Pool hoch ist).

Was ich auf keinen Fall machen würde, ist dem „Messwert“ eines Client-Dialoges trauen.

gstat zeigt die Schreibraten und die I/O-Statistik pro Laufwerk. zpool iostat zeigt die Schreibrate und I/O-Statistik des Pools. Kann man mit den entsprechenden Parametern bis auf einzelne vdevs „ausdifferenzieren“.

 

[cheaptrick666]

Die Performane Messungen in den Screenshots sind von dem Iron Wolf Pool, nicht dem WD Red Pool, nur damit keine Verwirrung aufkommt. Innerhalb des Pools sehe ich ganz kurz bis zu 1Gb/s, aber fällt dann sofort auf die üblichen ~90Mb/s.
In dem gemessenen Beispiel waren es 2x1,4GB und 2x3,2GB große mkv Files. Bei vielen kleinen Dateien geht die Leistung auch deutlich runter. Kopiere gerade von dem WD Red Pool in den anderen und habe hier auch so zwischen 60 bis 100Mb/s Schreibrate.
Gelb markiert ist der WD Red Pool von dem gelesen wird.

 

[awasb]

Pool zu Pool sollte nahe an der maximalen Lese/Schreibrate sein, was mir auf den Ironwolf-Spiegel zuzutreffen scheint. Was sagt denn ein zpool list?

 

[ChrisRJ]

Wie gross sind die Testdateien, mit denen kopiert wird?

 

[awasb]

[...]
In dem gemessenen Beispiel waren es 2x1,4GB und 2x3,2GB große mkv Files. [...]

Ich wundere mich aber immer noch ein wenig (bitte nicht als Provokation auffassen), wozu man 10Gig-Karten in eine Kiste schraubt, die effektiv weithin (ideale Lese-Bedingungen ausgenommen) single-drive-Performance liefern wird. (Vermutlich deswegen, weil es geht.) Die EFRX-Platten sind 5.400er ... maximale Rate um die 140-150MB/s. Die IronWolfs liegen im Peak wohl bei 180 bis 205MB/s, aber sind jetzt auch keine I/O-Wunder ...

 

[cheaptrick666]

Wie gross sind die Testdateien, mit denen kopiert wird?

Hatte ich hier genannt: "In dem gemessenen Beispiel waren es 2x1,4GB und 2x3,2GB große mkv Files"

Ich wundere mich aber immer noch ein wenig (bitte nicht als Provokation auffassen), wozu man 10Gig-Karten in eine Kiste schraubt

Wie du sagtest, weil es geht, aber langfristig möchte ich auf SSDs upgraden. Die Karte hatte ich von einem Arbeitskollegen günstig bekommen.
Anbei noch die Ausgabe von zpool List. Ich weiß nicht, ob 1% Fragmentierung schon zuviel ist?

 

[awasb]

Nein. Ist es nicht.

Wie auch immer: Wenn ich ungeachtet dessen all das hier Beschriebene zusammennehme, dann würde ich die festgestellte "Minderleistung" (leider) für letztlich erwartbar halten. (Ist aber wie oben geschrieben reine Theorie, da ich solche Pool-Setups nicht kenne.)

 

[cheaptrick666]

Ich werde noch etwas weiter forschen. Ich habe gerade auf TrueNAS 13 geupdatet und wie befürchtet ein paar Problemchen. Trotzdem danke für die Hilfe. Zumindest etwas Licht hat es ins Dunkle gebracht.

 

[cheaptrick666]

Noch eine andere Sache. Ich weiß nicht, obs am Umstieg von TrueNAS 12 auf 13 zusammenhängt. Aber heute hatte ich nochmal Daten vom WD Red Pool auf den Seagate Iron Wolf Pool transferiert und zwischendrin wurde der Server immer wieder unresponsive und die Transferrate ging auf 0kb/s herunter. Was könnte die Ursache sein? Ich hatte die MTU auf 9000 geändert und Jumbo Frames für meinen Realtek NIC aktiviert in Windows.

edit: Hab es auf 1500 und deaktiviert zurückgesetzt. Verhalten ändert sich auch nach Neustart nicht.