Mirror Performance Stripe?

[Freitag]

Hallo

bitte nicht steinigen falls ich hier was falsches Schreiben ich haben zurzeit das Freenas 9.3

Freenas ist auf einen RAID1 installaiert mit SSD Festplatten
6 x SATA III WD RED Festplatten in 3 Mirror
Dann habe ich noch eine SSD ach Cache L2arc drin aber die Performance ist schlecht

Bekommen mit einer Proxmox VM (KVM)
Timing O_DIRECT disk reads: 170 MB in 3.01 seconds = 56.45 MB/sec

Jetzt meine Frag kann ich einen Mirror Strip einbinden ?
Oder wird die Geschwindigkeit besser wenn ich weitere 8 Festplatten im Mirror einbinde?

 

[Kurti2k]

Hi

evtl könntest du uns deine eingesetzte hardware genauer erläutern
-Mainboard
-cpu
-arbeitsspeicher
-eingesetzter HBA für die hdds


mfg marcel

 

[xaibex]

Wenn die Performance so schlecht ist, wie viel RAM hat die Maschine?

Du schreibt du hast 6 Festplatten in 3 Mirror. Meinst du damit du hast 3 Mirrors mit je 2 Festplatten?

 

[Freitag]

genau ich habe 3 Mirrors mit je 2 Platten die Frage ist bringt es was einen Stripe (SSD)zu setzen.
Oder bringt es was einfach weitere Mirrors hinzu zufügen

Ist eine Supermicro Mainboard mit 16 GB DDR3 ECC REG
CPU Intel E5 1230

Eingebaut ist eine SAS 6 Gbit/ Controller für 16 HDDs

Wenn ich weitere Mirrors einbinden werden die Daten doch weiter verteilt auf allen Festplatten dann muss sich doch die Performance erhöhen oder verstehe ich das falsch

 

[xaibex]

Wenn ich weitere Mirrors einbinden werden die Daten doch weiter verteilt auf allen Festplatten dann muss sich doch die Performance erhöhen oder verstehe ich das falsch

Das ist zwar richtig, doch dies gilt dann zunächst nur für die neuen Daten. Die alten Daten verbleiben noch auf den übrigen Mitgliedern des stripes. Erst wenn der Speicher reorganisiert wird (Stichwort ZFS Scrub) erhöht sich die Performance auch für bestehende Daten.

Wenn man jedoch wirklich auf Performance optimieren möchte wäre ein einfacher Mirror aus möglichst großen stripes das richtige: mirror(stripe(hdd1,hdd2,hdd3),stripe(hdd1,hdd2,hdd3))

Doch für deine Konfiguration klingen die Datenraten die du bekommst zu niedrig. Hast du die Festplatten 1 zu 1 durchgereicht (IT Mode) oder funkt da eventuell noch ein RAID Bios dazwischen?

Noch ein Hinweis: Eine SSD als L2arc Cache bringt nur bei immerwiederkehrenden Zugriff auf bestimmte Daten etwas. Bei Erstzugriff auf Daten musst du eher mit der normalen Platten performance rechnen.

 

[Freitag]

habe gestern versucht die 250 GB SSD als Stripe einzubinden hat nicht funktioniert weil ich alles als mirror habe oder muss ich auch 2 SSD als Stripe einbinden.
Eigentlich sollte die Festplatten so durchgereicht werden.

Ich hatte vorher die SSD als L2arc naja 240 MB wurden am Tage umgesetzt laut monitoring dachte eigentlich die SSD fängt alles auf und verteilt es dann auf die Platten

Ist es eigentlich möglich ein Mirror zu entfernen ohne Datenverlust.
ZFS Scrub hier werden die Daten dann neu auf die Platten verteilt kann man das ohne zu bedenken machen?

 

[xaibex]

habe gestern versucht die 250 GB SSD als Stripe einzubinden hat nicht funktioniert weil ich alles als mirror habe oder muss ich auch 2 SSD als Stripe einbinden.
Eigentlich sollte die Festplatten so durchgereicht werden.

Wenn du einfach so eine SSD zu deinem ZFS hinzufügen würdest, würdest du sämtliche redundanz zerstören: stripe(mirror(hdd1,hdd2),stripe(mirror(hdd3,hdd4),stripe(mirror(hdd5,hdd6),ssd1). Man würde also alle Daten verlieren sobald die SSD ausfällt. Mit zwei SSDs die ein Mirror bilden kann man dies jedoch tun.

Ich hatte vorher die SSD als L2arc naja 240 MB wurden am Tage umgesetzt laut monitoring dachte eigentlich die SSD fängt alles auf und verteilt es dann auf die Platten

Nein, der Cache ist nur dazu da oft genutzte Daten auf schnelleren Speicher auszulagern um den lesenden Zugriff zu
Beschleunigungen. (Der viele RAM unter FreeNAS tut übrigens dasselbe, nur noch schneller)

Ist es eigentlich möglich ein Mirror zu entfernen ohne Datenverlust.
ZFS Scrub hier werden die Daten dann neu auf die Platten verteilt kann man das ohne zu bedenken machen?

Es ist nicht nur problemlos möglich, sondern dringlichst empfohlen. Ein Scrub überprüft die Datenintegrität und reorganisiert Daten sofern nötig.

 

[Freitag]

Kann ich das Volumen einfach so noch ändern? Ohne Datenverlust, zu den einzelnen Mirrors noch ein Stripe hinzufügen. oder soll ich besser eine neues Volumen gernerieren und die Daten rüberkopieren

 

[xaibex]

Das geht so nicht.
Daten Sichern.
Alles neu konfigurieren.
Daten zurücksichern.

Andere Frage zwecks Performance. Hast du zufällig Encryption aktiviert?

 

[Freitag]

nein das ist nicht aktiviert, das scrubs wird nur einmal im Monat gemacht ist das so richtig .
Habe gerade mal auf einen Server Raid1 Software die Platte Geschwindigkeit geprüft lag bei knapp 550 MB

 

[xaibex]

Hmm, kann es sein dass es gar nicht an deinem Server sondern am Netzwerk liegt? Schon mal direkt auf der FreeNAS ein Benchmark gemacht?

 

[Freitag]

nein wie mache ich den sorry für die blöde frage
Netzwerk sind 2x Gbit Lan als Link Aggreation Protocoll lacp

 

[xaibex]

ganz basic lässt sich das über dd machen.
Wie hier zum beispiel https://forums.freenas.org/index.php?threads/basic-performance-tests.14338/

 

[Freitag]

hmm wenn ich das ausführ bekomme ich das

[root@storage-nas]# dd of=/dev/zero if=/mnt/vms-storage2/dump/ bs=1048576
0+1 records in
0+1 records out
2 bytes transferred in 0.000027 secs (74235 bytes/sec)
[root@storage-nas]#

 

[xaibex]

du musst bei if schon eine datei angeben die es gibt!

 

[Freitag]

[root@storage-nas /mnt/vms-storage2/dump]# dd if=/dev/random of=/mnt/vms-storage2/testfile bs=4M count=1000
1000+0 records in
1000+0 records out
4194304000 bytes transferred in 58.777895 secs (71358527 bytes/sec)

das kam raus

 

[xaibex]

Hmm, das sind knapp 68MB/s. Das ist definitiv zu wenig.

 

[Freitag]

habe heute mal ein neues Volume angelegt 4x 3 TB als Mirror und 2x SSD als Stripe die Performance ist Megaschlecht. 40 MB FestplattenSpeed
Habe ich noch nicht erwähnt es sind Proxmox Server mit einen Freenas Storage per NFS ist das eingebunden
Wenn ich die VM z.B ein Backup mache kommt ich nicht höher als 10MB aber wenn ich die VM ausschalte und die Daten kopiere geht alles viel schneller

Dann liegt das doch nicht am Freenas oder den die 2 Gbit Leitung wird nicht mal annähernd ausgelastet

 

[Kurti2k]

wen du virtualisieren willst und noch nicht final festgelegt bist kannste dich ja auch mal bei vm ware umschauen

habe gute erfahrung mit esxi 6.0 gemacht läuft schon 2 jahre fehlerlos

alternativ kannste ja mal sämtliche firmware updaten

via nfs hatte ich ähnliche raten, testweise habe ich (zfs set sync=disabled auf das nfs laufwerk) gelegt jedoch trotzdem nicht zufriedenstellend
habe deswegen alles auf FC mit ISCSI umgestellt und komme damit auf 720mb lesen 250 - 400mb schreiben in einer VM

mfg marcel

 

[xaibex]

Zum Thema NFS Performance unter VMWare gibt es hier einen sehr informativen Post.
https://forums.freenas.org/index.ph...xi-nfs-so-slow-and-why-is-iscsi-faster.12506/
Vielleicht verhält es sich ja unter Proxmox genauso (reine vermutung ohne Proxmox zu kennen)