-
Important Announcement for the TrueNAS Community.
The TrueNAS Community has now been moved. This forum has become READ-ONLY for historical purposes. Please feel free to join us on the new TrueNAS Community Forums
Mirror Performance Stripe?
- Thread starter Freitag
- Start date
- Status
schlecht wär e trotzdem nicht wernn er uns die genaue hardware details nennt
was genau es für ein board ist und welchen hba genau er verwendet
er hat ja grundsetzlich im freenas ein problem mit der hdd geschwindigkeit was natürlich dann auch auswirkung aufs nfs cifs oder iscsi hat
wenn du im proxmoxx den nfs pool für die vm anbindest wird sämtlicher traffic über das LAN gezogen
abhilfe schafft die trennung NFS und cifs share lan wenn du genug lanports hast (wenn zwei sich eine leitung teilen....)
mfg marcel
was genau es für ein board ist und welchen hba genau er verwendet
er hat ja grundsetzlich im freenas ein problem mit der hdd geschwindigkeit was natürlich dann auch auswirkung aufs nfs cifs oder iscsi hat
wenn du im proxmoxx den nfs pool für die vm anbindest wird sämtlicher traffic über das LAN gezogen
abhilfe schafft die trennung NFS und cifs share lan wenn du genug lanports hast (wenn zwei sich eine leitung teilen....)
mfg marcel
Last edited:
so ich habe den Storage nun frei für eine Neukonfiguration von dem Platten her
Mainboard ist ein Supermicro X9SCM-F mit einem Intel XEON E3 1230 und 16 GB ECC REG RAM DDR3
Controller ist ein SAS 9207 4i4e
Von den Festplatten her habe ich jetzt 14x 3 TB WD RED drin
und 2 SSD 240 GB
Wie wurdet Ihr die Platten einrichten bei der vorhanden Anzahl Raidz1
Netzwerkport sind momentan 2x 1Gbit werde morgen dort nochmals 2x 4 Gbit einbauen so das ich auf 10 Nic´s komme je 1 Gbit
Das lustige ist doch schalte ich die VMS aus oder migriere ich die VM von Storage auf Local werden die Netzwerkports auch ausgelastet
Im laufenden Betrieb laufen nicht einmal 50 Mbit über die Nic´s und jede VM kommt gerade mal auf eine Lese Gewschwindigkeit von 28 MB/s bis 60 MB/S
Die 2x 1GBit sind als LACP gebundelt auf den Switch ist auch ein Link Aggreation mit 2x1 GBit und Dynamic LACP eingerichtet ist ein HP Switch
Mainboard ist ein Supermicro X9SCM-F mit einem Intel XEON E3 1230 und 16 GB ECC REG RAM DDR3
Controller ist ein SAS 9207 4i4e
Von den Festplatten her habe ich jetzt 14x 3 TB WD RED drin
und 2 SSD 240 GB
Wie wurdet Ihr die Platten einrichten bei der vorhanden Anzahl Raidz1
Netzwerkport sind momentan 2x 1Gbit werde morgen dort nochmals 2x 4 Gbit einbauen so das ich auf 10 Nic´s komme je 1 Gbit
Das lustige ist doch schalte ich die VMS aus oder migriere ich die VM von Storage auf Local werden die Netzwerkports auch ausgelastet
Im laufenden Betrieb laufen nicht einmal 50 Mbit über die Nic´s und jede VM kommt gerade mal auf eine Lese Gewschwindigkeit von 28 MB/s bis 60 MB/S
Die 2x 1GBit sind als LACP gebundelt auf den Switch ist auch ein Link Aggreation mit 2x1 GBit und Dynamic LACP eingerichtet ist ein HP Switch
hi
ich würde dir empfehlen 2 x Fibrechannel 4 oder 8gb von qlogic zu organisieren und die vms via fc zwichen freenas und deinem hypervisor anzubinden
ich habe anfangs auch versucht das via lan zu lösen aber die perfomance ist einfach zu schlecht
hast du 4 x SAS 9207 4i4e controller ?
oder 4 am controller rest aufn mainboard oder alles in einem shelf ?
bzw schlüssel bitte auf wo du die 14 HDDs & 2 ssds angeschlossen hast
mfg marcel
ich würde dir empfehlen 2 x Fibrechannel 4 oder 8gb von qlogic zu organisieren und die vms via fc zwichen freenas und deinem hypervisor anzubinden
ich habe anfangs auch versucht das via lan zu lösen aber die perfomance ist einfach zu schlecht
hast du 4 x SAS 9207 4i4e controller ?
oder 4 am controller rest aufn mainboard oder alles in einem shelf ?
bzw schlüssel bitte auf wo du die 14 HDDs & 2 ssds angeschlossen hast
mfg marcel
Alle 14 HDD und die 2 SSD sind an der HBA angeschlossen 2 weitere Festplatten auf SSD sind am Mainboard angeschlossen hier ist das FreeNAS drauf
Ich habe die Quad NICs schon hier von Intel
Wie kann ich aus den Festplatten das besten rausholen welches Raidz soll ich am besten nehmen dachte die 2 SSD als Stripe dann einzubinden
Ich habe die Quad NICs schon hier von Intel
Wie kann ich aus den Festplatten das besten rausholen welches Raidz soll ich am besten nehmen dachte die 2 SSD als Stripe dann einzubinden
hi
aber der hba hat nur 4 anschlüsse wenn du eine sff auf sata peitsche hast ? http://www.avagotech.com/products/server-storage/host-bus-adapters/sas-9207-4i4e
oder arbeitest du mit einem expander ?
am besten würde ich die performance von einem pool bestehende aus 2x6x3tb raidz2 einschätzen und dann kannst du ja je eine spare hinterlegen
mfg marcel
aber der hba hat nur 4 anschlüsse wenn du eine sff auf sata peitsche hast ? http://www.avagotech.com/products/server-storage/host-bus-adapters/sas-9207-4i4e
oder arbeitest du mit einem expander ?
am besten würde ich die performance von einem pool bestehende aus 2x6x3tb raidz2 einschätzen und dann kannst du ja je eine spare hinterlegen
mfg marcel
nicht optimal
die 14 hdds und die performance steigernden ssds alle durch einen strohhalm gespeist werden
versuch mal 10 rechner über einen einzigen 1gb port an ein nas anzuschliesen und erwarte an jedem rechner max schreib und lesewerte :)
mfg marcel
die 14 hdds und die performance steigernden ssds alle durch einen strohhalm gespeist werden
versuch mal 10 rechner über einen einzigen 1gb port an ein nas anzuschliesen und erwarte an jedem rechner max schreib und lesewerte :)
mfg marcel
habe gerade mal ein Brenchmark gemacht auf freenass
[root@freenas /mnt/test/test3]# dd if=/dev/zero of=temp.dat bs=1024k count=25k
25600+0 records in
25600+0 records out
26843545600 bytes transferred in 5.216037 secs (5146348736 bytes/sec)
[root@freenas /mnt/test/test3]#
wenn ich mich nicht verrechnet habe sind es pro Sekunde ca 1 GB ich haben das mit 10 HDD im RAIDz2 getestet
2 Test
[root@freenas /mnt/test/test3]# dd if=/dev/zero of=temp.dat bs=4M count=1000
1000+0 records in
1000+0 records out
4194304000 bytes transferred in 1.310331 secs (3200949730 bytes/sec)
[root@freenas /mnt/test/test3]#
das wären knapp 3 GB in nichtmal 2 Sekunden
oder wäre es besser einen Pool zu machen im raidz2 mit 14 HDD nicht das mich nachher
2x 6x3 TB Raidz2 machen und die SSD als Spare eintrage das die SSD es dann ausbremsen
[root@freenas /mnt/test/test3]# dd if=/dev/zero of=temp.dat bs=1024k count=25k
25600+0 records in
25600+0 records out
26843545600 bytes transferred in 5.216037 secs (5146348736 bytes/sec)
[root@freenas /mnt/test/test3]#
wenn ich mich nicht verrechnet habe sind es pro Sekunde ca 1 GB ich haben das mit 10 HDD im RAIDz2 getestet
2 Test
[root@freenas /mnt/test/test3]# dd if=/dev/zero of=temp.dat bs=4M count=1000
1000+0 records in
1000+0 records out
4194304000 bytes transferred in 1.310331 secs (3200949730 bytes/sec)
[root@freenas /mnt/test/test3]#
das wären knapp 3 GB in nichtmal 2 Sekunden
oder wäre es besser einen Pool zu machen im raidz2 mit 14 HDD nicht das mich nachher
2x 6x3 TB Raidz2 machen und die SSD als Spare eintrage das die SSD es dann ausbremsen
Last edited:
wenn du jetz gute raten hast
raidz2 ist zu wenig meiner meinung nach da du grade mal 2 hdds ausfall auf 14 hdds hast ich hab schon 2 bei 6 hdds
richte einfach einen pool mit 2x6 raidz2 ein je noch eine spare dann biste bei 14 und hast 3x sicherheit pro raidz und dann die 2 ssds auf den gesamten pool als cache
wenn du sowieso noch keine daten drauf hast kannste ja bissl testen
aber letztendlich wirst du mit dem NFS share übers lan zum hypervisor unzufrieden sein
die verbindung via fc ist am praktikabelsten
mfg marcel
raidz2 ist zu wenig meiner meinung nach da du grade mal 2 hdds ausfall auf 14 hdds hast ich hab schon 2 bei 6 hdds
richte einfach einen pool mit 2x6 raidz2 ein je noch eine spare dann biste bei 14 und hast 3x sicherheit pro raidz und dann die 2 ssds auf den gesamten pool als cache
wenn du sowieso noch keine daten drauf hast kannste ja bissl testen
aber letztendlich wirst du mit dem NFS share übers lan zum hypervisor unzufrieden sein
die verbindung via fc ist am praktikabelsten
mfg marcel
Last edited:
Kurzer Zwischenstand
Auf dem Storage sind nun 6 x 1Gbit Port als LACP
16 HDD 2x 6x3 TB Raidz2 1 Spare und die beiden SSD als Cache dann haben ich bei den VM Cache auf Write Trough gestellt.
Nun haben die VM´s folgende Geschwindigkeit
hdparm -t --direct /dev/vda3
/dev/vda3:
Timing O_DIRECT disk reads: 3340 MB in 3.01 seconds = 1109.98 MB/sec
Das alles per NFS
das reicht mir auch schon Danke für eure Tipps
hdparm -t --direct /dev/vda3
/dev/vda3:
Timing O_DIRECT disk reads: 4396 MB in 3.01 seconds = 1460.65 MB/sec
wird immer schneller ich habe auch das lz4 Kompression ausgeschaltet
Auf dem Storage sind nun 6 x 1Gbit Port als LACP
16 HDD 2x 6x3 TB Raidz2 1 Spare und die beiden SSD als Cache dann haben ich bei den VM Cache auf Write Trough gestellt.
Nun haben die VM´s folgende Geschwindigkeit
hdparm -t --direct /dev/vda3
/dev/vda3:
Timing O_DIRECT disk reads: 3340 MB in 3.01 seconds = 1109.98 MB/sec
Das alles per NFS
das reicht mir auch schon Danke für eure Tipps
hdparm -t --direct /dev/vda3
/dev/vda3:
Timing O_DIRECT disk reads: 4396 MB in 3.01 seconds = 1460.65 MB/sec
wird immer schneller ich habe auch das lz4 Kompression ausgeschaltet
xaibex
Patron
- Joined
- Mar 19, 2013
- Messages
- 340
Wenn du eine CPU hast die AES-NI unterstützt (siehe: dmesg | grep aes) dann kannst du beruhigt die Standard lz4 Kompression einschalten.
Bei Deduplication muss man auf mehr aufpassen. Das sollte man wirklich nur verwenden wenn man High End Hardware und viel speicher hat und genau weiß was man tut.
Bei Deduplication muss man auf mehr aufpassen. Das sollte man wirklich nur verwenden wenn man High End Hardware und viel speicher hat und genau weiß was man tut.
Ich hoffe mal das sind keine kritischen Daten ;)
Ich kann mir beim besten Willen nicht vorstellen das das am Ende synchrone Schreibzugriffe sind - viel zu schnell.
Hab zwar gesehen das du auf Write through gestellt hast aber was hat den der pool an sync Einstellung? Always?
Ich wäre da extrem vorsichtig wenns wichtige Daten sind ... nicht umsonst kaufen Leute für ein Schweinegeld ZeusRam um auf halbwegs annehmbare Werte für VMs zu kommen.
Und L2Arc/Cache bringt da eigentlich gar nichts, das ist ein Read Cache - Schreibzugriffe landen entweder im Ram oder im ZIL/Slog
Ich kann mir beim besten Willen nicht vorstellen das das am Ende synchrone Schreibzugriffe sind - viel zu schnell.
Hab zwar gesehen das du auf Write through gestellt hast aber was hat den der pool an sync Einstellung? Always?
Ich wäre da extrem vorsichtig wenns wichtige Daten sind ... nicht umsonst kaufen Leute für ein Schweinegeld ZeusRam um auf halbwegs annehmbare Werte für VMs zu kommen.
Und L2Arc/Cache bringt da eigentlich gar nichts, das ist ein Read Cache - Schreibzugriffe landen entweder im Ram oder im ZIL/Slog
das sind die Mount Option
mount | grep 192.168.13.11
192.168.13.11:/mnt/storage-pool/ on /mnt/pve/storage type nfs (rw,relatime,vers=3,rsize=131072,wsize=131072,namlen=255,hard,nolock,proto=tcp,timeo=30,retrans=5000,sec=sys,mountaddr=192.168.13.11,mountvers=3,mountport=613,mountproto=tcp,local_lock=all,addr=192.168.13.11)
Daten sind schon wichtige Daten
wo kann ich den die Sync Einstellungen für freenas machen?
nfsstat
Server rpc stats:
calls badcalls badclnt badauth xdrcall
0 0 0 0 0
Client rpc stats:
calls retrans authrefrsh
6040311 10725 6042973
Client nfs v3:
null getattr setattr lookup access readlink
0 0% 59220 0% 0 0% 60 0% 2715 0% 0 0%
read write create mkdir symlink mknod
1422173 23% 4514741 74% 0 0% 0 0% 0 0% 0 0%
remove rmdir rename link readdir readdirplus
0 0% 0 0% 0 0% 0 0% 0 0% 32 0%
fsstat fsinfo pathconf commit
13563 0% 6 0% 3 0% 27893 0%
Das sind die Daten auf dem Server wo die VMs laufen
mount | grep 192.168.13.11
192.168.13.11:/mnt/storage-pool/ on /mnt/pve/storage type nfs (rw,relatime,vers=3,rsize=131072,wsize=131072,namlen=255,hard,nolock,proto=tcp,timeo=30,retrans=5000,sec=sys,mountaddr=192.168.13.11,mountvers=3,mountport=613,mountproto=tcp,local_lock=all,addr=192.168.13.11)
Daten sind schon wichtige Daten
wo kann ich den die Sync Einstellungen für freenas machen?
nfsstat
Server rpc stats:
calls badcalls badclnt badauth xdrcall
0 0 0 0 0
Client rpc stats:
calls retrans authrefrsh
6040311 10725 6042973
Client nfs v3:
null getattr setattr lookup access readlink
0 0% 59220 0% 0 0% 60 0% 2715 0% 0 0%
read write create mkdir symlink mknod
1422173 23% 4514741 74% 0 0% 0 0% 0 0% 0 0%
remove rmdir rename link readdir readdirplus
0 0% 0 0% 0 0% 0 0% 0 0% 32 0%
fsstat fsinfo pathconf commit
13563 0% 6 0% 3 0% 27893 0%
Das sind die Daten auf dem Server wo die VMs laufen
das sind einstellungen am freenas pool - nochmal hier reinschauen : https://forums.freenas.org/index.ph...xi-nfs-so-slow-and-why-is-iscsi-faster.12506/
Nicht falsch verstehen, wenn alles richtig ist ist es gut und toll und freut mich aber es sieht nicht richtig aus;)
z.b.
zfs get sync pool/dataset
Nicht falsch verstehen, wenn alles richtig ist ist es gut und toll und freut mich aber es sieht nicht richtig aus;)
z.b.
zfs get sync pool/dataset
Über Einstellung am Freenas Pool geht bestimmt nur per Console richtig
zfs get sync pool/dataset was genau bewirkt das? CPU Auslastung ist nicht einmal 3 % und NIC Auslastung gerade mal 10Mbit/s
Kennt Ihr jemanden der Freenas ein wenig Optimiert auch gegen Bezahlung wenn möglich ohne große Downtime
Ich habe beim Proxmox Mount Option die retrans erhöht lagen vorher bei 4000 ich habe es auf 5000 erhöht und jetzt liegt es bei 12000 was genau bewirkt das hatte eigentlich gelesen das es die Zugriffe sein sollten weil Original lag es bei 2
In Proxmox habe ich NFS so gemountent options vers=3,tcp,nolock,timeo=30,retrans=5000,async,
zfs get sync pool/dataset was genau bewirkt das? CPU Auslastung ist nicht einmal 3 % und NIC Auslastung gerade mal 10Mbit/s
Kennt Ihr jemanden der Freenas ein wenig Optimiert auch gegen Bezahlung wenn möglich ohne große Downtime
Ich habe beim Proxmox Mount Option die retrans erhöht lagen vorher bei 4000 ich habe es auf 5000 erhöht und jetzt liegt es bei 12000 was genau bewirkt das hatte eigentlich gelesen das es die Zugriffe sein sollten weil Original lag es bei 2
In Proxmox habe ich NFS so gemountent options vers=3,tcp,nolock,timeo=30,retrans=5000,async,
- Status
