Umbau bestehendes System - Planung

xxxONURISxxx

Dabbler
Joined
Apr 16, 2017
Messages
13
Hallo zusammen!

Ich bin gerade bei der Planung meines neuen freeNAS-Systems.

Aktueller Stand:

VM auf Proxmox mit durchgereichtem Controller
Supermicro X11SSL-CF
Xeon E3-1240 V6
48GB ECC RAM (20 GB davon für freeNAS)
7x 3TB WD Red an onboard SAS-Controller im IT-Mode (RaidZ2)
Onboard-NIC mit 1GB

Nun ist eine Erweiterung der Platten geplant. Das System wäre dann wie folgt:

Supermicro X11SSL-CF
Xeon E3-1240 V6
48GB ECC RAM
8x 4TB WD Red an onboard SAS-Controller im IT-Mode mit RaidZ2
8x 3TB WD Red an PCIe-SAS-Controller im IT-Mode (Fujitsu D2607-A21 (LSI 9211/SAS2008)) mit RaidZ1
Onboard-NIC mit 1GB

Die 8x 3TB-Platten sollen als iSCSI für verschiedene Clients dienen. Die 8x 4TB mit SMB, NFS, TimeMachine usw. als Datengrab.

Der Plan ist, freeNAS nicht mehr als VM, sondern nativ auf dem System laufen zu lassen. Wobei ich mir noch nicht 100%ig sicher bin, da das System als VM bisher absolut problemlos funktioniert und wenn ich es so mache, ein neuer Proxmox her muss.

Geplant ist, dass ich aus jeweils 8 Platten einen Pool erstelle. Sollte man das so machen, oder spricht etwas dagegen? ZIL und L2ARC will ich nicht einsetzten.

Auf dem aktuellen System habe ich iSCSI bereits getestet und war von der Performance sehr überrascht. Trotz 1GBit-Anbindung war die Übertragung mit ca. 118MB lesen und 117MB schreiben etwas schneller, als auf der fast vollen internen 3TB-Platte. (getestet mit CrystalDiskMark; 5x 32GB Datei) Ich hatte erst an 10GBit gedacht, aber bei diesen Werten ist es m. M. n. eigentlich nicht notwendig. Viel schneller werden die 8 Platten sicher nicht sein. Oder?

Habt ihr noch Tipps oder Anregungen, woran ich noch denken sollte?

Edit: Was mir gerade noch aufgefallen ist ... dei WD Red sind ja nur für max. 8 Platten spezifiziert. Bei meiner Zusammenstellung wären es ja 16 Platten. Kann das Probleme bereiten? Sind die Vibrationen so stark? Hat jemand damit Erfahrungen?

Edit2: Hab einen sehr guten Beitrag eines WD-Technikers zum Thema gefunden. Außer eventuellem Performance-Verlust scheint es keine Probleme zu geben. spiceworks.com


Danke & Gruß
Daniel
 
Last edited:

emk2203

Guru
Joined
Nov 11, 2012
Messages
573
Sieht doch gut aus. +1 für den Wegfall von Proxmox. Je einfacher die Konfiguration, desto besser.

Ich habe gerade zwei Systeme mit einem 10G-Adapter verbunden für ein Backup, einmal 8x4TB und das Backup auf 10x10TB. Mit zfs send/receive habe ich die ca. 21 TB in 21 Stunden übertragen. Das waren dann 300 MB/s und damit auch nicht sooo viel schneller.

Jeweils 8 oder maximal 10 Platten für einen Pool ist auch eine gute Idee. Ich hab die im RAID Z2 laufen, das ist mir sicher genug.
 

xxxONURISxxx

Dabbler
Joined
Apr 16, 2017
Messages
13
So ... System steht und es läuft gerade ein badblocks-Test. Drei der bisher verwendeten 3TB-Platten sind schon fehlerhaft, obwohl die alte FN-Installation keine Fehler gemeldet hatte. Gut, dass ich den Test mache ...
 

emk2203

Guru
Joined
Nov 11, 2012
Messages
573
Besser ist das. Ich habe ein über Jahre laufendes System mal wegen längerer Abwesenheit runtergefahren. Nach dem Hochfahren haben dann zwei der Platten Fehler gezeigt, die vorher auch nicht aufgefallen waren.
 

xxxONURISxxx

Dabbler
Joined
Apr 16, 2017
Messages
13
Badblocks ist durch.
Bis auf eine Platte, die so defekt war, dass der Test abgebrochen wurde, sind alle anderen angeblich ok. Kann man badblocks hier vertrauen? Während des Tests wurden Fehler im Freenas-Log angezeigt und smartctl gibt bei diesen zwei Laufwerken als Raw_Read_Error_Rate 9 bzw. 1875 (RAW_VALUE) an. Sind die Laufwerke nun als defekt anzusehen, oder liegen die defekten Sektoren noch im vertretbaren Rahmen?
 

Fredda

Guru
Joined
Jul 9, 2019
Messages
608
smartctl gibt bei diesen zwei Laufwerken als Raw_Read_Error_Rate 9 bzw. 1875 (RAW_VALUE) an. Sind die Laufwerke nun als defekt anzusehen, oder liegen die defekten Sektoren noch im vertretbaren Rahmen?
Die Raw_Read_Error_Rate ist häufig nicht sehr aussagekräftig und es hängt in der Regel auch noch von den HD Hersteller und der HD ab, was der Wert denn tatsächlich bedeutet.
Folgende Werte sollte man im Auge behalten, wenn diese größer 0 werden ist Grund zu Sorge angebracht.
Code:
196 Reallocated_Event_Count
197 Current_Pending_Sector
198 Offline_Uncorrectable
199 UDMA_CRC_Error_Count 
Und natürlich solltest Du immer mal einen langen Smart-Test laufen lassen.
 

xxxONURISxxx

Dabbler
Joined
Apr 16, 2017
Messages
13
Ok. Diese Werte stehen alle auf 0. Wichtige Daten kommen auf diese Platten eh nicht mehr. Dann kann ich mich ja jetzt an die letzten Schritte der Einrichtung machen.

Danke euch!
 
Top