Projekt: Home-Server mit 4x3TB (Raid5 oder Raid-Z1)

[hoppel118]

Hallo Leute,

da meine Daten-Sammlung immer größer wird, schwirrt mir schon länger eine Idee durch den Kopf. Momentan habe ich einen HTPC mit "Windows 7 MediaCenter" und auf der zweiten Partition "ubuntu mit XBMC", wo 2HDDs (1x3TB und 1x2TB) angeschlossen sind. Diese beiden Platten möchte ich gern, auf eine sicherere Umgebung (evtl. Raid5 oder Raid-Z1) migrieren.

Nun möchte ich bei der Gelegenheit nicht nur ein NAS-System bauen, sondern eine mit proxmox oder esxi5 komplett virtualisierte Umgebung. So kann ich mir dann auch einfach mal eine virtuelle Maschine erstellen, um Backend-Tests durchzuführen. In einer weiteren VM soll dann bspw. ein Debian-VDR-Server laufen, der mir TV-Streams in meinem gesamten Netzwerk zur Verfügung stellt.

Da Proxmox über ein Webinterface administriert werden kann, gefällt es mir besser. Habe aber noch nie (weder mit esxi, noch mit proxmox) Hardware an einen Gast durchgereicht. In einem Beitrag im FreeNAS-Forum habe ich gelesen, dass jemand bereits erfolgreich einen LSI2008-Controller an einen esxi-Gast weitergereicht hat.

• Was würdet ihr empfehlen? proxmox oder esxi5?

Folgende bereits vorhandene Hardware:

• Mainboard: (VT-x/VT-d fähig)
• CPU: Intel Core i5 650 http://ark.intel.com/products/43546/Intel-Core-i5-650-Processor-(4M-Cache-3_20-GHz)
• RAM: 4x 4GB
• OS-HDD: 250GB
• Genäuse: Fractal Define R3 USB3.0 Titanium Grey

ergänzt werden soll diese Hardware mit folgenden Komponenten:

SAS/SATAIII-Controler (LSI 2008)

• entweder AOC-USAS2-L8e - http://www.supermicro.com/products/accessories/addon/AOC-USAS2-L8i.cfm?TYP=E
• oder AOC-USAS2-L8i - http://www.supermicro.com/products/accessories/addon/AOC-USAS2-L8i.cfm?TYP=I

Wenn ich das System mit einem RAID-Z1 aufsetzen würde, benötige ich meinem Verständnis nach keine Raid-Funktionaltäten auf dem Controller, das wäre dann also der "AOC-USAS2-L8e". Entscheide ich mich jedoch für ein Raid5 muss ich den "AOC-USAS2-L8i" verwenden.

• Welchen Controller bzw. welches Raid (Raid-Z1/Raid5) würdet ihr empfehlen?
• Da der "AOC-USAS2-L8i" momentan 20€ günstiger ist, frage ich mich ob man die Raid-Funktionalitäten auf diesem Controller auch komplett deaktivieren kann?

Zu den Vorteilen von ZFS habe ich mich bereits belesen, schöne Sache. Aber im Wiki steht unter Kritik/Nachteile noch etwas, was mich bedenklich einstimmt: "ZFS ist optimiert für 128Bit-Serversysteme, so dass es auf 64Bit-Systemen zu Performanceeinbußen kommt."

• In wie Fern ist da was dran? Wer verwendet ZFS auf einem 64Bit-System?

Dem FreeNAS-Gast würde ich 8GB RAM zuordnen, so dass ich da auf jeden Fall auf der sicheren Seite bin.


SATAIII-HDDs

Nachdem ich mir eine Übersicht mit allen HDD-Modellen >= 3TB erstellt habe und diese dann preislich miteinander verglichen habe, bin ich quasi zum Entschluss gekommen, dass mir Unternehmens-Festplatten für meine Zwecke einfach zu teuer sind. Leider ist es beispielsweise bei Seagate (von WD habe ich ähnliches gelesen) so, dass die Desktop-Festplatten lediglich Raid 0, 1 und 10 unterstützen und Hitachi äußert sich erst gar nicht zu Raid-Funktionalitäten.

• Unterstützen Hitachi-Platten generell alle Raid-Varianten?
• Was würde/könnte passieren, wenn ich dennoch mit den Seagate-Platten und dem AOC-USAS2-L8i ein Raid5 bauen würde?
• Da ein Raid-Z1 ein auf Software basierendes Raid ist müsste RAID-Z1 ja alle Festplatten-Typen unterstützen, oder?

Momentan interessieren mich folgende Modelle:

• 4x Seagate Barracuda (ST3000DM001) 3TB SATA III 7200 --> Preis: ca. 150€
• 4x Hitachi Deskstar (HDS5C3030ALA630) 3TB SATA III 5300 --> Preis: ca. 162€
• 4x Hitachi Deskstar (HDS723030ALA640) 3TB SATA III 7300 --> Preis: ca. 200€
• 4x WD Caviar Green (WD30EZRX) 3TB SATA III 5400 --> Preis: ca. 170€
• 3x Hitachi Deskstar (HDS724040ALE640) 4TB SATA III 7400 --> Preis: ca. 275€

Das Seagate-Modell ist preislich am attraktivsten, unterstützt aber definitiv kein Raid5, reicht aber evtl. für Raid-Z1 aus.

• Welches Modell könnt ihr für Raid5 bzw. Raid-Z1 empfehlen?
• Sind die Modelle mit 5300/5400 Umdrehungen spürbar langsamer? Was für Datenraten werden damit erreicht?

Alle für mich offenen Fragen, habe ich in blau aufgelistet.

Über eure Rückmeldungen, Meinungen und Erfahrungen freue ich mich.

Danke und viele Grüße

Hoppel

 

[Teddie]

• Welchen Controller bzw. welches Raid (Raid-Z1/Raid5) würdet ihr empfehlen?
• Da der "AOC-USAS2-L8i" momentan 20€ günstiger ist, frage ich mich ob man die Raid-Funktionalitäten auf diesem Controller auch komplett deaktivieren kann?

Die beiden "Controller" sind (wahrscheinlich wirklich "nur") Add-on-Karten für ein vorhandenen Controller auf einem Supermicro-Mainboard. (siehe Webseite / Bedienungsanleitung)
Darüber hinaus wird von dem L8e-Modell selbst kein RAID unterstützt, das macht nur die L8i-Variante. Hardware-RAID5 können beide nicht.

Supports RAID 0,1,10 and 5 (with AOC-SAS2-RAID5-KEY add-on card)

Ich würde mit einem entsprechenden Controller ein echtes RAID5 immer vorziehen - das belastet den Prozessor nicht und ist wirklich schnell.
Ein Software-RAID ist eben immer von der Leistung des Prozessors abhängig, und der jeweiligen Version / Programmierung.

• In wie Fern ist da was dran? Wer verwendet ZFS auf einem 64Bit-System?

Wahrscheinlich nur ein Übersetzungsfehler.

ZFS ist ein 128 Bit Dateisystem. Ende. Hat mit der Systemarchitektur nichts / nicht viel zu tun… ;-)

• Unterstützen Hitachi-Platten generell alle Raid-Varianten?
• Was würde/könnte passieren, wenn ich dennoch mit den Seagate-Platten und dem AOC-USAS2-L8i ein Raid5 bauen würde?
• Da ein Raid-Z1 ein auf Software basierendes Raid ist müsste RAID-Z1 ja alle Festplatten-Typen unterstützen, oder?

Den Festplatten ist es grundsätzlich egal wie diese eingebunden werden.

Einige Festplatten sind aufgrund der Komponenten (Lager usw.) besser für den Dauerbetrieb in einem RAID-System geeignet als andere Festplatten, das merkt man auch am Preis - deshalb egal welche du nimmst immer min. eine mehr kaufen.
Wenn man mal eine Platte tauschen muss gibt es meistens im Consumer-Bereich keine gleichen Festplatten mehr - nimmst du eine andere Festplatte kann es zu Problemen kommen.
Dies fängt bei Geschwindigkeitsverlust an und hört bei Datenverlust bzw. fehlerhafter Integration ins RAID und damit min. 3 - 5 neuen Platten auf.

Das Problem bzgl. des Datenverlustes ist bei einem Software-RAID weniger hoch (meiner bescheidenen Meinung nach), kann aber auch bei einem Wechsel zu Geschwindigkeitseinbußen kommen.

• Welches Modell könnt ihr für Raid5 bzw. Raid-Z1 empfehlen?
• Sind die Modelle mit 5300/5400 Umdrehungen spürbar langsamer? Was für Datenraten werden damit erreicht?

Hardware-RAID ist genau so egal wie bei Software wichtig ist, dass alle Festplatten die gleichen Modelle sind.
Bei Hardware-RAID gibt es noch Hersteller-Kompatibilitätslisten, welche meist jedoch nicht wirklich auf dem aktuellsten Stand sind.

Green-Modelle sind leiser, brauchen keine Kühlung, da sie kälter sind und vor allem sparen sie Strom.
Die Datenraten bei großen Dateien sind annähernd identisch - bei kleinen Dateien bzw. vielen Dateien auf jeden Fall spürbar langsamer, da die Zugriffszeiten teilweise dreimal so hoch sind.

 

[hoppel118]

Die beiden "Controller" sind (wahrscheinlich wirklich "nur") Add-on-Karten für ein vorhandenen Controller auf einem Supermicro-Mainboard. (siehe Webseite / Bedienungsanleitung) Darüber hinaus wird von dem L8e-Modell selbst kein RAID unterstützt, das macht nur die L8i-Variante. Hardware-RAID5 können beide nicht.

Das beide kein Raid 5 unterstützen hatte ich mittlerweile auch schon rausgefunden, das hatte ich wohl übersehen.

Ich würde mit einem entsprechenden Controller ein echtes RAID5 immer vorziehen - das belastet den Prozessor nicht und ist wirklich schnell.
Ein Software-RAID ist eben immer von der Leistung des Prozessors abhängig, und der jeweiligen Version / Programmierung.

Welches Modell integriert sich besonders gut in freenas? Schön wäre, wenn die Raid-Funktionalitäten auf dem controller komplett deaktivierbar wären, so könnte ich beide Varianten mal ausprobieren (Raid5/Raid-Z1). Prozessorleistung sollte ich genug haben.

Welche Raid-Controller-Hersteller sind denn generell zu empfehlen?

IDen Festplatten ist es grundsätzlich egal wie diese eingebunden werden. Einige Festplatten sind aufgrund der Komponenten (Lager usw.) besser für den Dauerbetrieb in einem RAID-System geeignet als andere Festplatten, das merkt man auch am Preis - deshalb egal welche du nimmst immer min. eine mehr kaufen.

Danke für den Tip, mein Projekt ist somit wieder ca. 200€ teurer geworden.

Hardware-RAID ist genau so egal wie bei Software wichtig ist, dass alle Festplatten die gleichen Modelle sind.
Bei Hardware-RAID gibt es noch Hersteller-Kompatibilitätslisten, welche meist jedoch nicht wirklich auf dem aktuellsten Stand sind.

Da gebe ich dir recht. Aber gerade bei den 3TB-Platten habe ich die Vermutung, dass Probleme vorprogrammiert sind. Hat hier bereits irgendwer erfolgreich 3TB-HDDs in einem Raid5-/Raid6-Verbund? Wenn ja, elcher Controller bzw. welches Festplattenmodell wird verwendet?

Green-Modelle sind leiser, brauchen keine Kühlung, da sie kälter sind und vor allem sparen sie Strom. Die Datenraten bei großen Dateien sind annähernd identisch - bei kleinen Dateien bzw. vielen Dateien auf jeden Fall spürbar langsamer, da die Zugriffszeiten teilweise dreimal so hoch sind.

Hauptsächlich sollen Filme gelagert und gestreamt werden, somit handelt es sich hauptsächlich um größere Dateien.

Was würdet ihr mir denn nun eher empfehlen? Raid5 oder Raid-Z1?

Bei Raid-Z1 könnte ich mir natürlich den Raid-Controller sparen. Aber wie sind da so ca. die Transferraten bei 4x3TB? Gibt es da wesentliche unterschiede?

Viele Grüße

 

[leo123]

Vergiss das mit Freenas. Ist zu hardwarehungrig, und unterstützt kaum Hardware. Nicht mal alte Netzwerkkarten von Realtek.
Musst die Hardware für Freenas kaufen, und nicht das was dir so vorschwebt.
Probiere es mit Openmediavault, das basiert auf debian, und ist da viel flexibler.
Einen Hardwareraid Controller brauchst du da nicht. Ich habe ein Raid5 als Softwareraid laufen, und habe zwischen 80 und 100% Netzwerkauslastung damit!!!!

 

[hoppel118]

Was ist dir denn bitte für eine Laus über die Leber gelaufen? Bist du bei Openmediavault angestellt? :D Das wir hier im freenas-forum sind, ist dir bewusst?

Denkst du, dass die von mir oben genannte Hardware für dieses Projekt nicht ausreicht?

Die Controller die ich mir ausgesucht habe, bzw. die mir in einem anderen Forum empfohlen wurden, werden laut FreeBSD-Kompatibilitätsliste beide unterstützt. Die Kompatibilitätsliste ist übrigens ewig lang, einfach mal nen Blick drauf werfen, da findest du bestimmt eine Netzwerkkarte mit der du glücklich wirst. ;) In diesem Projekt geht es mir nicht darum alte Hardware verbauen zu können. Einen Controller benötige ich in jedem Fall da ich diesen komplett an den FreeNAS-Gast per "PCI-Passthrough" durchreichen möchte. Wenn ich dies mit meinem Onboard-Sata-Controller machen würde, hätte ich keinen Controller mehr für das Host-System "Proxmox" und die Container für die virtuellen Maschinen.

Unterstützt Openmediavault denn mittlerweile ZFS?

Gruß

 

[leo123]

wozu ZFS?
na mach wie du denkst. ;)

 

[hoppel118]

Hm..., ich habe nichts dagegen mich von openmediavault überzeugen zu lassen. Momentan habe ich zwar freenas installiert, aber noch ist alles machbar. Aber dann müsstest du mir mal die Vorteile genauer erklären. Dass deine alte Netzwerkkarte von freenas nicht unterstützt wird sei mal dahin gestellt.

Openmediavault basiert auf debian. Das ist gut, denn damit kenne ich mich aus. Aber ich denke, so viel anders wird das bei freebsd schon nicht sein, habe mittlerweile so viele Distries getestet und produktiv im Einsatz gehabt...

Ist aber eigentlich offtopic! ;)

 

[leo123]

meine Netzwerkkarte ist auf einem Board, das es erst eine Woche gibt. ;)
Hier meine Hardware:
Chenbro ES34169T
DVD NEC ND 7590S
CPU Intel G630T
MB Asus P8H77-I
2x4GB Adata DDR3
SSD 30GB Corsair Nova 2

Meine ganzen Versuche mit Freenas findest du hier im Forum. So schnell wie OMV war es nie.
Habe ein Raid5 mit ext4 am laufen, Gigabit Lan ist da voll ausgenutzt. Und WOL funktioniert damit auch. ;)

 

[hoppel118]

OK, habe es mir gerade mal heruntergeladen und werde es gleich mal als VM installieren. Im Proxmox-Forum kam auch gerade die Aussage, dass FreeBSD als KVM Gast nicht wirklich der Bringer ist. Schade, aber ich werde objektiv einfach mal beides betrachten.

Dass deine Netzwerkkarte alt ist, hast du geschrieben. ;)

 

[leo123]

jo, der Netzwerk Chip als solches ist nicht neu. Den gibt es schon ne weile.
Bei OMV nach der install erstmal alle Updates holen, da ist einiges. ;)

 

[Teddie]

Das beide kein Raid 5 unterstützen hatte ich mittlerweile auch schon rausgefunden, das hatte ich wohl übersehen.

Welches Modell integriert sich besonders gut in freenas?

hier

Schön wäre, wenn die Raid-Funktionalitäten auf dem controller komplett deaktivierbar wären, so könnte ich beide Varianten mal ausprobieren (Raid5/Raid-Z1). Prozessorleistung sollte ich genug haben.

Welche Raid-Controller-Hersteller sind denn generell zu empfehlen?

Natürlich kannst du die Funktionen nach belieben einstellen - habe bis jetzt noch keinen RAID-Kontroller selbst gekannt, welcher die RAID-Funktion zwingend erfordert.
Ich schwöre eigentlich auf 3WARE und LSI - hatte ich generell die wenigsten Probleme.

Danke für den Tip, mein Projekt ist somit wieder ca. 200€ teurer geworden.

Sorry.

Da gebe ich dir recht. Aber gerade bei den 3TB-Platten habe ich die Vermutung, dass Probleme vorprogrammiert sind. Hat hier bereits irgendwer erfolgreich 3TB-HDDs in einem Raid5-/Raid6-Verbund? Wenn ja, elcher Controller bzw. welches Festplattenmodell wird verwendet?

Wenn der Controller 64-Bit LBA Unterstützung für Arrays größer 2 TB hat ist das kein Problem. ;-)

Hauptsächlich sollen Filme gelagert und gestreamt werden, somit handelt es sich hauptsächlich um größere Dateien.

Was würdet ihr mir denn nun eher empfehlen? Raid5 oder Raid-Z1?

Bei Raid-Z1 könnte ich mir natürlich den Raid-Controller sparen. Aber wie sind da so ca. die Transferraten bei 4x3TB? Gibt es da wesentliche unterschiede?

Ich gehe mal davon aus, dass du nur einmal pro Jahr mehr als zwei, drei Streams und noch einen aktiven Schreibvorgang am laufen hast.
In der Regel sitzt man am TV, schaut den Film - vielleicht der Sohn in seinem Zimmer noch ein SD-Cartoon und das wars.
Dafür reicht ein günstiger Controller OHNE RAID-Funktionalität vollkommen aus.

-----

OMV unterstützt kein ZFS und auch kein UFS(2) - aber XFS, JFS, EXT3 und EXT4.

-----

Realtek ist nun nicht der ultimative Netzwerkkarten / Chip-Hersteller… ;-)

 

[leo123]

Realtek ist nun nicht der ultimative Netzwerkkarten / Chip-Hersteller… ;-)

aber weit verbreitet.

 

[leo123]

ich habe nun so fast alle an Freeware für nas durch.
OMV ist empfehlenswert, wenn der mal die Freigaben anständig überarbeitet.
Freenas ist empfehlenswert, wenn die Hardwareunterstützung verbessert wird, und Energiemanagment zurück kehrt.
Derzeit Windows drauf, bisher das beste, wenn man alle Punkte über Freigaben, Möglichkeiten und Speed betrachtet.
die anderen Systeme nenne ich nicht namentlich, um keinen Ärger zu bekommen, sind Schrott.

 

[Teddie]

ich habe nun so fast alle an Freeware für nas durch.
OMV ist empfehlenswert, wenn der mal die Freigaben anständig überarbeitet.
Freenas ist empfehlenswert, wenn die Hardwareunterstützung verbessert wird, und Energiemanagment zurück kehrt.
Derzeit Windows drauf, bisher das beste, wenn man alle Punkte über Freigaben, Möglichkeiten und Speed betrachtet.

Dass die Hardware nicht unterstützt wird, war früher schon immer ein ein Problem von Offenen Systemen - was heute nicht anders ist.
Wichtig ist doch, dass die Freigaben funktionieren und stabil und zuverlässig laufen, oder? :)

Hast ne PN.

 

[hoppel118]

Hallo Leute,

habe mir gestern den Areca 1231ML und 4x die 3TB HDS 5K3000 bestellt. Danke schonmal für die Infos, werde berichten, sobald das Raid5 installiert ist.

Wie sieht es denn eigentlich mit dem Dateisystem aus? Die 16TB-Grenze werde ich wohl irgendwann knacken. Aber ext4..., ist das wirklich schon einsatztauglich?

Ansonsten steht noch XFS und JFS zur Verfügung. Habe mir jetzt mal entgegen meiner ursprünglichen Planung (freenas) openmediavault installiert.

Gruß

 

[Teddie]

Hallo Leute,

habe mir gestern den Areca 1231ML und 4x die 3TB HDS 5K3000 bestellt. Danke schonmal für die Infos, werde berichten, sobald das Raid5 installiert ist.

Wie sieht es denn eigentlich mit dem Dateisystem aus? Die 16TB-Grenze werde ich wohl irgendwann knacken. Aber ext4..., ist das wirklich schon einsatztauglich?

Ansonsten steht noch XFS und JFS zur Verfügung. Habe mir jetzt mal entgegen meiner ursprünglichen Planung (freenas) openmediavault installiert.

Gruß

Mit dem Erscheinen von Linux 2.6.28 am 24. Dezember 2008 verließ ext4 das Hauptentwicklungsstadium.

Habe jetzt ca. 4 TB durch das Netzwerk auf meine Festplatten gequetscht - funktioniert schnell und Problemlos.
OMV ist bei der Rechtevergabe etwas gewöhnungsbedürftig, da alle Dienste beendet werden und ggf. die Transfers abbrechen.

Du hast den Vorteil, dass du im Grunde nur eine Festplatte hast, welche ein Dateisystem braucht. ;-)
Ich würde Probleme daher bei dir nahezu ausschließen.

XFS würde ich erst nehmen, wenn ich vor habe mehr als 1.024 PiB zu bauen… also 1.048.576 Terrabyte - das ist die Grenze von ext4.

 

[hoppel118]

Habe jetzt ca. 4 TB durch das Netzwerk auf meine Festplatten gequetscht - funktioniert schnell und Problemlos.
OMV ist bei der Rechtevergabe etwas gewöhnungsbedürftig, da alle Dienste beendet werden und ggf. die Transfers abbrechen.

Ok, in meinem Homenetzwerk kann ich glücklicher Weise gerade noch die Transfers überblicken. :)

Du hast den Vorteil, dass du im Grunde nur eine Festplatte hast, welche ein Dateisystem braucht. ;-) Ich würde Probleme daher bei dir nahezu ausschließen. XFS würde ich erst nehmen, wenn ich vor habe mehr als 1.024 PiB zu bauen… also 1.048.576 Terrabyte - das ist die Grenze von ext4.

Ok, also nehme ich ext4. Habe nur öfters mal nicht so gute Dinge über dieses Dateisystem gelesen, z.B. dass Daten plötzlich verloren waren. Kann aber auch sein, dass es sich da um Software-Raids handelte und die User sich vielleicht nicht ganz so gut auskannten. Es ist nicht so, dass ich der absolute Profi bin. Jedoch habe ich mittlerweile ca. 5Jahre Erfahrung mit verschiedensten Distributionen. Das Thema Raid ist aber quasi neu für mich.

Hoffentlich ist die Hardware bald hier. Für das Gehäuse "Fractal Design Define XL, habe ich bereits die Versandbestätigung erhalten.

Viele Grüße

 

[Teddie]

Hoffentlich ist die Hardware bald hier. Für das Gehäuse "Fractal Design Define XL, habe ich bereits die Versandbestätigung erhalten.

Viele Grüße

Da hätte ich eher ein richtiges 19" Gehäuse inkl. Schrank genommen. :-D

Bitte die Lüfter nicht vergessen… bei den Kapazitäten wird es schnell richtig warm. (pro HDD 40 - 50°C)