Hardware check / RAM Speicher - 32 oder 64 GB?

[Crunk_Bass]

Hallo zusammen,

ich habe mir einen neuen NAS Server zusammengestellt und würde gerne euere Meinungen dazu hören.
Hier mal ein Link zur Hardware: http://geizhals.de/?cat=WL-454033

Eines Vorweg: Ich plane den Server rein für Backups meiner PCs und Server zuhause sowie der Server die in den Rechenzentren stehen zu verwenden. Dabei möchte ich sowohl Komprimierung als auch Deduplikation nutzen.

Die 6x 4TB Festplatten werde ich zu einem RaidZ1 zusammenschalten.
Dazu kommen noch 6x 1,5TB als RaidZ1 aus meinem alten FreeNAS System.
Ich werde versuchen den alten Pool zu importieren aber bin mir nicht sicher wie es da mit der Kompatibilität aussieht. Der alte FreeNAS Server läuft noch mit Version 0.7 Revision 4919 von 2009 also noch bevor FreeNAS von ixsystems übernommen wurde. Das soll jetzt aber nicht das Problem sein.

Nun zu meinem Anliegen:
In den Hardwareanforderungen habe ich gelesen, dass pro 1TB Festplattenspeicher 5GB Arbeitsspeicher für Deduplikation empfohlen werden. Für mich würde das also heissen ich bräuchte 137,5GB RAM. Das scheint mir ein bisschen viel zu sein. Ausserdem wäre das mit der Hardware, die ich ausgesucht habe gar nicht möglich.
Eine Alternative wäre natürlich (falls das möglich ist) einzelne Datasets für die Backups, die dedupliziert werden sollen, zu verwenden und nicht den kompletten Pool zu deduplizieren. Wie sind da euere Erfahrungen?

 

[Ericloewe]

Dedup ist wirklich nur für ganz bestimmte Benutzungen eine gute Idee. Dedup würde wirklich mindestens 128GB RAM brauchen. Komprimierung ist aber reibungslos.
Es ist theoretisch möglich, nur bestimmte Ordner zu deduplizieren, die meisten Probleme sind jedoch immer noch da.

Wenn bei dedup nicht genügend RAM vorhanden ist, kommt man nicht weiter bis mehr RAM vorhanden ist. 128GB könnten nicht ausreichen, vielleicht könnten sogar 96GB ausreichen. Es gibt keine eindeutige Formel.


Das Motherboard funktioniert nur mit Unbuffered RAM. UDIMMs gibt es nur bis 8GB (es gibt eine neue Marke, die mystische 16GB UDIMMs hat und hier funktionieren würden - die sind aber schwer zu finden, dubiös und extrem teuer).

Für Datensichertheit wird RAIDZ2 empfohlen, da RAIDZ1/RAID5 mit große (~1TB+) Festplatten mit hohe Wahrscheinlichkeit während des Rebuilds Fehler haben werden - sollte es dazu kommen, dann wird es schön kompliziert zu korrigieren.

Alte Pools zu importieren ist üblicherweise reibungslos, wenn sie von FreeNAS 8+ stammen. Weil FreeNAS 7 ganz anders ist, sollen Pools am Besten neu erstellt werden (es ist schon zu Probleme gekommen, die niemand wirklich versteht).

 

[Crunk_Bass]

Es ist theoretisch möglich, nur bestimmte Ordner zu deduplizieren, die meisten Probleme sind jedoch immer noch da.

Von welchen Problemen sprichst du hier? Könntest du das bitte ein bisschen genauer ausführen?
Ich möchte Deduplikation für die Backups meiner Server nutzen. Auf diesen läuft das gleiche Betriebssystem und die Daten sind auch größtenteils identisch. Ca. 400GB sind auf 5 Servern gespiegelt.

Wenn bei dedup nicht genügend RAM vorhanden ist, kommt man nicht weiter bis mehr RAM vorhanden ist.

Demnach wäre es wohl am besten wenn ich mit 2x16GB Riegeln anfange um dann noch Platz für weitere 32GB zu haben?

Das Motherboard funktioniert nur mit Unbuffered RAM. UDIMMs gibt es nur bis 8GB (es gibt eine neue Marke, die mystische 16GB UDIMMs hat und hier funktionieren würden - die sind aber schwer zu finden, dubiös und extrem teuer).

Das mit den UDIMMs ist (bis jetzt) meiner Ansicht nach das einzig schlechte an dem Board. 16GB UDIMM Riegel habe ich schon gefunden aber da gibt es wirklich nur eine Hand voll Anbieter. Einen sehr günstigen gibt es bei Caseking. Dieser ist aber leider nicht lagernd.

Für Datensichertheit wird RAIDZ2 empfohlen, da RAIDZ1/RAID5 mit große (~1TB+) Festplatten mit hohe Wahrscheinlichkeit während des Rebuilds Fehler haben werden - sollte es dazu kommen, dann wird es schön kompliziert zu korrigieren.

Vielen Dank für den Hinweis. Gibt es dazu schon irgendwo eine Statistik? Ich hatte bisher keinerlei Probleme bei der Wiederherstellung mit Festplatten von 3TB+. Wenn ich das richtig verstehe wäre dann sowieso nur eine Datei betroffen und nicht das komplette Array. Darüber habe ich mir bisher noch nie Gedanken gemacht da dieser NAS Server sowieso nur die Sicherung von der Sicherung ist. Ich hatte meine alte Kiste größtenteils nur für Versionierung mit Hilfe von Snapshots verwendet.

Weil FreeNAS 7 ganz anders ist, sollen Pools am Besten neu erstellt werden.

Gut zu wissen. Dann werde ich die Daten einfach auf die neuen Platten verschieben und den Pool neu erstellen.

 

[Ericloewe]

Von welchen Problemen sprichst du hier? Könntest du das bitte ein bisschen genauer ausführen?
Ich möchte Deduplikation für die Backups meiner Server nutzen. Auf diesen läuft das gleiche Betriebssystem und die Daten sind auch größtenteils identisch. Ca. 400GB sind auf 5 Servern gespiegelt.

Besonders das "Wird nicht importiert, bis mehr RAM da ist"-Problem wird nicht gelöst. Vielleicht wird etwas weniger RAM gebraucht, gelöst wird es aber nicht wirklich.
Ich müsste nachfragen, um mehr Infos zu bekommen. Weil dedup von sehr, sehr wenige benutzt wird, sind mache Details nicht besonders gut bekannt.

Vielen Dank für den Hinweis. Gibt es dazu schon irgendwo eine Statistik? Ich hatte bisher keinerlei Probleme bei der Wiederherstellung mit Festplatten von 3TB+. Wenn ich das richtig verstehe wäre dann sowieso nur eine Datei betroffen und nicht das komplette Array. Darüber habe ich mir bisher noch nie Gedanken gemacht da dieser NAS Server sowieso nur die Sicherung von der Sicherung ist. Ich hatte meine alte Kiste größtenteils nur für Versionierung mit Hilfe von Snapshots verwendet.

Es gibt mehrere Artikel, dieser wird oft als Besispiel gegeben.

Es gibt auch der RAID Reliability Calculator bei Serve The Home. Der Modell ist etwas simplistisch, sollte aber für Vergleiche gut sein. Non-recoverable Error Rates für typische Festplatten sind 1 in 10^14 für Desktop-, 1 in 10^15 für Serverfestplatten.