Wie organisiere ich den Speicher "sinnvoll"?

[fosaq]

Hallo,

ich habe es im englischen Forum versucht aber so wirklich komme ich nicht weiter.
Ich möchte ein neues NAS für den Hausgebrauch aufsetzen. Bisher habe ich mit einem Testsystem mal ein paar grundsätzliche Dinge ausprobiert und das "Produktivsystem" braucht schon mal andere Hardware.

ABER: Bevor ich mich nach Hardware umsehe muss ich ja erstmal wissen was ich will - und daran scheitert es im Moment.
Was ich suche (und nicht gefunden habe...) ist so ein allgemeiner Leitfaden wie man seinen Storage sinnvoll organisiert.
Klar kann ich mir jetzt nach Hardwareempfehlungen für viel Geld ein mega NAS hinstellen oder einfach ein fertiges kaufen - aber was bringt mir das, wenn ich keine Vorstellung davon habe wie ich meine Daten darauf sinnvoll organisiere?

Ich vermisse ein "Best practice", generelle Tips und Beispiele:
Wie erreiche ich eine gut funktionierende Backup Strategie?
Wie gestalte ich die Namensgebung meiner pools und datasets sinnvoll?
Wie organisiere ich die datasets und volumes (anzahl, Beispielverschachtelung, etc.) für einen bestimmten Einsatzzweck.
usw.

Am besten vielleicht sticky als FAQ und natürlich dann auch in englisch. Falls es das gibt: ich habe es nicht gefunden. Auch generell finde ich im Netz so etwas nicht. Das ist alles etweder zu oberflächlich oder es ist halt die Dokumentation die mir zwar alle Möglichkeiten aufzeigt aber eben keine "Starthilfe" gibt in den Punkten die ich oben angesprochen habe.

Mein Ziel sieht grob so aus:
1. (und am wichtigsten)
Eine backup Lösung bei der es kein Problem ist wenn eine Platte (des Clients) oder der Client selbst komplett ausfällt.
Falls ein Client ausfällt will ich einfach einen neuen PC nehmen, verbinde ihn mit dem NAS und alle Daten sind direkt wieder da.
2.
Automatische Überwachung des NAS selbst (Temperaturen, Spannungen, Platte ausgefallen, ...)
3.
Das NAS sollte möglichst wenig Strom verbrauchen weil ich davon ausgehe, dass es zu 80% im Leerlauf ist.
4.
Freigaben für jeden user mit Passwortschutz, zusätlich eine allgemeine Freigabe, vielleicht noch eine "read-only" (das sollte ziemlich einfach sein)
5.
FTP-server für ein paar scanner (auch einfach)
6.
Später will ich darauf einen PLEX server laufen lassen
7.
Mal sehen was mir in Zukunft noch alles einfällt :)


Erstmal ziemlich geringe Anforderungen an das NAS, im Grunde nur ein paar shares.
Wie viel Speicherplatz nötig ist muss auch jeder für sich selbst herausfinden.

Aber dann finde ich für mich einfach keine Antworten auf Grundsätzliche Fragen:
Aus irgendeinem Grund habe ich bisher eine Konfiguration von 4 Platten dafür im Kopf. Stecke ich alle vier in ein RAIDZ2 oder mache ich zwei Mirror und setze die wiederum zu einem Stripe zusammen? Eine Spiegelung soll leistungsfähiger als ein RAIDZx sein, daher sieht die zweite Option mit den zusammengesetzten Mirrors ziemlich gut aus.
Aber stimmt das auch? Oder wäre das aus irgendeinem Grund ein no-go?

Nehme ich für jeden user ein eigenes dataset?
Erstelle ich ein dataset für die weiteren shares separat oder für alle zusammen?
Wie sieht eine Beispielkonfig für eine Backup-Lösung aus? Sollten die Daten nochmal extern gesichert werden?

Ich will einfach vermeiden irgendwas zusammenzukonfigurieren und dann doch damit auf die Nase zu fallen weil ich irgendwas nicht beachtet habe.
Natürlich will ich auch keine Hardware kaufen um dann hinterher festzustellen, dass das leider ungeeignet ist.

Ich denke ein paar basic Beispiele könnten sehr hilfreich für die Allgemeinheit sein.

 

[Yorick]

1) Veeam Windows Agent Free, scheint eine gute Loesung. "Restore" ist immer noch notwendig, irgendwie muessen die Daten ja auf die Platte, via USB Restore Boot Stick
2) Eingebaut, lass Dir emails schicken. Snapshots sind wichtig, scrubs auch, SMART auch
4) SMB, jede Menge Anleitung dazu. Fang mit einer einfachen Struktur an, und dann erst komplizierter :)

 

[micneu]

wie du deine freigaben strukturierst, ist dir überlassen. da ich erfahrungen schon mit anderen nas systemen hatte, habe ich mir keine gedanken gemacht wie ich meine daten struckturiere.
- für jede freigabe habe ich 2 gruppen angelegt (freigae_rw, freigabe_ro) und mit setfacl entsprechend den rechten auf die freigaben (lesen/schreibrechte/nur lese rechte)
- entsprechend für die rechte die ein benutzer bekommen soll habe ich in in die gruppe gepackt, kein benutzer hat direkten zugriff (immer nur über die gruppe)

wie hast du bisher deine daten organisiert?
und ganz wichtig, wenn du dich für FreeNAS entscheidest, solltest du auf alle fälle keine angst vor dem terminal haben, manches geht einfach besser/einfacher als auf der GUI.

was hast du den bisher für ein nas eingesetzt, ich denke es hat schon vorteile wenn man mit Vorkenntnisse bei FreeNAS einsteigt?
wenn du dich für eine hardware entscheidest, achte auf alle fälle drauf das du keinen Realtek Ethernet adapter nimmst, die treiber sind nicht so gut unter FreeBSD (schau am besten in der Doku oder googlen (so habe ich meine hardware gefunden) was andere einsetzen, oder du schaust dir einfach die systeme in den footern von einigen benutzern an.

ich habe eine intel basierte hardware gewählt (leider, kur nach dem ich mri mein system gebaut habe, kamen die AMD Ryzen CPU´s die etwas besser sind als Intel). mach dir gedanken, was willst du mit deinem system abdecken, wie lange willst du es einsetzen, soll es erweiter bar sein, wie groß darf es werden, wieviele platten sollen rein, willst du den onboard sata controller des motherboards nutzen oder doch lieber eine gepätchte raid karte.

du willst strom sparen, die stromspar funktionen von FreeNAS sind begrenzt, es ist ausgelegt für den Dauerbetrieb (so werden ja nas system eigentlich auch eingesetzt). ja ich weiß synoplogy und qnap können das recht gut. ist halt kein BSD system

und auch ganz wichtig,installieren das FreeNAS auf allefälle auf eine SSD KEIN USB-STICK

 

[fosaq]

Hallo und danke für die Antworten, ich komme leider jetzt erst wieder dazu mich darum zu kümmern.

@Yorick: danke. Veeam kannte ich nicht.

Natürlich will ich es so unkompliziert wie möglich gestalten, KISS eben.

Ich habe noch keine Erfahrung mit anderen NAS Systemen, will es aber lieber selbst bauen statt einfach ein fertiges zu kaufen.
Bisher habe ich meine Daten "gar nicht" organisiert - Die Daten liegen überwiegend auf den PCs verteilt, manches zusätzlich auf einer externen Platte.
Angst vor dem Terminal habe ich eh nicht. Auch als fast reiner Windows-User nutze ich die Kommandozeile recht gern (beruflich mache ich ein paar Standard-Dinge auf Linux Systemen, alles per ssh).

Die Hardware-Grundlagen habe ich mir angesehen. Trotz, dass jetzt Ryzen da ist scheint die Treiberunterstützung noch nicht so ausgereift zu sein, deshalb werde ich (erstmals) auf ein Intel-System setzen, ich habe bisher ausschließlich AMD Systeme im Einsatz.
Die Installation auf USB-Stick war mich auch "suspekt", ich möchte dafür eine M.2 Karte oder halt SSD nutzen. Erfahrungen von anderen Nutzern mit mehrfach ausgefallenen USB-Sticks scheinen meine Skepsis zu bestätigen.
Eine Intel X520 Netzwerkkarte mit zwei SFP+ Ports habe ich da, die soll über Glasfaser und link aggregation mit meinem Switch verbunden werden.
Ich möchte das System langfristig vor allem für Backups einsetzen und es erweitern können. Am Anfang sollten die SATA-Ports des Mainboards ausreichen, bei Bedarf kann ich ja noch eine PCIe Karte mit zusätzlichen SATA Anschlüssen nachrüsten.

Die Stromsparfunktionen sind natürlich begrenzt aber ich denke auch fertig gekaufte Systeme sind da nur wenig besser. Dafür bieten Serverboards schon echt coole Funktionen für die Überwachung und Administration. Bisher hatte ich ein Testsystem dessen Hardware sich dann doch als ungeeignet herausgestellt hat. Da habe ich es aber geschafft, dass die CPU in idle immer auf den minimalen Takt zurückgefallen ist - das war schon mal gut.
Ich möchte WD Red Plus einsetzen da diese Platten im idle die niedrigsten Verbrauchswerte haben.
So ganz ohne Strom läuft das natürlich nicht, ich will nur nicht sinnlos Energie verheizen wie mit einem alten Pentium 4 oder so :)

Wir reden zwar schon wieder über Hardware.... aber da weiß ich auch noch nicht so recht wie ich die Platten arrangiere.

Einfach immer paarweise Spiegeln und als Stripe verbinden? Ist halt aufwändiger zu erweitern oder auf größere Platten zu wechseln wie mit einem RAIDZ2. Dafür soll eine reinie Spiegelung leistungsfähiger sein (wie viel?). Wenn es in Zukunft viele Platten werden (>4) ist immer nur spiegeln auch Speicherverschwendung. Zudem können dann zwar auch zwei Platten (oder sogar mehr) ausfallen aber man muss Glück haben das die nicht zu einem Pool gehören sonst ist plötzlich doch alles weg. Sieht also eher so aus als wäre RAIDZ2 das Arrangement der Wahl?

 

[Yorick]

bei Bedarf kann ich ja noch eine PCIe Karte mit zusätzlichen SATA Anschlüssen nachrüsten

Ja, aber: HBA mit SAS und SAS-to-SATA breakout. Die "Resources" Sektion dieses Forums sagt dazu viel. Die PCIe SATA Kontroller sind nicht gut unterstuetzt, und oft auch grausig ausgefuehrt.

Platten arrangieren: Wer greift da wie darauf zu? Richtig ist dass Du mit raidz deine 10Gbit Verbindung nicht auslasten wirst - aber wenn die PCs nur 1GBit haben, ist das auch weniger wichtig. Geh davon aus, dass Du die IOPS einer Platte hast im raidz. Konkret heisst das, dass mit Red+ irgendwo bei 140-150MB/s Schluss ist beim Schreiben. Lesen sollte schneller gehen, haengt von ARC (RAM) und Anzahl der Platten ab, und Zugriffsmuster: Viele kleine Dateien, oder grosse Dateien sequentiell?

raidz2 ist fuer dier Heimnutzer*in (sagen die Deutschen das jetzt so? :)) fast immer die richtige Wahl. Solltest Du doch irgendwann Block Storage wollen - TrueNAS als Storage fuer VMs - und brauchst die 10Gb/s, dann ist es oft besser, einen zweiten gespiegelten Pool mit SSDs zu bauen, nur fuer die VMs: Und nach wie vor "Rost" im raidz2 fuer PCs.

Meine Erfahrung mit raidz2 war, dass ich inners 1.5 Jahren meine 5x8TB ausgeschoepft hatte, weil ich alle DVDs and Blurays darauf speicherte. Dann also Daten runter, raidz2 auf 8x8TB, und Daten wieder rauf. Im Nachhinein haette ich vielleicht gleich 8 Platten kaufen koennen.

Uebrigens auch Red+: Definitiv eine gute Wahl. So Du keine Angst vor etwas Handarbeit hast, lassen sich 8, 10 und 12TB "WD Elemental" mittels Gitarrenpicks oder alten Kreditkarten leicht "shucken" (so wie Muscheln eben). Im 8TB ist HGST Helium drin, 10TB sind Red+ Luft (aeltere auch Helium), 12TB wieder HGST Helium. Alles auf 5400rpm, auch fuer die He Platten. Helium-Platten fuer wenig Geld: Ja bitte.
2-6TB Elementals sind SMR, Finger weg von denen.

ist immer nur spiegeln auch Speicherverschwendung. Zudem können dann zwar auch zwei Platten (oder sogar mehr) ausfallen aber man muss Glück haben das die nicht zu einem Pool gehören

Ich denke damit hast Du Deine eigene Frage beantwortet. Wie bauen Leute, die tatsaechlich 2x10Gb/s brauchen fuer VMs, das auf traditionellen Platten? 3-wide mirrors. Also je Platte zwei weitere, und dann viele mirrors parallel, damit die Leistung kommt. Das ist nicht Dein Einsatzzweck. Mach raidz2 und lass es gut sein.

 

[John Doe]

noch eine bemerkung meinerseits zu 1)

wir nutzen auf der arbeit acronis und ich bin mega happy damit. die 11.x version ist etwas leichter verständlich und arbeitet in meinen augen auch etwas besser.

vorteil ist, du installierst acronis auf den clients (es wird ein separater nutzer angelegt).
das ziel von dem backup kannst du dann auf den nas legen und den zugriff nur für diesen nutzer freigeben.
in meinen augen hat man damit einen erhöhten ransomware schutz.

wenn dir ein client mal kaputt geht kannst du mittels acronis boot stick den neuen rechner hochbooten und vom nas direkt auf den neuen rechner spiegeln.

ich find es noch recht unkompliziert. man setzt es einmal auf und braucht sich bis zu dem problem nicht mehr drum zu kümmern.




mit der hdd auslegeung ist schon nicht so leicht. habe genau wie yorik irgendwann bemerkt, dass der pool einfach zu klein geworden ist.
würde daher empfehlen mit wenigeren aber großen hdds zu beginnen, so kannst du dann später "nachfüttern"

zudem würde ich dir neben der boot ssd auch noch 2 stk für die jails empfehlen. so kannst du schreibzugriffe auf dem HDD pool verkleinern
-> leiser, schneller und evtl. spart es auch etwas strom

 

[fosaq]

Zu den HBAs habe ich auch schon einiges gelesen. Ich habe schon einen SAS im Blick und dann mit zwei SFF-8087->4xSATA Kabeln könnte ich gleich nochmal 8 HDDs/SSDs anschließen. Aber das schaue ich mir im Detail an wenn ich es brauche.

Und nach wie vor "Rost" im raidz2 fuer PCs.

Rost? Das verstehe ich jetzt nicht...

Uebrigens auch Red+: Definitiv eine gute Wahl. So Du keine Angst vor etwas Handarbeit hast, lassen sich 8, 10 und 12TB "WD Elemental" mittels Gitarrenpicks oder alten Kreditkarten leicht "shucken" (so wie Muscheln eben). Im 8TB ist HGST Helium drin, 10TB sind Red+ Luft (aeltere auch Helium), 12TB wieder HGST Helium. Alles auf 5400rpm, auch fuer die He Platten. Helium-Platten fuer wenig Geld: Ja bitte.
2-6TB Elementals sind SMR, Finger weg von denen.

D.h. in den externen "Elements" stecken NAS-geeignete Platten die man nur aus dem Gehäuse nehmen muss? Klingt wirklich interessant, vor allem die 12TB. Ich habe sogar richtiges Kunststoffwerkzeug um so ein Gehäuse zu öffnen.

würde daher empfehlen mit wenigeren aber großen hdds zu beginnen, so kannst du dann später "nachfüttern"

Genau das dämmert mir auch langsam. Daher überlege ich vielleicht wirklich mit 3x 12 TB (~600 EUR) statt 4x 4 TB (~330 EUR) anzufangen.

Danke auch für den Tip mit den SSDs für die Jails.

Eine Frage fällt mir dabei ein: Erkennt das System automatisch was sync-writes sind? Dann könnte ich gleich noch eine gepufferte SSD als SLOG device für das ZIL vorsehen. Reine sync-write Anwendung werde ich vermutlich nicht haben aber ich könnte mir vorstellen, dass bei einem kleineren Teil der Daten sync-writes dabei sind. Auch wenn es nur wenig Daten sind sollten gerade die möglichst verzögerungsfrei und ausfallsicher laufen.


Sind mittlerweile AMD Systeme mit FreeNAS gut nutzbar? Vor ca. einem Jahr galt noch die Treiberunterstützung dafür als nicht ausreichend stabil aber so ein Ryzen bietet sich einfach an aufgrund der höheren Rechenleistung bei geringerer Leistungsaufnahme.

 

[Yorick]

Rost?

Festplatten, auch "drehender Rost" ("spinning rust") genannt, wegen der Beschichtung.

in den externen "Elements" stecken NAS-geeignete Platten

Ja, zumindest ab 8TB. Je nach Modell und PSU muss eventuell 3.3V abgeklemmt werden auf den SATA-Power-Verbindungen, damit die Platte anlaeuft. Jede Menge Anleitungen dazu im Netz. Ich selbst verwende acht 8TB Platten, die aus Elements kamen. Es sind HGST HE8, nur 5400rpm statt 7200rpm.

 

[fosaq]

spinning rust - AH! danke.

Das mit den 3.3 Volt ist ein Guter Tip, ich habe genug Molex->SATA Adapter bei denen natürlich die 3.3V Leitung ganz fehlt. Spätestens damit müssten sie dann laufen.
Die 7200er Platten sollen ja eh nicht sinnvoll sein weil sie mehr Strom brauchen und kaum mehr Leistung bieten.

 

[Yorick]

Molex->SATA geht, nur Vorsicht, manche koennen in Brand geraten, das waere weniger gut. Ich habe auf der PSU-Seite des modularen Kabels 3.3V "rausgepiekt", ein Freund hat 3.3V einfach geschnitten im Kabel (rabiat), und die letzte Variante ist Kapton Tape, das auf die 3.3V Pins der Platte gepappt wird, dazu gibt es hier im Forum auch Bilder.

 

[Yorick]

dass bei einem kleineren Teil der Daten sync-writes dabei sind.

Sync writes hast Du von VMWare mittels NFS oder iSCSI, und von MacOS ueber SMB, benoetigt fuer Time Machine.
Auch koennten Datenbankanwendungen, die mittels NFS oder iSCSI zugreifen, einen sync write wollen.

Fuer Windows PCs die Dateien schreiben, wirst Du kein sync write sehen, und auch nicht brauchen.

 

[John Doe]

musst für dein usecase abwiegen, wie wichtig dir geschwindigkeit (also tatsächlicher nutzen) ist vs mehr stromkosten.
alles was du in den server stopfst verbraucht auch strom.

mein HBA ist vermutlich um die 10w

wenn du noch ram kaufen musst, mach es gleich wie bei den HDDs
kaufe große riegel. kannst später besser aufrüsten und in der zwischenzeit verbrauchst du nicht so viel strom.

 

[fosaq]

Molex->SATA geht, nur Vorsicht, manche koennen in Brand geraten, das waere weniger gut. Ich habe auf der PSU-Seite des modularen Kabels 3.3V "rausgepiekt", ein Freund hat 3.3V einfach geschnitten im Kabel (rabiat), und die letzte Variante ist Kapton Tape, das auf die 3.3V Pins der Platte gepappt wird, dazu gibt es hier im Forum auch Bilder.

Oha! Ich würde tatsächlich auch einfach die Leitung durchschneiden und wenn ich sie wirklich doch brauche kann ich ne Klemme dazwischen machen.

Gut, dann lasse ich das SLOG vorerst weg. Ich dachte auch wenn über SMB in eine Datenbank geschrieben wird werden sync wrtites vielleicht als solche erkannt.

John Doe: da hast du wohl recht. "think big" ist offenbar am Anfang die bessere, wenn auch teurere, Variante.