Wie würdet Ihr ein Raid 1D realisieren?

[janb14]

Hallo Leute ich wollte mal fragen wie ihr ein delayed Mirror aufbauen würdet?
Von Haus aus bietet Freenas das ja nicht an und bei Google werde ich auch nicht wirklich fündig. Also hab ich mich selbst mal daran versucht was in Bash zu schreiben.

Code:

#!/bin/bash
now=$(date +"%Y_%m_%d")
zpool import -R /mnt/ MediaBackup
rm /mnt/MediaBackup/*-Backuplog.txt
rsync -ahv --delete /mnt/Media/ /mnt/MediaBackup/ >> /mnt/MediaBackup/$now-Backuplog.txt
zpool export MediaBackup

Nun meine Frage würded ihr das genauso machen und es dann über nen Cronjob einfach jeden Abend laufen lassen ?
Gibt es besser Alternativen ? Ist das Importieren und Exportieren schädlich für ZFS?
Mir ist nur wichtig das der Backuppool sicher schlummert und die Festplatte in den Standby schaltet das wenn ich lustige Ransomware bekomme oder ausversehen alles in die Luft jage einfach den Pool manuell resilvern kann.
MfG Jan

Update1:
Ok wie es scheint hat FreeNAS es nicht so gerne einen Pool über die Komandozeile abzuhängen. Es sieht dann in der GUI so aus als wäre die Platte auf der der Pool ist gestorben :/.
Habt ihr Alternativen bzw. wisst wie man den Detachknopf der Website über ssh quasi anstößt?

Update2:
Nach einiger Diskussion und eigener Recherche bin ich zu folgendem 2 Punkteplan gekommen:
(Eckige Klammern stehen für Pools und die Runden Klammern für Namen)

STAGE1:
[1tb+1tb+2tb] (Media) ------ rsync / zfs-Replication (1 mal am Tag) -----> [4tb] (MediaBackup)

STAGE2:
[1tb+1tb] (Media Unmirrored)
[4tb](Media Mirrored) --------------RAID 1 ------------------>[4tb+2tb](Media Backup)+"Snapshot Disk"
Und an alle die jetz wegen der Snapshot Disk meckern ...das macht Sinn da ich hauptsächlich große Filme gespeichert habe und dies bei ner löschung ob gewollt oder nicht nen riesiges Snapshot erzeugen. Die Aufteilung von (Media Unmirrored) sowie (SnapshotDisk) sind noch nicht final.

 

[X11SAE]

Ich würde einen 2. Pool machen und diesen mit dem 1. synchronisieren.

 

[janb14]

Das ist ja genau das was ich in dem Script beschreibe, Meine Frage ist ob sich dies eleganter lösen lässt, bzw wie man diesen Pool vom Rest des Systems abschotten kann (z.B. durch einen export bis zum nächsten Backup)

 

[X11SAE]

Dein Weg führt zu einem ähnlichen Ergebnis, nur nutzt Du nicht das GUI sondern machst das mit der Brechstange.
Die Festplatten in den Standby zu versetzen bringt nicht viel, die werden dann einfach aufgeweckt wenn Zugriffe anliegen. Du könntest die Festplatte per Script im FreeBSD unmounten, aber dann hast Du dauernd ein degradeten Pool und das kann auch nicht die Lösung sein.
Wenn Dein Backup-Pool keine SMB Freigaben hat, dann dürfte da ja auch keine Ramsomware draufkommen. Ausser Du kopierst sie mit, aber da sie so nicht ausgeführt wird, ist das nicht ganz so schlimm.
Weiter besteht die Gefahr, dass Du nicht sofort merkst, wenn sich Ransomware austobt (z.B. wenn Du im Urlaub bist). Um Dich davor zu schützen, wirst Du Snapshots verwenden müssen und da drängt sich dann wieder die Variante mit den 2 synchronisierten Pools auf.

Ich hab bei mir den Ransomware Schutz inzwischen so gelöst: Zusätzliches NAS, welches per Scheduler nur während dem Backupjob eingeschaltet ist. Das Backup landet in einem versteckten SMB-Share. Nur genau 1 Benutzer hat da Lese-/Schreibrechte, dieser User meldet sich nie an einem PC/Server an, er ist nur in der Backupsoftware für das Kopieren hinterlegt.
Es müsste hier einen Thread geben, wo ich Fragen zu dem Ransomschutz gestellt habe, leider bin ich irgendwie grad zu doof um den zu finden

 

[janb14]

Danke für die Antwort .
Gibt es denn garkeine Möglichkeit den Detachknopf der Weboberfläche zu Invoken ? Und dann dieselbe Import Prozedur wie in der Gui zu starten ?
Hier das Script was ich derzeit verwende wenngleich es kein Abkoppel unterstützt:

Code:

#!/bin/bash
now=$(date +"%H_%M_%S__%d_%m_%Y")
echo "Creating Backup now."
echo $now | tee /var/log/SyncBackuplog.txt
rsync -ahv --delete /mnt/Media/ /mnt/MediaBackup/ | tee -a /var/log/SyncBackuplog.txt

Es muss doch eine Möglickeit geben manuell einfluss auf die Pooltabellen zu nehmen.
OFFTOPIC:
Könnte man eigentlich eine eigene Festplatte nur für die Snapshots reservieren? Bzw. dann nur die Snapshots in den Backuppool zu pumpen? Wobei dann der Sinn eines RAID1 auch vor Festplattenfehler zu schützen wegfällt.

 

[snaptec]

Warum nicht einfach zfs snapshots nutzen?


Gesendet von iPhone mit Tapatalk

 

[janb14]

Ich würde gerne einen Raid 1D benutzen da er für sich alleine existieren kann und so meine Dateien vor Datenverlust durch Festplattenausfall schützt.
Meine derzeitige Konfiguration besteht aus einem großen Pool der aus mehreren festplatten zusammengestückelt ist. Nun hab ich mir eine einzige neue Platte gegönnt die ebenfalls 4tb ist und ich würde gerne einen spiegel aufbauen da ich schon oft Daten durch Ausfall der Laufwerke verloren habe. Ich möchte aber ebenfalls meine Daten im falle eines Nutzerfehler in Sicherheit wissen und kann mit einem Verlust von z.b. 1 Tag Daten leben. Snapshots setzten doch eine Konsistenz des Pools vorraus was bedeuten würde ich müsste noch ein 3. Medium kaufen um die ersten beiden zu spiegeln und auf der dritten die Snapshots zu speichern. Das ist für mich derzeit nicht erschwinglich.
MfG Jan

 

[snaptec]

Du machst snapshots und zusätzlich zfs replication.
Snapshots kümmern sich um deine bedienerfehler.
Die replication um hardware Fehler.
Das macht aber am ehesten Sinn wenn das replication Ziel eine zweite physikalische Maschine ist.

Ein Netzteil defekt mit Überspannung killt dir sonst alles weg.

Les dich da mal ein.


Gesendet von iPhone mit Tapatalk

 

[janb14]

Vielen Dank für die Begriffe damit ich was zu googeln habe ^^
Aber eine Sache stört mich daran noch.
Ein Snapshot braucht Platz um die Änderungen zu mappen (im Falle einer Löschung muss die Datei im Snapshot eingelagert sein um ein Wiederherstellung zu ermöglichen oder liege ich falsch ? ).
Ergo bräuchte ich für deine Lösung mehr als meine 2x 4tb pools. Nämlich einen weiteren um Platz für die Snapshots zu haben. Duch die Snapshots hätte ich zwar mehr sicherheit (es könnte in meinem falle ja passieren das ich 1min vor dem rsync cronjob alles ausversehen wegpuste) aber er würde auch die Kosten erhöhen.
Oder habe ich da einen Denkfehler ?

Und wegen dem Netzteilproblem hab ich eine Überspannungsschutzdose und ein Ars** teures Netzteil von Bequiet was ich noch rumliegen hatte. Deshalb mache ich mir keine Sorgen bzw. Das ist ein Upgrade worüber ich als letztes nachdenke.

 

[X11SAE]

Das siehst Du schon richtig, da im Snapshot auch die gelöschten Daten gespeichert sind, brauchst Du im Backup Pool potenziell mehr Speicher. Das ist ja genau der Vorteil von Snapshots, Du hast so eine komplette History.
Wie voll ist der 4TB Pool? Wenn der nicht randvoll ist, hast Du alleine dadurch ein bisschen Luft. Die Snapshots musst Du nicht ewigs aufbewahren, wenn Du z.B. nur 3 Snapshots aufbewahrst, reduziert sich der Platzbedarf. So hast Du halt weniger Sicherheit, Du hast nur 3 Tage Zeit um ein allfälliges versehentliches Löschen zu merken. Wenn Du nach 7 Tagen Urlaub zurückkommst und sich in der Zeit Ransomeware ausgebreitet hat, hilft Dir Dein Backup nichts mehr. Dem kannst Du vorbeugen, indem Du bevor Du in den Urlaub fährst den Backupjob deaktivierst. Nur muss Du da natürlich immer dran denken... Das würde ich mir nicht antun, aber wenn das Budget eine bessere Lösung nicht zulässt, muss man halt Kompromisse eingehen.

Ich kenne die Situation mit einem zu kleinen Backup Pool. Ich habe damals die Snapshots zwar grundsätzlich 30 Tage behalten, musste dadurch aber regelmässig Snapshots von Hand löschen, weil der Job wegen zuwenig Platz nicht mehr ausgeführt wurde. Das war immer dann der Fall, wenn ich für neue Filme platz gemacht und alte Filme gelöscht habe. War ein ziemlicher Aufwand das einigermassen im Griff zu haben, aber es hat funktioniert.

Eine Idee wäre auch noch, im Backup Pool durch Erhöhung der Kompression mehr Platz zu schaffen. Ev. sogar Deduplizierung nutzen, aber davon wird generell abgeraten. Da müssten sich mal Profis dazu äussern, damit kenne ich mich nicht aus.

 

[X11SAE]

Das siehst Du schon richtig, da im Snapshot auch die gelöschten Daten gespeichert sind, brauchst Du im Backup Pool potenziell mehr Speicher. Das ist ja genau der Vorteil von Snapshots, Du hast so eine komplette History.
Wie voll ist der 4TB Pool? Wenn der nicht randvoll ist, hast Du alleine dadurch ein bisschen Luft. Die Snapshots musst Du nicht ewigs aufbewahren, wenn Du z.B. nur 3 Snapshots aufbewahrst, reduziert sich der Platzbedarf. So hast Du halt weniger Sicherheit, Du hast nur 3 Tage Zeit um ein allfälliges versehentliches Löschen zu merken. Wenn Du nach 7 Tagen Urlaub zurückkommst und sich in der Zeit Ransomeware ausgebreitet hat, hilft Dir Dein Backup nichts mehr. Dem kannst Du vorbeugen, indem Du bevor Du in den Urlaub fährst den Backupjob deaktivierst. Nur muss Du da natürlich immer dran denken... Das würde ich mir nicht antun, aber wenn das Budget eine bessere Lösung nicht zulässt, muss man halt Kompromisse eingehen.

Ich kenne die Situation mit einem zu kleinen Backup Pool. Ich habe damals die Snapshots zwar grundsätzlich 30 Tage behalten, musste dadurch aber regelmässig Snapshots von Hand löschen, weil der Job wegen zuwenig Platz nicht mehr ausgeführt wurde. Das war immer dann der Fall, wenn ich für neue Filme platz gemacht und alte Filme gelöscht habe. War ein ziemlicher Aufwand das einigermassen im Griff zu haben, aber es hat funktioniert.

Eine Idee wäre auch noch, im Backup Pool durch Erhöhung der Kompression mehr Platz zu schaffen. Ev. sogar Deduplizierung nutzen, aber davon wird generell abgeraten. Da müssten sich mal Profis dazu äussern, damit kenne ich mich nicht aus.

 

[snaptec]

Deduplizierung kann man machen. Erfordert aber genügend Hardware und macht mehr Sinn je größer der Pool ist.
Ich habe das mal bei einem 50tb Pool getestet und wieder verworfen.

Snapshots brauchen erstmal kein Platz. Nur wenn du eine Datei löscht. Wird der Platz solange benötigt bis der Snapshot abläuft.
Das ist schon sehr intelligent und je nach Nutzerverhalten braucht das nicht wirklich viel.
Gerade bei Filmen wirst du es aber wie x11 angemerkt hat beim "räumen" merken.
Du löscht, hast dann aber erst nach 7,14,30, wieviel auch immer Tagen den Platz zur Verfügung.


Gesendet von iPhone mit Tapatalk

 

[janb14]

Üner kompression bzw. Dedublizierung habe ich auch schon nachgedacht doch ich fürchte das mkv (bzw. der verwendete codec -meist h.264) bereits ein zu stark komprimiertes Format ist um da noch was rauszuhohlen. Vielen Dank für deine Vorschläge nur denke ich das meine finanzielle Situation fürs erste keine weitere Platte zulässt :/ ergo bleibe ich bei meiner Raid1D Lösung um einerseits Plattenausfall zu garantieren und andererseits quasi einen einzigen Snapshot als mirror besitze. Ist nicht Ideal aber als Student sind meine Mittel nicht überragend :D Das Prinzip mit den Snapshots verwende ich derzeit nur bei meinen Jails bzw meinem Boot device, werde es aber im Hinterkopf behalten für die Zukunft.
Zu deiner Frage wegen der Auslastung... zu meiner Schande muss ich gestehen das die Pools bei 94% sind und ich alle Warnungen munter wegklicke. Das will ich aber innerhalb des nächsten Monats ändern.

 

[snaptec]

Wie ausgelastet ist der Pool denn?


Gesendet von iPhone mit Tapatalk

 

[janb14]

Derzeit 94% denke aber, dass ich innerhalb des nächsten Monats 38% freibekomme.

 

[X11SAE]

Ich nutze im Moment noch die Deduplizierung von meinem Windows Fileserver. Bei einem Laufwerk das ausschliesslich mit MKV's befüllt ist, spare ich 3 - 5%. Klingt nach sehr wenig, macht aber je nach Grösse des Laufwerkes doch wieder Platz für einige zusätzliche MKV's.

@snaptec: warum hast Du beim 50TB Pool Dedup wieder verworfen? War die Performance nicht mehr gut?

Andere Idee: Brauchst Du wirklich von allen Daten ein Backup? Vielleicht wäre es auch eine Möglichkeit, wenn Du 2 Daten Pools machen würdest, 1x ungesichert, 1x gesichert. Angenommen Du kannst bei 1 TB Daten auf ein Backup verzichten, dann hast Du 4 TB zur Verfügung um einen 3 TB Pool zu sichern. Das müsste je nach Nutzungsverhalten sehr gut reichen.
Das ungesicherte TB kannst Du immer noch ab und zu von Hand auf eine externe HD sichern.
Ich bin Jäger und Sammler. Nach einigen Monaten sammeln sich bei mir unmengen an Linux Installer ISO's, VMware Vorlagen, etc. die ich mal zu Testzwecken runtergeladen habe. Die lösche ich zwar nicht wenn ich nicht muss, aber ein Backup davon brauche ich nun wirklich nicht.

 

[snaptec]

Ouch. Schleunigst Platz schaffen. Mehr als 80% ist nicht empfohlen. 90%+ macht komische Probleme.


Gesendet von iPhone mit Tapatalk

 

[janb14]

Ich habe die Aufregung wegen 80%+ immer noch nicht verstanden. Ja es belastet zfs aber ich bin alleiniger Nutzer und konnte bis jetzt auch noch keine wirklich gravierenden Performanceprobleme feststellen da bei mir sowiso die Netzerkkarte mit 1gbit limitiert.

 

[snaptec]

Ab 80% die Performance. Als Single Nutzer merkt man das evtl nicht.
Ab 90% passieren dann noch andere komische Sachen.


Gesendet von iPhone mit Tapatalk

 

[janb14]

@x11 an einen ungesicherten Teil hatte ich auch schon gedacht. Z.B. sind mir einige Serien nicht so wichtig wie Filme etc.
Derzeit denke ich aber auch noch über Crashplan nach um mir das mit den Snapshots etc zu ersparen und so alle Daten zu sichern.