Neuling - Backup - Optionen um Daten + VMs + Plugins zu sichern - GELÖST

Joined
Jan 2, 2019
Messages
4
Hallo!

In meinem ersten Thread direkt eine bitte um Hilfe.. Ich hoffe das ist okay..
Nach viel Recherche und Rückschlägen läuft nun mein FreeNAS-System wie gewünscht.

Da Ich aktuell kein Geld für ein 2. FreeNAS habe, bleibt mir erstmal nur, das System anders zu sichern.
Daher will ich mit den bereits vorhandenen HDDs für das geplante 2. bzw. Backup NAS als Zwischenlösung in meinem Desktop mit LVM ein RAID5 einrichten.
Vorher habe Ich allerdings ein paar Fragen:
  1. Wenn Ich mich per SSH bzw. SFTP auf das FreeNAS einlogge, und alle Ordner ausgehend vom Root auf mein Desktop-RAID kopiere, sind dann wirklich alle Daten (VMs+Plugins) gesichert?
    Genauer gesagt: Falls ich mein FreeNAS neu installieren müsste, OHNE den alten Pool etc. importieren zu können (also mit LEEREN HDDS):
    Wenn Ich dann die gleiche VDEV und Pool-Struktur einrichte, darauf die gesicherten Daten des Root-Dirs per SFTP zurück kopiere, und danach die Config in FreeNAS wieder herstelle (die Ich über die Web-GUI gesichert habe): Sind dann auch alle VMs und Jails/Plugins wieder hergestellt?
  2. Falls Ich FreeNAS neu installiere, aber die Daten auf den HDDs noch vorhanden sind: Wenn Ich dann den Pool sowie das Backup der Config importiere, sind dann auch die Plugins (Plex) und meine VM wieder hergestellt? Falls nicht, wie könnte Ich das erreichen?
  3. Kann man die VM irgendwie in eine Datei exportieren, um sie dann z.B. am Linux PC mit Virt-Manager (KVM/QEMU) zu importieren?
  4. Ist es theoretisch möglich, ein 2. FreeNAS so einzurichten, dass automatisch alle Dateien, Einstellungen sowie auch Plugins und VMs syncron gehalten werden? Also z.B. über RSYNC oder ähnliche Tools? So dass man, einmal konfiguriert, immer ein automatisch syncrones 2. FreeNAS hat?
    Würde es dafür ausreichen, die Geräte einmal syncron einzurichten, und dann die jeweiligen Root-Dirs per RSYNC zu syncronisieren, um auch alle VMs und Plugins syncron zu halten?

Ich hoffe, dass ich mich wenigstens halbwegs verständlich ausgedrückt habe.. Mein Asperger mag das manchmal erschweren.. ;)
Vielen Dank im Voraus für eure Hilfe!

PS: Mir ist bewusst, dass der Pool über die empfohlenen 80% hinaus gefüllt ist. Dies ist nur temporär bis ich in wenigen Tagen weiter ausgemistet habe. Der RAM wird ebenfalls zeitnah mindestens auf 16GB erweitert.

HIER ALLE RELEVANTEN INFOS - BEI WEITEREN BITTE FRAGEN:

INFOS - FREENAS:
VERSION:
Latest 11.2

INFOS - SYSTEM - HARDWARE - FREENAS:
MAINBOARD:
Intel 1151V2 - ASRock Fatal1ty B360 Gaming K4
CPU: Intel - 1151V2 - Core i3 8100T 35W
RAM: 8GB = 1X8GB DDR4 non-ECC 2666MHZ Crucial Ballistix Sport LT (I researched the backgrounds)
LAN: 1Gb/S Intel
SYSTEM-DISK: Kingston 120GB SSD (Soon migration to USB-Flash drive)
HDDS: 4 X 8TB Seagate Ironwolf NAS HDDs 7200 RPM

INFOS - SYSTEM - HARDWARE - DESKTOP:
MAINBOARD:
AMD AM4 - ASUS ROG Strix B450-F Gaming
CPU: AMD Ryzen 5 2400G (4C/8T + VEGA IGP) --> Soon to be replaced by 1700X (8C/16T)
GPU: Sapphire Radeon RX 570 Nitro 8GB
RAM: 16GB = 2X8GB DDR4 non-ECC 2666MHZ Crucial Ballistix Sport LT (I researched the backgrounds)
LAN: 1Gb/S Intel (Luckily NO Realtek)
SYSTEM-DISK: Samsung EVO 960 M2 NVME 250GB
OTHER SSDS: Samsung EVO 850 SATA 500GB
HDDS: 4 X 8TB Seagate Ironwolf NAS HDDs 7200 RPM

INFOS - OTHER DEVICES - ACCESS OVER LAN:
ANDROID:
Xiaomi Mi4 @ LineageOS 14.1 / LeEco Le2 @ LineageOS 15.1
LAPTOP: 2010 HP Budget-Level 4GB RAM 250GB Samsung SATA SSD w/ Antergos Kernel 4.20

INFOS - OTHER DEVICES - ACCESS OVER WAN:
ANDROID:
Xiaomi Mi4 @ LineageOS 14.1 / LeEco Le2 @ LineageOS 15.1
LAPTOP: 2010 HP Budget-Level 4GB RAM 250GB Samsung SATA SSD w/ Antergos Kernel 4.20
LAPTOP: HP Envy 2018 Windows 10 (Not mine, occasionally for monitoring + Nextcloud access when at my Family)

INFOS - NETWORK:
WAN:
50Mb/s VDSL2 - ISP = 1+1 / Deutsche Telekom - NO DS-Lite - FULL/"Normal" IPV4 + IPV6 so no problems with access from WAN to LAN
ROUTER: AVM Fritzbox 7412 (Free from ISP 1+1 but modded for full access on all Features) with latest FW
SWITCH - MODEL: Netgear ProSAFE Plus GS100 V3
SWITCH - FEATURES: 802.1Q, 802.1p, 802.3, 802.3ab, 802.3az, 802.3i, 802.3u, 802.3x, IGMPv3
SWITCH - BACKPLANE: 16Gb/s, 9KB Jumboframes, 128kB Buffer, 4K Mac-Adresses

INFOS - VMS:
1 X Debian Stretch - NextcloudPi Curl Installer - 2XvCPU + 3072MB RAM 200GB HDD

INFOS - PLUGINS/JAILS:
1 X Plex Media Server - Plugin

INFOS - SERVICES ENABLED:
FTP:
RSYNC:
SMART:
SMB:
SSH:
WEBDAV:

INFOS - SERVICES PLANNED TO BE ENABLED AT SOME POINT:
NFS:
SNMP:
UPS:

INFOS - SHARING:
SMB: All Shares are over SMB
NFS: Not active
WEBDAV: Active

INFOS - ME:
LOCATION:
Germany
KNOWLEDGE - LINUX: Using Linux for all systems since a few months, now running Manjaro+Antergos (Arch based). Still learning, but i finally can handly the basic routine stuff. But NOTHING to advanced.. And i still copy and paste 50% of the time i use the terminal..
KNOWLEDGE - FREEBSD: Just the basics of what i know from Linux and the very very few i know from FreeNAS.
KNOWLEDGE - FREENAS: Just been using it since 2. January of 2019. Researched the manual, Google, and the basic newbie topics on the Forum.
KNOWLEDGE - NAS IN GENERAL: I had 2 QNAPs for around 2 years, learned basics about SSH+Linux with this. Sold them and build 2 Linux PCs, 1 as Desktop + 1 as Ubuntu/Manjaro Server.



Code:
<p><strong>INFOS - STORAGE-STRUCTURE:</strong></p>

<p>| Name<a href="http://192.168.178.32/ui/#"></a>                                       | Type<a href="http://192.168.178.32/ui/#"></a> | Used<a href="http://192.168.178.32/ui/#"></a> | Available<a href="http://192.168.178.32/ui/#"></a> | Compression<a href="http://192.168.178.32/ui/#"></a> | Compression Ratio<a href="http://192.168.178.32/ui/#"></a> | Readonly<a href="http://192.168.178.32/ui/#"></a> | Dedup<a href="http://192.168.178.32/ui/#"></a> | Comments<a href="http://192.168.178.32/ui/#"></a> |           |
| ------------------------------------------------------------------------ | ---------------------------------- | ---------------------------------- | --------------------------------------- | ----------------------------------------- | ----------------------------------------------- | -------------------------------------- | ----------------------------------- | -------------------------------------- | --------- |
| <a href="http://192.168.178.32/ui/#"></a>MAIN                                       | dataset                            | 19.45 TB                           | 984.27 GB                               | lz4                                       | 1.00x                                           | false                                  | off                                 |                                        | more<em>vert |
| <a href="http://192.168.178.32/ui/#"></a>VMNCPIDEBIANCURL                           | zvol                               | 206.79 GB                          | 1.14 TB                                 | lz4                                       | 1.15x                                           | false                                  | off                                 |                                        | more</em>vert |
| <a href="http://192.168.178.32/ui/#"></a>VMNCPIDEBIANCURL-VM-NCPI-DEBIAN-CURL-clone | zvol                               | 11.63 KB                           | 984.27 GB                               | Inherits (lz4)                            | 1.00x                                           | false                                  | off                                 |                                        | more<em>vert |
| <a href="http://192.168.178.32/ui/#"></a>iocage                                     | dataset                            | 5.22 GB                            | 984.27 GB                               | lz4                                       | 1.36x                                           | false                                  | off                                 |                                        | more</em>vert |
| <a href="http://192.168.178.32/ui/#"></a>download                                   | dataset                            | 271.82 MB                          | 984.27 GB                               | lz4                                       | 1.00x                                           | false                                  | off                                 |                                        | more<em>vert |
| <a href="http://192.168.178.32/ui/#"></a>images                                     | dataset                            | 127.88 KB                          | 984.27 GB                               | lz4                                       | 1.00x                                           | false                                  | off                                 |                                        | more</em>vert |
| <a href="http://192.168.178.32/ui/#"></a>jails                                      | dataset                            | 3.76 GB                            | 984.27 GB                               | lz4                                       | 1.18x                                           | false                                  | off                                 |                                        | more<em>vert |
| <a href="http://192.168.178.32/ui/#"></a>log                                        | dataset                            | 133.69 KB                          | 984.27 GB                               | lz4                                       | 1.00x                                           | false                                  | off                                 |                                        | more</em>vert |
| <a href="http://192.168.178.32/ui/#"></a>releases                                   | dataset                            | 1.19 GB                            | 984.27 GB                               | lz4                                       | 2.07x                                           | false                                  | off                                 |                                        | more<em>vert |
| <a href="http://192.168.178.32/ui/#"></a>templates                                  | dataset                            | 127.88 KB                          | 984.27 GB                               | lz4                                       | 1.00x                                           | false                                  | off                                 |                                        | more</em>vert |</p>
 
Last edited:
Joined
Jan 2, 2019
Messages
4
Okay, es scheint mein Thread ist wohl zu speziell.. Oder zu kompliziert geschrieben?

Jedenfalls habe Ich nun so gut wie alle Daten von meinem FreeNAS auf dem neu erstellten LVM RAID5 meines Desktop-Systems gesichert; Bis Morgen Nachmittag sollten alle Kopiervorgänge abgeschlossen sein.
Ich habe schon probiert, zusätzlich zu den konkreten Daten meiner SMB Shares auch alle Dateien und Ordner ab dem / mit SFTP zu kopieren. Dieses klappt für 99% der Daten, bei einigen aber nicht (trotz Login als Root-User).

Somit scheidet diese Backup-Option wohl aus, da bei einem Restore auf einem frisch aufgesetzten FreeNAS einige Dateien fehlen würden.

Da Ich die Daten auf den SMB Shares ohne Probleme sichern kann, bleibt nur noch das Problem der VMs:
Wie kann Ich diese als Datei auf meinen Desktop-PC kopieren, um sie im Falle des Falls in ein neu aufgesetztes FreeNAS zurück kopieren zu können?

Ich habe unter /dev/vmm eine Datei mit Namen meiner VM "VMNCPIDEBIANCURL" gefunden. Als Größe steht in Filezilla 0 Bytes, aber wenn ich sie Downloade, scheint sie genau so groß wie die VM zu sein.
Könnte Ich diese Datei als Backup einfach in ein leeres FreeNAS kopieren, und dann nach einem Restore der FreeNAS-Settings wieder benutzen?

Welche Optionen gibt es generell, um VMs zu exportieren als Datei und in ein neues oder anderes FreeNAS zu importieren?
Welche Optionen gibt es, um VMs aus FreeNAS in KVM/QEMU zu importieren (oder umgekehrt)?
Wie kann Ich Plugins/Jails als Datei exportieren und in ein neues FreeNAS importieren?

Ich bin für JEDEN Hinweis dankbar..
Grüße
 
Joined
Jan 2, 2019
Messages
4
UPDATE:
Ich habe eine Lösung gefunden, was die VMs angeht:

Und zwar habe Ich Clonezilla als CD-ROM in "Devices" eingetragen, davon gebootet, und dann ein Disk-Image erstellt, das direkt per SMB auf dem FreeNAS als Datei gesichert wurde.
Somit brauche Ich im Fall des Falles einfach nur eine neue VM mit den gleichen Specs erstellen, und dann das Image mit Clonezilla wieder herstellen.
Das könnte sicherlich für den einen oder anderen noch nützlich sein..
Bleibt nur die Frage, wie man das Plex-Plugin am besten extern sichern kann. Da Ich eh nur dieses eine Plugin nutze, werde Ich mich dazu bei Plex informieren, und dann gegebenenfalls hier die Lösung posten.
 
Joined
Jan 2, 2019
Messages
4
UPDATE 2:
Neben der Lösung für die VMS über clonezilla+SMB (die ich mehrmals getestet habe, und perfekt funktioniert!), habe Ich auf Reddit für Plex-Plugin/Jail export mehrere Lösungen gefunden:
1. "iocage export" Befehl - Speichert den Jail in einem ZIP-Archiv
2. SSH/SFTP/SMB in den IOCAGE Ordner, dann dort in den Ordner des Jails/Plugins, und dann diesen zum gewünschten Backup-Ziel kopieren. Macht im Prinzip das gleiche wie "iocage export", nur manuell und damit vllt. etwas besser kontrollierbar.


Bei Interesse würde Ich hierfür ein Tutorial schreiben.. Bitte melden, falls gewünscht!
Grüße
 

Currypaul

Dabbler
Joined
Aug 19, 2019
Messages
10
Bei Interesse würde Ich hierfür ein Tutorial schreiben.. Bitte melden, falls gewünscht!
Grüße

Ich wäre ja sehr angetan von einem kleinen Tutorial, oder einer groben Beschreibung was du im Detail gemacht hast um die Jails zu sichern und wiederherzustellen.
Danke für deinen Thread hier, ich denke es hilft mir sehr weiter :)
 
Top