domanda da novizio su backup

[gattoenrico]

Buongiorno

sono nuovo nel mondo del nas e di freenas e leggendo il forum e le guide proposte mi sono rimasti alcuni dubbi.
Probabilmente sono dubbi da novizio ma per essere sicuri di aver capito bene vi espongo le mie domande.
Mi è chiaro il fatto che un sistema RAID non è un Backup e mi è chiaro che una zpool può contenere diverse Vdev e che bisogna stare MOLTO attenti a come si configura il tutto, altrimenti si rischia seriamente di perdere tutta la zpool e quindi tutti i dati.
La prima domanda:
In un nas ci possono essere più zpool?? Ci sono difficoltà particolari a gestirle?
Seconda domanda (legata alla prima)
Non mi è del tutto chiaro come funziona il sistema degli snapshot di ZFS. Quello che ho capito è che gli snapshot sono una fotografia del file system (quindi della zpool? e quindi dei file??) in un dato momento. Le successive fotografie possono essere incrementali, risparmiando spazio.

Quindi se in una zpool ho circa 1 TB di dati, il primo snapshot sarà pesante/grande 1TB, il secondo conterrà solo le differenze e le modifiche che ho fatto (quindi se ho aggiunto 100 MB, il secondo snapshot sarà grande/pesante solo 100MB).

Se le mie supposizioni sono corrette, la domanda che ho è:
Ma ZFS dove salva gli snapshot??? Nella zpool??
Regola buona e giusta sarebbe salvarli fuori in un "sistema" che è anche offline.

Per risolvere questo dubbio, stavo pianificando un nas con due zpool, di cui una contiene i backup (gli snapshot) dell'altra.
Così:
Zpool Alpha: 3 Vdev in RAIDZ1 (ben sapendo che è morto, ma al momento non posso fare altro), per i dati (SBAGLIATO, volevo scrivere: 1 Vdev con 3 HD in RAIDZ1)
Zpool Omega: 3 Vdev in RAIDZ1 per i diversi backup di Alpha. (SBAGLIATO, volevo scrivere 1 Vdev con 3HD in RAIDZ1)

Pensate che sia una buona soluzione??
In Freenas si può configurare che una zpool non sia sempre attiva, che che si possa "accendere" in un secondo momento solo quando se ne ha veramente bisogno?
In questo caso la mia Zpool Omega resterebbe spenta e l'accenderei solo quando devo fare uno snapshot.

Grazie in anticipo per l'aiuto
Enrico

 

[Carlo]

Ciao
Anche io sono un novizio e sto cercando di capirci qualcosa.

Ma quindi per 3 VDev intendi 3 HD? quindi in tutto stai pianificando con 6 Hard disk? Per uso pro oppure home?

 

[gian4nas]

Ciao

andiamo con un po di ordine:

In un nas ci possono essere più zpool??

Si dipende da quanti HDD hai a disposizione e come gli "unisci", ogni zpool non è altro che una "unità" come un HDD oppure un raid, vedi qua.

Ci sono difficoltà particolari a gestirle?

no a patto che tu abbia tanta ram quanta ne serve

Quello che ho capito è che gli snapshot sono una fotografia del file system (quindi della zpool? e quindi dei file??) in un dato momento. Le successive fotografie possono essere incrementali, risparmiando spazio

Ma ZFS dove salva gli snapshot??? Nella zpool??
Regola buona e giusta sarebbe salvarli fuori in un "sistema" che è anche offline.

Ti sei fatto la domando e ti sei risposto, ovvero devi dirgli te se vuoi salvare i snapshot altrove, forse è un po nascosto, fai riferimento a "Replication tasks" , per tutto basta leggere qua.

In questo caso la mia Zpool Omega resterebbe spenta e l'accenderei solo quando devo fare uno snapshot.

Per fare ciò o usi "HDD Standby" o lo metti in un altro NAS che accendi quando serve, la prima ipotesi è quella più valida, perchè gli snapshot vanno pianificati.
Saluti

 

[gattoenrico]

Buona domenica

Grazie mille Gian4nas per la risposta. Adesso so di aver scelto bene. Ho ancora molto da leggere, e ad ogni articolo mi meraviglio sempre di più delle possibilità che si hanno con questo File system.

per Carlo e la sua domanda
"Ma quindi per 3 VDev intendi 3 HD? quindi in tutto stai pianificando con 6 Hard disk? Per uso pro oppure home?"

Sè, 3VDev sono nel mio caso 3 HD, ma in una zpool ci può essere di tutto (se ho capito bene :) ): HD interni, File(?) , HD esterni ecc ecc
(SBAGLIATO, ho scritto male nella lettera precedente, una VDev può contenere uno o più HD)

Per iniziare sono partito da qui:
http://forums.freenas.org/threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/

Per la seconda domanda pro /home:
Io sono partito da un'altra domanda: cosa voglio mettere dentro il nas e quanto sono importanti i miei dati.
- Principalmente sono dati importantissimi e unici (foto e video, tante e pesanti, sono un fotografo per hobby ), la mia collezione di musica (importante ma non unica) e altri video (importanti ma non unici) e altri documenti (importanti ma non unici)
Da qui la domanda: è come li assicuro se si rompe il disco?? e se cancello per sbaglio dei file???
Per la rottura del disco,l'unico modo è un sistema RAID con un file system serio: da qui ZFS con RAID Z
Per risolvere il problema di un file cancellato, modificato,involontariamente, mi serviva un sistema sicuro di backup (gli snapshots di ZFS).

Controllando i mie file, sono arrivato alla conclusione che all'inizio dovrò rendere sicuri qualcosa come 3 TB, CON tendenza all'aumento (tra un anno o due saranno circa 4 TB)
Come fare:
Sono giunto alla conclusione che 8 TB sono sufficienti per me e per i miei dati.
Ma quale RAID? certo sarebbe meglio RAID Z2 (RAID6) (leggi qui il rischio di usare un RAIDZ1 (Raid5):
https://calomel.org/zfs_raid_speed_capacity.html
http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162 )

Ma per risparmiare sui costi ho deciso che punterò su RAIDZ1 con 3 HD da 4 TB.

È per il backup??? Come posso "backuppare" circa 3/4 TB (a salire)??, da qui l'esigenza di un altro sistema raid per gli snapshots.
Certo se rimanessi tra i due e tre TB di dati, se fossi sicuro di questo, farei gli snapshots su un disco esterno da 4TB, ma una volta che superi i 4 TB diventa costoso e non semplice gestire i backup.

Quindi alla fine la domanda non è tanto se un sistema deve essere home oppure pro. Ma quanti dati hai e quanto sono importanti per te.
Poi controllando i costi un sistema di "marca" come qna* e synolog* con 6 bay non è economico, con lo stesso prezzo (oppure poco più o anche di meno) io penso di prendere
16 GB (in futuro espandibile a 32) di ram ecc, un processore server a basso consumo (penso un Xeon Ivy Bridge, che dovrebbero essere più economici degli Haswell) una mainbord per server + il resto (case e alimentatore). È avrò un sistema nettamente più performante e sicuro!
Per gli harddisk : ne prenderò prima 3 per la prima zpool e poi in seguito prenderò gli altri per la seconda zpool. (al momento posso ancora gestire con i mie due vecchi harddisk il backup)

Oltre ai link utilissimi che trovi nella risposta di Gian4nas ho trovato utile anche dare una lettura qui:
https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/

buon divertimento con il tuo nas.

Miao :)

Enrico

 

[Carlo]

Buona domenica

Grazie mille Gian4nas per la risposta. Adesso so di aver scelto bene. Ho ancora molto da leggere, e ad ogni articolo mi meraviglio sempre di più delle possibilità che si hanno con questo File system.

per Carlo e la sua domanda
"Ma quindi per 3 VDev intendi 3 HD? quindi in tutto stai pianificando con 6 Hard disk? Per uso pro oppure home?"

Sè, 3VDev sono nel mio caso 3 HD, ma in una zpool ci può essere di tutto (se ho capito bene :) ): HD interni, File(?) , HD esterni ecc ecc
Per iniziare sono partito da qui:
http://forums.freenas.org/threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/

Per la seconda domanda pro /home:
Io sono partito da un'altra domanda: cosa voglio mettere dentro il nas e quanto sono importanti i miei dati.
- Principalmente sono dati importantissimi e unici (foto e video, tante e pesanti, sono un fotografo per hobby ), la mia collezione di musica (importante ma non unica) e altri video (importanti ma non unici) e altri documenti (importanti ma non unici)
Da qui la domanda: è come li assicuro se si rompe il disco?? e se cancello per sbaglio dei file???
Per la rottura del disco,l'unico modo è un sistema RAID con un file system serio: da qui ZFS con RAID Z
Per risolvere il problema di un file cancellato, modificato,involontariamente, mi serviva un sistema sicuro di backup (gli snapshots di ZFS).

Controllando i mie file, sono arrivato alla conclusione che all'inizio dovrò rendere sicuri qualcosa come 3 TB, CON tendenza all'aumento (tra un anno o due saranno circa 4 TB)
Come fare:
Sono giunto alla conclusione che 8 TB sono sufficienti per me e per i miei dati.
Ma quale RAID? certo sarebbe meglio RAID Z2 (RAID6) (leggi qui il rischio di usare un RAIDZ1 (Raid5):
https://calomel.org/zfs_raid_speed_capacity.html
http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162 )

Ma per risparmiare sui costi ho deciso che punterò su RAIDZ1 con 3 HD da 4 TB.

È per il backup??? Come posso "backuppare" circa 3/4 TB (a salire)??, da qui l'esigenza di un altro sistema raid per gli snapshots.
Certo se rimanessi tra i due e tre TB di dati, se fossi sicuro di questo, farei gli snapshots su un disco esterno da 4TB, ma una volta che superi i 4 TB diventa costoso e non semplice gestire i backup.

Quindi alla fine la domanda non è tanto se un sistema deve essere home oppure pro. Ma quanti dati hai e quanto sono importanti per te.
Poi controllando i costi un sistema di "marca" come qna* e synolog* con 6 bay non è economico, con lo stesso prezzo (oppure poco più o anche di meno) io penso di prendere
16 GB (in futuro espandibile a 32) di ram ecc, un processore server a basso consumo (penso un Xeon Ivy Bridge, che dovrebbero essere più economici degli Haswell) una mainbord per server + il resto (case e alimentatore). È avrò un sistema nettamente più performante e sicuro!
Per gli harddisk : ne prenderò prima 3 per la prima zpool e poi in seguito prenderò gli altri per la seconda zpool. (al momento posso ancora gestire con i mie due vecchi harddisk il backup)

Oltre ai link utilissimi che trovi nella risposta di Gian4nas ho trovato utile anche dare una lettura qui:
https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/

buon divertimento con il tuo nas.

Miao :)

Enrico

Grazie per gli spunti

Io sono invece dell'idea che se ritieni i tuoi file veramente importantissimi, purtroppo qualsiasi RAID all'interno della stessa macchina ti preservano solo dal fail di un disco. E' evento raro ma pensa a cosa può accadere se un guasto elettrico o anche un grosso problema alla mainboard faccia saltare tutto il sistema. In quel caso, perderesti tutto. Insomma, io penso che una soluzione di backup sicura sia solo quella esterna, anche se poco comoda perchè ti costringe alla manualità.

Comunque devo ammettere che alla fine anche io mi sto orientando verso un semplice RAID 1, in quanto la mia mainboard può contenere al massimo 3 HD. Vorrei fare 4TB + 4TB in mirroring.
Qui però non ci ho capito un granchè...se uno zpool si corrompe, si perdono i dati. Ergo, un Raid 1 in un medesimo zpool è comunque rischioso. Come ovviare a questo? Tenendo separati i 2 HD da 4 TB in zpool diversi? A questo punto il raid è inutile in quanto il raid è fattibile solo fra unità all'interno di un medesimo zpool...sbaglio?

Purtroppo ho dubbi sullo ZFS perchè ho letto da qualche parte che vorrebbe RAM ECC ma io non ho il supporto ECC ne sulla mainboard ne sui banchi di 8 GB di ram che ho già acquistato.

Tu consigli uno ZFS anche senza ECC?
Per caso sai se gli snapshot possono essere PIANIFICATI ed effettuati anche su un HD esterno collegato via USB (eventualmente staccabile all'occorrenza)?

 

[panz]

Quindi se in una zpool ho circa 1 TB di dati, il primo snapshot sarà pesante/grande 1TB, il secondo conterrà solo le differenze e le modifiche che ho fatto (quindi se ho aggiunto 100 MB, il secondo snapshot sarà grande/pesante solo 100MB).

No, è il contrario: il primo snapshot non occupa nulla perché il sistema si "segna" quali file / inodes aveva al momento della "fotografia" del filesystem. Quando poi fai qualche cambiamento allora lo spazio utilizzato dallo snapshot incrementa, perché aggiungi / cancelli / cambi i file a cui faceva riferimento.

 

[gattoenrico]

Grazie per gli spunti

Io sono invece dell'idea che se ritieni i tuoi file veramente importantissimi, purtroppo qualsiasi RAID all'interno della stessa macchina ti preservano solo dal fail di un disco. E' evento raro ma pensa a cosa può accadere se un guasto elettrico o anche un grosso problema alla mainboard faccia saltare tutto il sistema. In quel caso, perderesti tutto. Insomma, io penso che una soluzione di backup sicura sia solo quella esterna, anche se poco comoda perchè ti costringe alla manualità.​

​

Aspetta. Se si dovesse rompere la mainboard, io potrei staccare i miei 3 HD portarli da un amico e con un sistema operativo che gestisce ZFS potrei importare la zpool e leggere i dischi.
Il Raid di ZSF è software, quindi non è dipendente dal controller che hai sulla mainboard.
Certo se il danno elettrico si trasmettesse agli HD, solo un vecchio BACKUP su altri HD esterni a quella zpool potrebbe salvarmi. Per questo volevo aver 6 HD, 3 per i dati e 3 per backup con due zpool in RAIDZ1, ma non voglio avere due nas per gestire il tutto.

​

Comunque devo ammettere che alla fine anche io mi sto orientando verso un semplice RAID 1, in quanto la mia mainboard può contenere al massimo 3 HD. Vorrei fare 4TB + 4TB in mirroring.

Qui però non ci ho capito un granchè...se uno zpool si corrompe, si perdono i dati. Ergo, un Raid 1 in un medesimo zpool è comunque rischioso. Come ovviare a questo? Tenendo separati i 2 HD da 4 TB in zpool diversi? A questo punto il raid è inutile in quanto il raid è fattibile solo fra unità all'interno di un medesimo zpool...sbaglio?​

​

Aspetta, RAID1 è diverso da RAIDZ1. RAID 1 è il mirroing dei dati di un HD su altro, come dici tu.
RAIDZ1 è la versione migliorata di un RAID5.
Nel tuo caso, con due HD in RAID 1, se un HD si rompesse, tu avresti l'altro.
Nel tuo caso Tu avresti una zpool con DUE Vdev in RAID 1.
Nella lettera precedente ho sbagliato io: nella mia prima zpool ci saranno 1 Vdev con 3 HD in RAIDz1.
I casi di corruzione della zpool avvengono quando uno o più HD in una Vdev si rompono, (e questi non hanno una ridondanza), facendo cadere tutta la Vdev e di conseguenza tutta la zpool.
Per questo è importante scegliere bene la composizione della zpool e delle Vdev.

Tu consigli uno ZFS anche senza ECC?

Nel forum tutti consigliano di usare ECC, ma molti usano la memoria senza ECC.

Per caso sai se gli snapshot possono essere PIANIFICATI ed effettuati anche su un HD esterno collegato via USB (eventualmente staccabile all'occorrenza)?

Sì, certo, dovrebbe essere fattibile.

 

[Carlo]

Il grosso problema è che è difficile trovare mini-ITX con ECC support. :(

E se ci sono, costano un botto. Come mainboard inoltre vedo che molti utenti hanno schede per server piuttosto che per desktop...tu che mainboard userai?

 

[gattoenrico]

Il grosso problema è che è difficile trovare mini-ITX con ECC support. :(

E se ci sono, costano un botto. Come mainboard inoltre vedo che molti utenti hanno schede per server piuttosto che per desktop...tu che mainboard userai?

Si credo anch'io di usare una mainboard per server. Alla fine dei conti sono più economiche di un mainboard premium, non ci sono elementi che per un nas sono inutili (scheda audio :) ) e con gli IPMI si possono "vedere" da remoto.
Se non ancora non hai la scheda madre, qui una lista di schede madri mini-itx CON già il processore (alcune sono Atom con 8 core) con il supporto per ecc:
http://geizhals.at/eu/?cat=mbson&xf=494_ECC-Unterst%FCtzung%7E522_Mini-ITX#xf_top

Se tu hai tutto, il mio consiglio da novizio è di usare quello che hai ma di avere frequenti backup e di controllare la "qualità" dei backup.

Però prima leggi questo: (L'ho preso dalla presentazione di introduzione a ZFS)
http://forums.freenas.org/threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/

¨[COLOR=]Backups will also be destroyed because the [/COLOR]original data itself is damaged.​

¨This is a limitation of ZFS’ design and not FreeNAS. ZFS manuals from Sun(and Oracle) as well as other projects that use ZFS (ZFS on Linux, NAS4Free, etc.) also have this vulnerability and recommend ECC RAM.
¨Users in the forums that have used non-ECC RAM have always suffered complete pool data loss without recovery if they had bad RAM. The problem is you will not have an indication that your RAM is bad until extensive pool damage has occurred. Most lost all of their backups because the bad data was replicated from the zpool to the backup site. Choosing to use rsync or ZFS replication for backups does not alter the outcome because the original data will be destroyed.
¨I would never recommend anyone build a FreeNAS server with non-ECC after seeing the blood, sweat, and tears from the forum users that have lost their data. The risk(total data loss) just isn’t worth the reward(saving a few bucks). Don’t be a statistic!
¨Most people will recognize that RAM doesn’t fail that often. So choosing to trust that you won’t have bad RAM while using ZFS with non-ECC is a risk you will have to decide on for yourself if choosing to not use ECC RAM and appropriate hardware.

 

[Carlo]

Purtroppo è cosi... O NFS con ECC o rischi! Mentre UFS invece? Perché no?

Inviato dal mio Note 3 (by Tapatalk)

 

[panz]

Non usate RAIDz1: visti i tempi di resilvering si può perdere tutto il pool; meglio da RAIDz2 i su o striped pools di vdevs in mirroring. Consultare le ZFS best practices di Sun.

 

[gattoenrico]

Purtroppo è cosi... O NFS con ECC o rischi! Mentre UFS invece? Perché no?

Inviato dal mio Note 3 (by Tapatalk)

Questo non lo so. Non conosco UFS bene, ma da quello che ho letto ZFS è migliore e flessibile. Credo che dia il meglio di se in configurazioni RAID 5 o 6 (raidZ1 o raidz2).
Comunque con la tua configurazione di dischi: (una zpool con due vdev in riad1 + backup su disco esterno) secondo me sei al sicuro.
Tra gli errori che possono capitare quello di un errore di memoria mi sembra il meno probabile, più pericolosi sono sicuramente e forse più frequenti (visto l'aumento dello spazio e il numero dei file che contengono degli HD) quelli che capitano durante la sostituzione di un disco rotto in configurazioni Raid5, come PANZ ci ha fatto notare nella sua lettera precedente.

Hai pensato di affiancare al nas un piccolo gruppo di continuità? questo (FORSE) potrebbe evitare anche un problema alla memoria, (se questi errori sono causati da sbalzi di corrente ecc).

ciao
E.