NAS autocostruito, si accettano consigli

[Stefano Vocca]

Buongiorno a tutti, anche se mi sono iscritto solo ora è ormai da qualche tempo che seguo questo forum, e sono arrivato alla conclusione, penso come tutti voi, che un NAS autocostruito sia la cosa migliore.
Il mio progetto è a lunga scadenza, nel senso che i pezzi li acquisterò un po' alla volta.
Ho già ordinato la parte hardware di cui più sotto vi darò indicazioni, e poi a distanza di tempo aggiungerò gli HD che, date le mie esigenze, costicchiano un po'.

Configurazione hardware:
- Case Cooler Master Elite 110
- Kit antipolvere della DEMCIFLEX
- Alimentatore Cooler Master 500W Serie B2 certificato ecoPSU 85
- Motherboard ASRock N3150-ITX (processore integrato Intel Celeron N3150 Quad-Core
- 8GB RAM Kingston DDR3L 1.35V
- 2 Pendrive Patriot da 32GB per il S.O.
- 1 SSD Transcend da 32GB per i plugin
- 2 HD WD Red da 6TB

Le mie intenzioni.

Questo NAS mi occorre in primis per salvare le mie foto, sono un appassionato, e dopo il mio ultimo acquisto, ogni foto persa circa 30Mega.
Dopodiché, troveranno spazio i miei archivi musicali e quelli video, nonché una sorta di fileserver per la famiglia.

La configurazione che ho fatto mi sembra abbastanza adatta per il tutto, accetto comunque molto volentieri consigli sia sull'hardware che sui vari plugin da installare (per esperienza maturata qualcosa sfugge sempre).

Grazie a tutti per l'attenzione, buona giornata e buon lavoro.

STV

 

[Artion]

Ciao,
a mio avviso, a meno che usi i due dischi in mirroring per evitare di perdere i dati nel caso un disco si guasti, è meglio avere configurazioni di tre o più dischi da usare in RAIDZ1-3. In configurazione RAIDZ utilizzi meglio lo spazio dei dischi (con 3 dischi da 3TB in RAIDZ1 hai a disposizione 6TB di spazio, lo stesso utilizzando 2 dischi da 6TB in mirroring) e hai ridondanza (la possibilità di tollerare che un disco, nel caso del RAIDZ1 o fino a tre dischi nel caso del RAIDZ3, si guasti senza perdere i dati).
Per quanto riguarda l'SSD ti consiglio di prendere uno più spazioso considerando che il prezzo x GB è minore con taglie più grandi.

Auguri per il progetto :)

AGGIORNAMENTO: anche se personalmente non l'ho fatto, ma si consiglia vivamente di usare FreeNAS in un sistema (CPU+MB+RAM) che usa memoria RAM ECC, a quanto pare in abbinamento all'utilizzo di ZFS. Questo per evitare possibili corruzioni dei dati.

 

[Stefano Vocca]

Ciao,
a mio avviso, a meno che usi i due dischi in mirroring per evitare di perdere i dati nel caso un disco si guasti, è meglio avere configurazioni di tre o più dischi da usare in RAIDZ1-3. In configurazione RAIDZ utilizzi meglio lo spazio dei dischi (con 3 dischi da 3TB in RAIDZ1 hai a disposizione 6TB di spazio, lo stesso utilizzando 2 dischi da 6TB in mirroring) e hai ridondanza (la possibilità di tollerare che un disco, nel caso del RAIDZ1 o fino a tre dischi nel caso del RAIDZ3, si guasti senza perdere i dati).
Per quanto riguarda l'SSD ti consiglio di prendere uno più spazioso considerando che il prezzo x GB è minore con taglie più grandi.

Auguri per il progetto :)

Ciao Artion, innanzi tutto grazie per la disamina e... si... i due dischi saranno in mirroring mi pare il minimo per la sicurezza soprattutto delle mie foto.
Per quel che riguarda invece l'SSD, pensavo che per i jail e/o plugin fossero più che sufficienti 32GB, visto che il sistema operativo lo installerò sulle due pendrive USB, backuppandolo su entrambe, comunque sia ho da parte un altro SSD da 128GB che era installato su un notebook defunto.

Grazie.

 

[Zofoor]

Appoggio il consiglio di Artion, l'ideale è avere tutto hardware con supporto ECC, e Freenas viene sviluppato dando per assunto questo punto.
Riguardo al disco di installazione, 32 Gb sono sufficienti. Tieni conto che le jail e i plugin non vengono installati sul disco di boot.

 

[Stefano Vocca]

Appoggio il consiglio di Artion, l'ideale è avere tutto hardware con supporto ECC, e Freenas viene sviluppato dando per assunto questo punto.
Riguardo al disco di installazione, 32 Gb sono sufficienti. Tieni conto che le jail e i plugin non vengono installati sul disco di boot.

Grazie Zofoor, le tue indicazioni sono interessanti, ed hanno scombinato non poco il mio "pensiero", però, prima di ordinare il materiale non ho trovato alcun riferimento al fatto che FreeNAS fosse ideale per hardware con supporto ECC...

:-(

 

[Artion]

Grazie Zofoor, le tue indicazioni sono interessanti, ed hanno scombinato non poco il mio "pensiero", però, prima di ordinare il materiale non ho trovato alcun riferimento al fatto che FreeNAS fosse ideale per hardware con supporto ECC...

:-(

Questo post in inglese cerca di spiegare l'importanza di utilizzare memoria RAM ECC.

https://forums.freenas.org/index.php?threads/ecc-vs-non-ecc-ram-and-zfs.15449/

 

[Zofoor]

In teoria ufficialmente è consigliato in due pagine:
nel blog, nelle pagine in cui si parla dell'hardware consigliato
http://www.freenas.org/blog/a-complete-guide-to-freenas-hardware-design-part-ii-hardware-specifics/
e nel sito con i requisiti hardware
http://www.freenas.org/hardware-requirements/

 

[Stefano Vocca]

Ok, ho letto i vari post e mi sembra di aver capito che avendo acquistato una mohterboard che supporta solo memoria non-ECC, e di conseguenza avendo preso una memoria certificata dal costruttore della motherboard, ovviamente non-ECC, mi sembra ovvio di scartare l'utlizzo del filesystem ZFS?

E' corretto?

 

[Zofoor]

In realtà il punto sulla memoria ECC riguarda qualsiasi file system o sistema operativo usato. Se si vuole l'assoluta sicurezza dell'integrità dei dati serve la ram ECC. Quindi questa raccomandazione non nasce dal fatto di usare ZFS o Freenas, ma nasce dal fatto che Freenas nasce come soluzione per gestire i dati in sicurezza, e per farlo andrebbe usata ram ECC.


Il problema della RAM è piuttosto raro, in tutta la mia esperienza è successo solo due volte di avere problemi per della ram che improvvisamente ha smesso di funzionare come dovrebbe. E di sistemi ne ho viste centinaia... Giusto un mese fa ho notato questo problema nel desktop che uso per lavorare, ogni tanto crashava. Ho fatto un po' di verifiche e alla fine ho notato che la ram ogni tanto da problemi. Ho tolto il modulo difettoso e da allora non mi è più crashato.

Però è ovvio che se capita, e si ha dati importanti, è un bel problema.

A questo punto secondo me potresti valutare queste possibilità:
1. i dati non sono essenziali, posso correre il rischio e usare ram non ECC
2. i dati sono essenziali, ma non me la sento di fare questo investimento. Puoi fare un backup su server remoto (circa 50-100 euro all'anno) e fare tipo una volta al mese un test sulla ram per assicurarti che sembra non dare il minimo problema. Questo approccio è valido sopratutto se i dati vengono modificati molto raramente (ad esempio se sono foto queste non vengono ritoccate, e quindi il rischio di avere problemi è davvero minimo).
3. i dati sono essenziali e magari li modifico continuamente (file di lavoro, ecc). In questo caso va scelta se affrontare una spesa o considerare il rischio accettabile.


NOTA: per poter sfruttare la ram ECC non serve solo la mainboard che la supporti, ma anche la CPU.

 

[Stefano Vocca]

Il tutto mi lascia leggermente perplesso a questo punto...

Anche perché, leggendo l'elenco delle risorse hardware richieste, si fa riferimento alle memorie ECC come soluzione "raccomandata" per installazioni casalinghe, mentre per quelle "business" diventa necessaria, ma il fatto che ci sia un problema di integrità del dato non può fare la differenza tra Home e Business, penso che tutti e due i sistemi vogliano i loro dati al "sicuro"...

Come mi hai fatto notare, giustamente, non è un problema solamente di ZFS, ma sembra che mettano i così detti puntini sulle "i" sul fatto delle memorie ECC, quasi un "diktat".

Il mio utilizzo sarà sicuramente di tipo "casalingo", ciò non toglie che alla base di questo sistema, c'è la necessità di salvare in tutta sicurezza le foto di una vita.

 

[Stefano Vocca]

In realtà il punto sulla memoria ECC riguarda qualsiasi file system o sistema operativo usato. Se si vuole l'assoluta sicurezza dell'integrità dei dati serve la ram ECC. Quindi questa raccomandazione non nasce dal fatto di usare ZFS o Freenas, ma nasce dal fatto che Freenas nasce come soluzione per gestire i dati in sicurezza, e per farlo andrebbe usata ram ECC.


Il problema della RAM è piuttosto raro, in tutta la mia esperienza è successo solo due volte di avere problemi per della ram che improvvisamente ha smesso di funzionare come dovrebbe. E di sistemi ne ho viste centinaia... Giusto un mese fa ho notato questo problema nel desktop che uso per lavorare, ogni tanto crashava. Ho fatto un po' di verifiche e alla fine ho notato che la ram ogni tanto da problemi. Ho tolto il modulo difettoso e da allora non mi è più crashato.

Però è ovvio che se capita, e si ha dati importanti, è un bel problema.

A questo punto secondo me potresti valutare queste possibilità:
1. i dati non sono essenziali, posso correre il rischio e usare ram non ECC
2. i dati sono essenziali, ma non me la sento di fare questo investimento. Puoi fare un backup su server remoto (circa 50-100 euro all'anno) e fare tipo una volta al mese un test sulla ram per assicurarti che sembra non dare il minimo problema. Questo approccio è valido sopratutto se i dati vengono modificati molto raramente (ad esempio se sono foto queste non vengono ritoccate, e quindi il rischio di avere problemi è davvero minimo).
3. i dati sono essenziali e magari li modifico continuamente (file di lavoro, ecc). In questo caso va scelta se affrontare una spesa o considerare il rischio accettabile.


NOTA: per poter sfruttare la ram ECC non serve solo la mainboard che la supporti, ma anche la CPU.

Grazie mille...

 

[Artion]

Ok, ho letto i vari post e mi sembra di aver capito che avendo acquistato una mohterboard che supporta solo memoria non-ECC, e di conseguenza avendo preso una memoria certificata dal costruttore della motherboard, ovviamente non-ECC, mi sembra ovvio di scartare l'utlizzo del filesystem ZFS?

E' corretto?

Mi sento di aggiungere che, per quanto costruito bene, un NAS non deve essere visto come una soluzione per la conservazine a lungo termine (es.: salvare le foto e video di famiglia come patrimonio di famiglia). Un NAS ha il compito di rendere accessibili i dati in rete, usando al meglio lo spazio disco fornitoli e nel minor tempo possibile. Per il salvataggio a lungo termine vanno considerate altre soluzioni, come hdd esterni, DVD, BD e nastri LTO, ognuno dei quali ha i suoi pro e contro.
Nelle realtà lavorative che ho visto le procedure impongono il backup periodico su media di sola lettura (come i CD, DVD o BD di due o più copie dei dati). E anche in questi casi i media/supporti di backup vengono ricopiati ogni 5 anni su nuovi media/supporti in quanto la loro vita media, conservati adeguatamente, ha un limite (senza menzionare il fatto che la tecnologia cambia molto velocemente).
Risulta molto utile fare una ricerca al riguardo su google: "archiving best practice".

il link seguente fornisce info interessanti:

http://www.pcworld.com/article/2984...edia-and-methods-for-archiving-your-data.html

 

[Stefano Vocca]

Mi sento di aggiungere che, per quanto costruito bene, un NAS non deve essere visto come una soluzione per la conservazine a lungo termine (es.: salvare le foto e video di famiglia come patrimonio di famiglia). Un NAS ha il compito di rendere accessibili i dati in rete, usando al meglio lo spazio disco fornitoli e nel minor tempo possibile. Per il salvataggio a lungo termine vanno considerate altre soluzioni, come hdd esterni, DVD, BD e nastri LTO, ognuno dei quali ha i suoi pro e contro.
Nelle realtà lavorative che ho visto le procedure impongono il backup periodico su media di sola lettura (come i CD, DVD o BD di due o più copie dei dati). E anche in questi casi i media/supporti di backup vengono ricopiati ogni 5 anni su nuovi media/supporti in quanto la loro vita media, conservati adeguatamente, ha un limite (senza menzionare il fatto che la tecnologia cambia molto velocemente).
Risulta molto utile fare una ricerca al riguardo su google: "archiving best practice".

il link seguente fornisce info interessanti:

http://www.pcworld.com/article/2984...edia-and-methods-for-archiving-your-data.html

Grazie dell'ulteriore spiegazione Artion, eh... si... a rigor di logica e di progettazione, la tua dissertazione non fa una "piega".
Il NAS (come lo interpreto io "utente domestico") è anzi tutto un archivio, nella stragrande maggioranza dei casi per quel che riguarda utenze domestiche viene utilizzato un RAID1, e questo proprio per la "salvaguardia" dei dati storicizzati in esso, ho già in casa un vecchio DLink 323, e, quando mi si è rotto uno dei due dischi, è bastato sostituirlo e dare qualche comando dall'interfaccia grafica per ricostruire il RAID e ripartire.
E questo è ciò che per me un NAS dovrebbe fare, il fatto di rendere accessibili dati in rete è utile, sia per la musica che per i video, magari anche in cloud, stesso discorso per i documenti, ma il fatto di poter avere un sistema per te che ti "protegge" da eventuali rotture fisiche dell'hardware demandato alla registrazione delle informazioni ti da quella sicurezza che tutti gli HD portatili ed i vari supporti ottici sinceramente non mi danno, ho sempre acquistato supporti di marca e, non poche volte, mi è capitato di non riuscire più a leggere uno di essi.

Quel che posso fare, prima di procedere con l'installazione è quello di testare a fondo la memoria installata sul mio futuro NAS onde evitare spiacevoli problemi, e, anzi, a proposito di questo se voleste indicarmi dei software per dei test "seri" ve ne sarei ulteriormente grato.

Grazie e buona giornata.

 

[Zofoor]

www.memtest.org oppure www.memtest86.com

Io ho verificato la ram con il primo dei due e mi ha individuato il problema. Nel mio caso mi ha identificato il problema dopo diverse ore che ri-eseguiva i test (ovvero sembrava che la ram non avesse difetti, ma dopo 4 o 5 cicli ha causato il problema). Il test andrebbe fatto ogni tanto perchè la ram può guastarsi (come è successo a me) e non è detto che ci si accorga del problema.

Riguardo ai dati, personalmente ho un RAIDZ2 con 6 dischi da 6Tb, quindi per perdere i dati se ne dovrebbero rompere 3. Poi i dati più importanti li ho salvati su un server cloud remoto.

 

[Artion]

Grazie dell'ulteriore spiegazione Artion, eh... si... a rigor di logica e di progettazione, la tua dissertazione non fa una "piega".
Il NAS (come lo interpreto io "utente domestico") è anzi tutto un archivio, nella stragrande maggioranza dei casi per quel che riguarda utenze domestiche viene utilizzato un RAID1, e questo proprio per la "salvaguardia" dei dati storicizzati in esso, ho già in casa un vecchio DLink 323, e, quando mi si è rotto uno dei due dischi, è bastato sostituirlo e dare qualche comando dall'interfaccia grafica per ricostruire il RAID e ripartire.
E questo è ciò che per me un NAS dovrebbe fare, il fatto di rendere accessibili dati in rete è utile, sia per la musica che per i video, magari anche in cloud, stesso discorso per i documenti, ma il fatto di poter avere un sistema per te che ti "protegge" da eventuali rotture fisiche dell'hardware demandato alla registrazione delle informazioni ti da quella sicurezza che tutti gli HD portatili ed i vari supporti ottici sinceramente non mi danno, ho sempre acquistato supporti di marca e, non poche volte, mi è capitato di non riuscire più a leggere uno di essi.

Quel che posso fare, prima di procedere con l'installazione è quello di testare a fondo la memoria installata sul mio futuro NAS onde evitare spiacevoli problemi, e, anzi, a proposito di questo se voleste indicarmi dei software per dei test "seri" ve ne sarei ulteriormente grato.

Grazie e buona giornata.

Ciao,
questo topic mi ha spinto a fare qualche prova su un sistema con FreenNAS9.10-STABLE avente hardware molto sotto il minimo consigliato (MB recuperata da un pc HP dell'inizio del millenio, CPU dualcore, 4GB di RAM non ECC e 4 HDD sata da 250GB in RAIDZ2).
Userò uno script che copia di continuo n copie dello stesso file di immagine in una cartella testdir e poi ne verifica il contenuto con un semplice diff. Lo farò funzionare per almeno un mese 24/7 con la variabile b=1500000 e un file da 13KB, lo screenshot del sistema in allegato. Sono curioso del risultato. :)

Code:

#!/bin/csh
#Prima di eseguire lo script copia un file immagine (jpeg o png)
#nella cartella di lavoro e rinominalo test.png
#poi crea una cartella chiamata tesdir (ovviamente nel dataset dei dati) con il comando
#mkdir testdir
clear
set d=0
loop:
   set a=0
   set b=1000 # imposta il numero massimo di copie del file (si può impostare un numero apropriato
   # allo spazio disco disponibile, p.e.s. file da 3MB x 100000 = 300GB spazio)
   set c=0
   while ($a != $b)
	 cp test.png ./testdir/test$a.png
	 diff test.png ./testdir/test$a.png
   # registra gli errori riscontrati dal diff
	 if  ( `echo $status` == "1") then
	   @ c++
	 endif
	 @ a++
   end
# rimuove i file per rieseguire la copia
rm -f ./testdir/*
@ d++
clear
echo Test di copia file su ZFS con RAM senza ECC
echo "********************************************"
echo Sono stati eseguiti $d loop da $b file e sono stati trovati $c errori
goto loop

 

[Stefano Vocca]

Buongiorno a tutti, dopo che sono arrivati tutti i pezzi mi sono apprestato all'installazione di Freenas.
Inserisco la pennetta con il sistema operativo su una porta USB 3.0 frontale.
Inserisco le due pennette che ho acquistato nelle porte USB 3.0 integrate sulla scheda madre.
Accendo il "NAS", parte subito l'installazione, mi fa scegliere il tipo si installazione, e scelgo la prima opzione (Install/Update), seleziono i due dischi USB sulle quali devo installare il sistema, confermo l'installazione, digito la password e l'installazione si avvia...

Fino a qui nessun problema, fino a che sullo schermo cominciano ad apparire dei messaggi di errore sia sul disco 1 che sul disco 2: Write(10)

Penso che le USB che ho comprato non funzionino bene o comunque non vadano bene per Freenas, mi consigliate di provare a cambiarle, oppure il problema è un altro?

Grazie e buona giornata.

 

[Zofoor]

Prova a scollegare gli HD ed a lasciare solo le penne usb del sistema operativo. Vedi se ti da ancora gli stessi errori. Nel caso ti diano ancora gli stessi errori puoi provare delle altre chiavette usb. Più di qualche persona ha avuto problemi con l'installazione con alcuni modelli di penne usb, quindi potrebbe essere. In alternativa molti suggeriscono di usare un disco SSD visto che i modelli piccoli ormai costano poco e sono estremamente più affidabili.

Io ho installato il mio sistema su una singola chiavetta usb Lexar Jumpdrive S45 da 16Gb (non mi interessava il mirror del boot, se mi capitano problemi reinstallo freenas su una nuova chiavetta ed importo il file di configurazione....).

 

[Stefano Vocca]

Prova a scollegare gli HD ed a lasciare solo le penne usb del sistema operativo. Vedi se ti da ancora gli stessi errori. Nel caso ti diano ancora gli stessi errori puoi provare delle altre chiavette usb. Più di qualche persona ha avuto problemi con l'installazione con alcuni modelli di penne usb, quindi potrebbe essere. In alternativa molti suggeriscono di usare un disco SSD visto che i modelli piccoli ormai costano poco e sono estremamente più affidabili.

Io ho installato il mio sistema su una singola chiavetta usb Lexar Jumpdrive S45 da 16Gb (non mi interessava il mirror del boot, se mi capitano problemi reinstallo freenas su una nuova chiavetta ed importo il file di configurazione....).

Ok, ho attaccato solo l'SSD sul quale installerò Jail e Plugin, lo scollego e riprovo, grazie ancora.

 

[Zofoor]

Se usi l'SSD per installare il sistema operativo non puoi usarlo anche per le Jail e i Plugin. Però vale la pena di provare per vedere se è un problema delle chiavette usb

 

[Stefano Vocca]

Se usi l'SSD per installare il sistema operativo non puoi usarlo anche per le Jail e i Plugin. Però vale la pena di provare per vedere se è un problema delle chiavette usb

Il sistema operativo lo voglio/vorrei :) installare sulle USB...