Aide à la réflexion sur l'architecture de mon pool

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Bonjour,

Je fais tourner Freenas sur un vieil ordinateur portable depuis quelques mois en mode test et exploration et j'en suis très satisfait !
Je vais donc me lancer dans le montage de ma propre config pour pouvoir en profiter pleinement et surtout avoir un vrai espace de stockage (500go pour le moment sur le portable...).

Le stockage justement, parlons-en... Je me suis déjà documenté mais j'ai encore un peu de mal avec les différents systèmes RaidZ de ZFS, donc j'aimerais un peu d'aide pour savoir sur quelle configuration partir selon mes besoins :).
J'aimerais donc :
- Entre 3 et 4To utilisables au départ, et pouvoir l'augmenter dans le futur mais à mon avis pas tout de suite
- Une tolérance d'au moins un disque qui crash
- Des perfs convenables en lecture/écriture

Utilisations : Partage via SMB et Nextcloud, serveur multimedia via Plex et seedbox pour torrent via Transmission.
(Dans le futur, peut-être hébergement de webapps et site web si possible)

Bien évidemment le budget n'est pas illimité, l'idée est de monter ce pc avec des composants d'occasion, du moins pour CPU/RAM/MB/alim mais que pensez-vous justement des disques d'occasion pour ce genre de projets, sachant que j'aurai une tolérance d'au moins un disque ?

PS: je compte mettre l'OS sur un petit ssd, genre 40go, certainement d'occasion.

Merci d'avance pour votre aide, je suis ouvert à toutes propositions, remarques, critiques constructives,... ;)

Mate
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Bonjour,

En ce qui concerne les différents modes de redondance possibles voici un peu plus de détail:
- Miroir: avec deux disques minimum, les données d'un disque sont recopiées sur chaque disque du miroir
- RAIDz1: un disque de parité, mais déconseillé pour des disques de capacité supérieure à 1 ou 2To
- RAIDz2: deux disques de parité
- RAIDz3: et sans surprise, 3 disques de parité! :smile:

Si l'idée c'est de commencer "doucement" (probablement pour limiter le budget), alors un miroir avec 2 disques est un bon départ.
J'imagine qu'il s'agit d'une utilisation domestique avec un ou peu d'utilisateurs simultanés, sur un réseau gigabit. Donc la différence du type de redondance n'aura aucune incidence sur les performances.
Personnellement, je conseillerai deux options: un miroir avec 2 disques de 8To ou un volume RAIDz2 avec 6 disques 8To. Je viserai des disques de 8To car je pense que c'est probablement un bon rapport prix/To en ce moment (et pour éviter au mieux le problème avec les disques SMR!).

Niveau évolution du stockage, il faut savoir qu'avec FreeNAS, une fois le volume créé, on ne peut pas facilement le changer sans le détruire.
Le seul moyen de le faire évoluer c'est de remplacer les disques un à un par des plus grands (on passe de disques de 2To à des disques de 4To par exemple dans un miroir de 2x 2To).
C'est pourquoi l'option du RAIDz2 avec 6 disques (de 8To) me semble intéressante même si elle parait surdimensionnée au départ par rapport aux besoins, au moins cela "durera" plus longtemps. En effet, avec le miroir, (genre 2x 8To), il y a le risque que plus rapidement il se remplisse... au début on se dit "pfff j'ai pas besoin de tout ça" et puis avec le temps, comme on a un NAS à disposition, on rajoute des données par-ci par-là (et tu parles de NextCloud, Plex ou transmission... ça va vite!) et on est à court de place!
Je pousserai même un peu plus loin (mais c'est mon point de vue personel): un volume RAIDz2 entre 6 à 8 disques si possible (pour avoir un meilleur compromis entre espace utilisable et espace brut)...

Pour l'évalutation de la capacité, penser également qu'il faut éviter de remplir un volume à plus de 80% de sa capacité (pour les miroir c'est peut-être différent, là j'ai un doute... j'ai peu pratiqué les miroirs.) si on veut pas une dégradation drastique des performances. Pour une utilisation domestique, on peut peut-être être un peu moins strict sur ces 80% mais ça permet d'avoir une idée en tout cas et ça laisse un peu de marge.

Ensuite un autre point à considérer: les backups!!!
Quelle est la stratégie? Car c'est pas parce qu'on a une redondance des données qu'un a un backup.
Dans le cas d'un miroir (2x 8To), facile je dirai, il suffit de prendre un troisième disque et c'est bon.
Par contre dans le cas d'un volume en RAIDz2 (et 6x 8To) ça peut être compliqué... Au début un seul disque en plus peut suffire come backup mais il faudra ensuite monter en "puissance" côté backup avec la montée de la capacité.
De plus toutes les données ne nécessitent pas forcément un backup...
Bref, à ne pas négliger en tout cas.

Concernant le matos, oui l'occas' peut tout à fait s'envisager.
Je dirai, même pour les disques, y'a pas de raison, faut juste s'assurer qu'ils sont en bonne santé SMART.
Dans tous les cas, occas' ou neuf, il est conseillé de rôder le matériel, typiquement les disques, la RAM et éventuellement le CPU, sur plusieurs jours (typiquement un test badblocks sur un disque de 8To prend 4 ou 5 jours pour une passe).
Pour ce qui est du choix du matériel d'occas', je ne partirai pas sur du matos plus ancien que ce qui tourne avec de la DDR3.
Toujours niveau matériel (voir les recommandations): pour résumer, une carte réseau intel est recommandée, éviter les cartes controleurs SATA exotiques, du matériel serveur est conseillé et une interface de gestion à distance est bien pratique.
Niveau RAM, je viserai 16Go (en ECC) vu les différents plug-ins prévus.
Installer FreeNAS sur un petit SSD est une bonne idée.
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Bonjour,

Merci pour ta réponse très complète !

J'imagine qu'il s'agit d'une utilisation domestique avec un ou peu d'utilisateurs simultanés, sur un réseau gigabit. Donc la différence du type de redondance n'aura aucune incidence sur les performances.
Oui, tout à fait ! Je me disais aussi que les perfs des disques ne seraient pas le point le plus bloquant :) .

Personnellement, je conseillerai deux options: un miroir avec 2 disques de 8To ou un volume RAIDz2 avec 6 disques 8To. Je viserai des disques de 8To car je pense que c'est probablement un bon rapport prix/To en ce moment (et pour éviter au mieux le problème avec les disques SMR!).

Niveau évolution du stockage, il faut savoir qu'avec FreeNAS, une fois le volume créé, on ne peut pas facilement le changer sans le détruire.
Le seul moyen de le faire évoluer c'est de remplacer les disques un à un par des plus grands (on passe de disques de 2To à des disques de 4To par exemple dans un miroir de 2x 2To).
C'est pourquoi l'option du RAIDz2 avec 6 disques (de 8To) me semble intéressante même si elle parait surdimensionnée au départ par rapport aux besoins, au moins cela "durera" plus longtemps. En effet, avec le miroir, (genre 2x 8To), il y a le risque que plus rapidement il se remplisse... au début on se dit "pfff j'ai pas besoin de tout ça" et puis avec le temps, comme on a un NAS à disposition, on rajoute des données par-ci par-là (et tu parles de NextCloud, Plex ou transmission... ça va vite!) et on est à court de place!
Je pousserai même un peu plus loin (mais c'est mon point de vue personel): un volume RAIDz2 entre 6 à 8 disques si possible (pour avoir un meilleur compromis entre espace utilisable et espace brut)...

Ha oui, disques de 8to tout de suite... Je comprend bien l'idée mais niveau budget ça va commencer à piquer, j'avais imaginé mettre 200-300€ max pour commencer pour les disques.
Je maitrise clairement pas tout mais il n'y a pas une histoire de rajout d'une vdev à un pool existant ? Par exemple je commence avec 2x4to en miroir puis je rajoute une vdev de nouveau 2x4to plus tard, c'est possible ça ? Quels en seraient les inconvénients ?
Ou sinon, pour étaler un peu le budget, prendre 2x4to et les remplacer un a un plus tard par des 6 ou 8 to?
J'avais imaginé aussi utiliser plusieurs disque de 1 ou 2to (qui commencent à se trouver apacher d'occasion) en raidz1 ou 2, idée potable ou pas ?
Après si t'as des méga bons plans pour des disque de 8to, je suis preneur^^. Mais je pense que je peux oublié le 6 disque 8to, meme si c'est tentant, ma femme me tuerait !^^

Ensuite un autre point à considérer: les backups!!!
Quelle est la stratégie? Car c'est pas parce qu'on a une redondance des données qu'un a un backup.
Dans le cas d'un miroir (2x 8To), facile je dirai, il suffit de prendre un troisième disque et c'est bon.
Par contre dans le cas d'un volume en RAIDz2 (et 6x 8To) ça peut être compliqué... Au début un seul disque en plus peut suffire come backup mais il faudra ensuite monter en "puissance" côté backup avec la montée de la capacité.
De plus toutes les données ne nécessitent pas forcément un backup...
Bref, à ne pas négliger en tout cas.

Je retiendrais ton avant-dernière phrase : en effet, les données VRAIMENT importantes (quelques centaines de go max) seront stockés à plusieurs endroit : ordinateur, nas, cloud, dd externe,... Si je perds mes films et série, ça me ferait certes chi** mais j'estime que c'est pas trop grave.
Mon nas me servira aussi de backup windows pour mon pc principal, je ne l'avais pas précisé ;) .

Concernant le matos, oui l'occas' peut tout à fait s'envisager.
Bonne nouvelle pour le budget ! ^^

Je dirai, même pour les disques, y'a pas de raison, faut juste s'assurer qu'ils sont en bonne santé SMART.
Dans tous les cas, occas' ou neuf, il est conseillé de rôder le matériel, typiquement les disques, la RAM et éventuellement le CPU, sur plusieurs jours (typiquement un test badblocks sur un disque de 8To prend 4 ou 5 jours pour une passe).
Peux-tu m'en dire plus sur le rodage (ou me doner le lien dune ressource )? Je ne connais pas du tout...
Pour vérifier l'état SMART avant d'acheter, un portable avec crystal disk et un boitier de dd externe, bon plan?

Pour ce qui est du choix du matériel d'occas', je ne partirai pas sur du matos plus ancien que ce qui tourne avec de la DDR3.
Nickel, c'est ce que je m'étais dit aussi.

Toujours niveau matériel (voir les recommandations): pour résumer, une carte réseau intel est recommandée, éviter les cartes controleurs SATA exotiques, du matériel serveur est conseillé et une interface de gestion à distance est bien pratique.
Merci, du coup entre un i5 4coeurs +/-3.5Ghz et un xeon 4c +/-3Ghz, vaut mieux prendre le xeon ? J'imagine que oui mais je trouve des xeon moins chers que des i5 (une question d'offre/demande peut-être...).
Qu'entends-tu par interface de gestion à distance ? Pour moi c'est intégré à freenas (interface web ou SSH) et n'est pas en lien avec le hardware mais on doit pas parler de la même chose...


En tout cas merci beaucoup pour ton aide !

Mate
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Disques:
Pour les disques de 8To, j'ai pas de bons plans sous le coude mais si c'est une option qui te tente, je te conseille de surveiller les prix sur amazon par exemple (FR ou DE c'est parfois moins cher). J'ai trouvé des disques en boitier USB pour 130€ (que j'ai sorti du boitier). Après faut faire gaffe au modèle pour savoir quels types de disques on récupère, faut se rencarder un peu avant.
Mais deux disques ça rentre dans ton budget... :smile:

y a pas une histoire de rajout d'une vdev à un pool existant ?
Si c'est vrai. Par contre il faut faire attention à ce que le vdev que tu rajoutes ait le même type de redondance, sinon tu as un risque de perdre tout ton pool (si un des vdev est défaillant c'est tout le pool que tu perds!).
J'ai pas d'expérience dans ce type de configuration... pour être honnête, j'essaye de l'éviter pour éviter les problèmes. :tongue:

prendre 2x4to et les remplacer un a un plus tard par des 6 ou 8 to?
Oui c'est tout à fait possible aussi ça et c'est une bonne approche.

plusieurs disque de 1 ou 2to
Aussi une possibilité, d'occas' ou pas. Sur des disques de 1 ou 2To, on peut faire du RAIDz1, ça va encore. Quoique, si tu récupères des disques d'occas' alors j'opterai pour du RAIDz2 (par exemple avec 8 ou 10 disques).
L'inconvénient que j'y vois (mais c'est pas bloquant, c'est juste mon avis perso), c'est le ratio conso/capacité. Exemple: entre 8 disques de 1To et 1 disque de 8To, la conso n'est pas la même.
Mais à part cela...


Rodage:
Quelques resources et scripts pour le rodage.
Le rodage consiste à tester le matos pour être sûr qu'il va pas te claquer dans les pattes quand tu vas le mettre en production. C'est valable pour du matos neuf afin d'écarter les problèmes de mortalité infantile (et faire jouer la garantie tout de suite) mais aussi sur du matos d'occas' pour être sûr que ce que tu as acheté n'est pas foireux (bien que le vendeur t'ait juré craché que c'était tout bon!). Quand tu as une défaillance sur du matos d'occas' c'est plus chiant car pas de garantie... mais vaut mieux que ça t'arrive avant que tu y mettes des données!

Les données SMART des disques apportent des informations intéressantes notamment les attributs:

5 Reallocated_Sector_CtNombre de secteurs réalloués
9 Power_On_HoursNombre d'heures de fonctionnement
12 Power_Cycle_CountNombre de cycles d'allumage
193 Load_Cycle_CountNombre de cycle de chargement de la tête
194 Temperature_CelsiusTempérature
197 Current_Pending_SectorNombre de secteur défectueux en attente de validation
198 Offline_UncorrectableNombre de secteurs défectueux

Y'a d'autres attributs mais ce sont les plus importants je dirai. Certains attributs sont dépendants des constructeurs et l'interprétation des valeurs est quasi une science occulte, donc pas toujours évident... :smile:

Les attributs 5, 197 et 198 doivent être à 0, là faut pas chipoter dessus.
Ensuite le nombre de cycle d'allumage sera à évaluer en fonction du nombre d'heures de fonctionnement.
Par exemple, j'aurai moins de problème avec un disque qui affiche 50 000heures et 25 cycles d'allumages qu'un disque qui affiche 25 heures de fonctionnement et 50 000 cycles d'allumage!
L'attribut 193 est spécifique pour les disques WD mais il faut s'assurer que, selon le modèle du disque, ce compteur n'ait pas dépassé les limites. Je ne les ai plus en tête... mais quand il monte dans les 100k on commence à regarder d'un peu plus près.
Pour plus d'info voir la page wikipedia.
La température est indicative mais dans certains cas on peut avoir l'historique, c'est ça qui est intéressant. Si tu vois que le disque est monté à des températures trop hautes (genre 50 ou 60°) alors à éviter.

Sous windows, CrystalDisk permet d'avoir les informations SMART. Il est aussi bon de vérifier qu'un long test SMART se déroule sans erreur mais ça je sais pas si CrystalDisk le dit.


CPU:
i5 4coeurs +/-3.5Ghz et un xeon 4c +/-3Ghz
D'emblée je dis oui pour le xeon mais probablement pas pour la raison que tu penses... :p
C'est parce que les i5 ne gèrent pas la mémoire ECC contrairement aux xeons!
La aussi c'est un choix perso: je suis parti sur l'utilisation de la mémoire ECC car cela me semble incontournable pour assurer l'intégrité des données.
Par rapport au prix, il y a peut-être une différence mais d'occas' tu peux en trouver des pas chers.
Si je prends l'example du xeon que j'utilise, le X5670 qui carbure pas mal (enfin je trouve vu son grand age), j'en ai vu à 30$ sur ebay et à 55€ sur leboncoin.
Je ne dis pas qu'il faut utiliser celui là, c'est juste pour donner une idée de prix.

L'inconvénient de prendre du mato d'occas' et de génération plus ancienne, c'est la conso. Alors niveau CPU, pas forcément la conso à 100% de charge mais celle à 0%! En charge, tous les CPU consomment en gros... par contre, quand ils ne font rien, les CPU récents ont des stratégies de réduction de la consommation plutôt bonnes. Et comme ton serveur sera à 0% pendant 99% du temps, c'est pas négligeable.


Interface de gestion à distance (ou IPMI):
Non je ne parle pas de l'interface web de FreeNAS. L'interface à distance dont je te parle c'est pour avoir un écran du serveur (avec gestion de la souris et du clavier) par le réseau. Cela te permet de mettre le serveur (sans clavier ni écran) dans un coin, placard ou grenier et, par le réseau, tu te connectes à distance dessus et tu peux accéder au BIOS par exemple. Ca ne s'utilise pas forcément tous les jours mais très pratique pour la maintenance.
Souvent ça utilise une interface réseau dédiée donc nécessite le passage d'un cable supplémentaire...
Ce genre de fonctionalité est souvent disponible sur le matos serveur. Donc avec un xeon, je conseillerai une carte mère genre Supermicro (mais y'en a d'autres hein).
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Merci, j'ai appris plein de choses ! Sur le rodage et l'IPMI mais aussi au niveau consommation électrique, c'est vrai que je n'avais jamais pensé à ça...

Je viens de voir ça :
xeon.png


Qu'en dis-tu ? Ça m'a l'air pas mal pour le prix mais je préfère avoir l'avis d'un expert avant de foncer tête baissée ;) . (Fréquences pas trop faibles ?)

Il n'y a peut-être pas de IPMI mais le matos sera dans un meuble à coté de mon ordi donc toujours la possibilité de lui brancher un écran.

Merci,

Mate
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Oui ça a l'air pas mal et vu le prix, c'est tentant.
Le CPU (E5620) est pas mal, bon faudra pas en attendre des merveilles et utiliser Plex pour transcoder des flux 4k! :tongue: Mais tu verras à l'utilisation. C'est déjà une très bonne base pour commencer.
16Go de RAM c'est un bon début (le minimum recommandé pour FreeNAS est 8Go) et ça te laisse un peu de marge, parfait.
Il y a 5 connecteurs SATA sur la carte mère semble-t-il, c'est parfait: 1 pour le disque de démarrage (par exemple un petit SSD à pas cher mais le disque proposé de 500Go peut très bien faire l'affaire, si c'est un peu long à booter, peu importe je pense) ce qui t'en laisse 4, tu peux commencer avec deux disques en miroir pour rajouter un autre miroir plus tard par exemple.

Par contre, les points un peu moins bien sont:
- la carte vidéo: pas de carte vidéo de base intégrée donc il faut en rajouter une et c'est dommage car elle te sera bien inutile pour FreeNAS.
C'est pourquoi, souvent les cartes mères serveur intègre une carte vidéo de base (vraiment basique hein) pour éviter de devoir en rajouter une. Les processeurs xeon n'ont pas de GPU intégré d'ailleurs (contrairement aux autres i5 ou i7 si je ne me trompe pas).
Bon après la carte proposée (FX 570) n'est pas non plus un foudre de guerre... :-D Cela semble être un bon choix pour un serveur, c'est plutôt bien.
- la carte son: la carte mère intègre un chiset audio qui lui est aussi inutile pour FreeNAS.
- IPMI: il n'y a pas d'interface IPMI comme tu le disais bon... faut le savoir c'est tout, mais tu l'as vu... :smile: Du coup, faudra brancher un écran et un clavier si jamais y'a des problèmes. Ils donnent même un moniteur cassé avec, parfait! :-D Et comme tu l'auras à côté de ton ordinateur alors banco.
- RAM: ils ne précisent pas si la RAM est ECC ou pas... Perso, j'opterai pour de la RAM ECC comme je le disais précédemment. Mais l'important c'est de choisir en connaissance de cause.

Les points négatifs que j'ai mentionnés (carte vidéo et carte audio) vont avoir un impact sur la consommation électrique. La carte audio devrait être limitée par contre la carte vidéo peut être plus importante (ça dépend de la carte; celle là est donnée pour un TDP max de 38W (quand même...) bon elle devrait pas être à 38W juste en affichant du texte faut pas pousser quoi! :) ).
C'est pas très grave mais faut le savoir.


Fréquences pas trop faibles ?
Bah... je le dirai comme ça: pour une utilisation domestique comme serveur NAS, la fréquence n'a pas beaucoup d'impact. On est dans des processeurs (relativement) récents (bé il date de 2010 quand même, une éternité en informatique! :-D), il n'aura donc pas de problème pour faire tourner FreeNAS.
La question de la fréquence peut se poser si tu as une utilisation intensive (beaucoup de plugins, beaucoup d'utilisateurs, ...) mais je pense pas que ce soit le cas. Un autre cas où j'ai cru comprendre que la fréquence pouvait jouer un rôle c'est avec SAMBA. SAMBA est mono thread donc il vaut mieux avoir un CPU avec une fréquence élevée plutôt qu'un CPU avec beaucoup de coeurs. Mais encore une fois pour une utilisation domestique...... voilà quoi.
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Salut !

J'ai donc craqué ^^ :
IMG_20200630_151721987.jpg
IMG_20200630_152313096.jpg


Trop content, à nettoyer en profondeur mais ça tourne nickel ! Et à ce prix-là je pense avoir fait une assez bonne affaire :).

Je n'ai pas encore les disques mais j'aimerai pouvoir tester le matos avec freenas, j'ai donc pensé à quelque chose :
Comme dit au début, Freenas tourne chez moi pour le moment sur un ordi portable avec un dd de 500go et 5go de ram, OS sur une clé USB et le dd comme pool. Je l'utilise principalement pour Plex mais ça rame en 1080p. Je voudrais donc me rassurer, et kiffer un peu, de voir Plex tourner en 1080p sans mettre le matos en souffrance.
Etant donné que j'ai aussi un dd de 500go dans le nouveau serveur, existe-t-il un moyen facile de transférer/cloner mon système Freenas de mon portable vers mon nouveau serveur (Configuration et pool) ?

Encore merci pour toute l'aide apportée, je ne me serai pas décidé si vite et si facilement sans toi ! ;)
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
J'ai oublié de préciser que le transfert serait juste pour tester quelques jours, je compte bien repartir d'une base propre en reinstalant et en reconfigurant tout manuellement une fois que j'aurai tous les disques
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Parfait! :smile:

Le plus simple pour ce qui est de transférer/cloner un système: faire une sauvegarde de la config, faire une réinstallation puis restaurer la config et c'est (re)parti!
Pour tester, tu peux partir avec une installation sur clé USB (c'est pas hyper fiable mais si c'est juste pour tester ça le fait), comme ça tu peux utiliser le disque de 500Go qui est dans le PC.

Si j'ai bien compris:
- actuellement tu as un disque de 500Go comme pool de données (sur un portable), c'est ça?

Ce que je ferai:
- Sauvegarde de la configuration de FreeNAS du portable
- Installer FreeNAS sur le Dell sur le disque de 500Go dans le PC
- Restaurer la config
- Importer le disque de 500Go du portable (en gros physiquement installer le disque dans le PC et importer le volume sous FreeNAS)
- Et puis voilà...
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Ce que je ferai:
- Sauvegarde de la configuration de FreeNAS du portable
- Installer FreeNAS sur le Dell sur le disque de 500Go dans le PC
- Restaurer la config
- Importer le disque de 500Go du portable (en gros physiquement installer le disque dans le PC et importer le volume sous FreeNAS)
- Et puis voilà...

J'aimerais garder le portable avec un FreeNAS fonctionnel le temps de tout mettre en place avec le Dell donc l'option de lui retirer son DD me semble compliquée...^^

J'ai en effet un disque de 500go sur le portable comme pool et l'OS qui tourne sur une clé USB et j'aimerais avoir la même configuration (temporairement) sur le Dell, qui a lui aussi un seul disque de 500go.
La sauvegarde de la configuration de FreeNAS comprend-elle les différents datasets (vides) et leurs permissions, ainsi que les jails (plugins) ? Si oui, faire des copier/coller des séries entres les 2 NAS via le partage Windows me semble faisable, mais peut-être pas le plus optimale ? Si non, bah je suis perdu, comment transférer mes données d'un NAS à l'autre et qu'elles soient utilisables en lecture/écriture (j'ai vu les snapshots, mais ça ne me semble pas approprié pour ce dernier point) ?
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Ben alors ce qui est aussi possible:
- garder le FreeNAS sur le portable comme il est
- installer FreeNAS sur le Dell, importer la configuration (du portable) si besoin mais je pense pas du coup...
- répliquer le pool du portable sur le Dell (avec la fonctionalité de réplication de FreeNAS)
- et tu auras deux FreeNAS identiques (au niveau données)

Je suis pas sûr:
- Je ne crois pas que la configuration sauvegarde les datasets et leurs permissions....
(-par contre les users oui)
- J'ai un doute aussi pour les jails... je crois pas.

Mais:
--> les datasets et permissions sont transférés avec la réplication
- Je sais pas comment ça se passe pour les jails et plugin... comme je n'en utilise pas je suis pas trop au fait. :tongue: (bon au pire faut reinstaller le plugin pour Plex quoi... courage...) Tu dois pouvoir répliquer le dataset des jails/plugin et peut-être qu'il retrouve ses petits... à tester, je sais pas...


j'ai vu les snapshots, mais ça ne me semble pas approprié pour ce dernier point
Alors si justement, les snapshots sont utiles pour la réplication car la réplication se fait sur base d'un snapshot.
Sinon avec rsync ça marche bien aussi (perso je préfère la réplication... sans pouvoir donner d'argument béton sur la préférence! :smile: ).
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
J'ai donc installer FreeNAS sur le Dell sans soucis. J'ai ensuite voulu copier mes données via la réplication et les snapshots mais je ne suis arrivé à rien. Chaque fois que je voulais créer une réplication, ça me disait qu'aucun snapshots n'existaient alors que j'en avais bien créé, je les voyais dans la page des snapshots. Et ce, que je sélectionne un snapshot ou un clone...
Mais bon c'est pas grave pour le moment, car du coup je me suis renseigné sur le Rsync et ça, ça a l'air de mieux fonctionner chez moi, le transfert est en cours, on verra à la fin :) . J'ai 170Go à transférer à 10Mo/s car la carte réseau du Dell est en 100Mb/s, ça j'avais pas vu... :(

J'ai vu qu'avec le Rsync, on pouvait aussi garder les permissions des dataset. J'ai donc installer Plex sur le Dell et je me suis dit qu'il me suffisait d'importer la config FreeNAS du portable vers le Dell pour avoir les user et groupes liés aux permissions des datasets. Ensuite, je n'aurai plus qu'à recréer le mount point dans la jail de Plex pour qu'il ait accès aux fichiers multimédia et Plex devrait déjà avoir tous les droits nécessaires pour accéder à ces fichiers.
Mais là, problème : Mon fichier .tar quand je sauve la config du portable fait plus de 10Mo (10,5Mo -_- ) et je ne peux donc pas l'importer... Je ne comprend pas, j'ai pourtant un tout petit système de débutant... Le fichier de database (.db) fait à lui seul plus de 10Mo, et j’imagine que c'est celui-ci qui est important.

Autre point de questionnement : sur mes 16o de RAM, j'en ai 13.5 pour le ZFS cache alors que je n'ai que 40 go de données (transfert en cours) et la jail Plex de 2Go, est-ce normal que le cache prenne autant de place pour si peu de données ? Qu'est-ce que ça va donner quand j'aurai 4To ? ^^
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Pour la réplication il y a une subtilité qui est qu'il faut qu'il y ait un snapshot périodique de configuré, ça ne marche pas avec un snapshot manuel. Pour pouvoir le faire avec un snapshot manuel, faut le faire en ligne de commande.
Du coup, c'était quoi comme snapshot que tu avais?

Ah oui, rsync fonctionne aussi très bien; si ça marche avec rsync alors t'embête pas spécialement non plus.

Mon fichier .tar quand je sauve la config du portable fait plus de 10Mo
Alors de quel fichier .tar tu parles là?? Je ne te suis plus....
La sauvegarde de la configuration génère un fichier .db
Je viens de tester, dans mon cas, le fichier .db fait 1Mo (pareil, c'est un système de test donc tout simple).
Tu utilises quelle version de FreeNAS, la 11.3 je suppose?
Je ne vois pas où peut être le fichier .tar dont tu parles...


RAM:
J'avoue je regarde pas trop! :tongue:
Mais je ne suis pas plus étonné que ça. Tu aurais 2Go de données et 13Go de cache utilisé là ça serait un peu plus étrange! :smile:
FreeNAS va utiliser le maximum qu'il peut pour le cache en RAM donc c'est normal comme comportement. C'est pourquoi, plus tu peux avoir de RAM, mieux c'est et FreeNAS va l'utiliser.
Sur mon serveur test de FreeNAS 11.3, j'ai pas de données (ou alors quelques Mo) et sur 16Go de RAM, j'ai 1Go utilisé pour le cache (c'est beaucoup quand même pour juste quelques Mo d'ailleurs! :tongue: je pense qu'il doit y avoir un minimum) et 13Go de libre. Là aussi à peu près cohérent.
La différence de taille de cache entre 40Go et 4To ne sera probablement pas énorme. Après en pratique, avec 40Go de données, la probabilité qu'une donnée soit dans le cache est plus importante qu'avec 4To. :smile: Pour un utilisateur unique ça sera très peu sensible par contre ça peut faire une différence lorsque le nombre d'utilisateurs augmente et qu'en plus on veut de bonnes performances...
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Rsync a foiré, ça m'a enregistré 2x plus de données que prévu mais je voyais pas les nouveaux datasets dans mon pool a la fin... ^^

Donc merci du conseil pour les snapshot/replication, je suis passé par ça (j'avais de fait essayé avec un snapshot manuel) et bingo! C'est passé crème, j'ai retrouvé tous mes datasets avec leurs permissions, installation de plex, mount point et c'était bon ! J'ai lancé une série pour test en qualité max, pas de lag .


Le fichier .Tar est une archive qui contient la db et un fichier de sauvegarde des user et mdp si j'ai bien compris, si on sélectionne l'option lors de la sauvegarde de la config (freenas 11.3). Mais le fichier .Db fait bien 10.5 mo, bizarre... Mais bon au final, je pense pas que je vais en avoir besoin .

Pour la ram, ça marche, je ne me tracasse pas trop alors . Et pour me rassurer un peu, ça a baissé de 2go une fois le transfert terminé ^^.

Encore une petite question (décidément ça s'enchaînent pour le moment mais les occasions font que...) concernant les disques :
J'étais parti dans l'idée de faire un miroir de 2x4to à upgrade plus tard en rajoutant 2x4to ou en les changeant par plus gros.
Donc je surveille le marché de l'occasion et je viens de tomber sur un lot de 4 disques 4to wd red CMR à 70€/disque. Le vendeur veut bien m'en vendre 2 sans soucis mais je me dit que ce serai peut être l'occasion de partir sur une meilleur configuration raid que celle ci dessus (2 miroir en 2x4to), en prenantlles 4 disques, même si ça dépasse un peu mon budget...
Qu'en penses-tu ?

D'avance merci pour tes précieux conseils
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Ah ben pourquoi pas en effet.
70€ le disque c'est pas mal pour de l'occas'.
En occas' tu as toujours le risque d'avoir des surprises bien entendu, c'est pourquoi je conseille un bon rôdage (et avec le risque que la surprise te fera un peu exploser ton budget du coup).

Ensuite 4 disques, c'est un peu batard comme nombre (je trouve)... car entre 2 miroirs de 2x4To ou un volume en RAIDz2 4x4To, tu perds autant de place dans les deux cas! :smile:
C'est juste une question philosophique je dirai... perso ça me fait mal de perdre 50%. :tongue:
C'est pour ça que je partirai sur 5x 4To au minimum... :smile:
Par contre avec 4 disques, l'avantage du volume en RAIDz2 c'est que peu importe quels disques tu perds (avec un maximum de 2) tu as encore les données alors que dans le double miroir, si les deux disques sont dans le même miroir tu pleures... :tongue:
 

Matehias

Dabbler
Joined
Jun 20, 2020
Messages
31
Merci pour cette réponse encore une fois rapide !

4 disques, c'est un peu batard comme nombre (je trouve).

C'est bien ce que je me disais aussi.. :( Je vais rester raisonnable et me contenter (pour le moment) du miroir 2x4to, ce sera déjà pas mal :) .

Je compte bien roder tout le matériel une fois que j'aurai tout démonter, dépoussiérer, changer la pâte thermique,... Je n'ai pas pu résister à l'envie de tester le matos avant la corvée nettoyage, et aussi pour être sûr de ne pas faire cette corvée pour rien !^^ Je me dis aussi que, pour stresser mon matos, autant qu'il soit dans les meilleurs conditions possibles.
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Bon rodage et bon amusement alors! :smile:
 
Top