[Résolu] Freenas datastore ESXI ram non-ECC

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Bonjour @Tous !

Contexte:
Je suis depuis plusieurs semaine entrain de tenter d'utiliser un NAS en tant que datastore a des fins de découverte pour la maison et j'ai de bien meilleurs performances avec Freenas comparé a OMV.

J'ai bien lu et compris l'importance de la RAM-ECC.

Je me posais tout de même une question (de débutant ^^) ?

étant donné qu'avec ESXI c'est un seul et unique fichier vmdk, est-ce que la VM (esxi, système invité, ou autres) ne fais pas la réparation automatique en cas de BIT "défectueux" ?

A terme je souhaite utiliser ce nas en tant que stockage datastore pour y héberger le disque virtuel de mon nextcloud.

Qu'e pensez vous ?

Merci par avance pour vos éclairement et remise dans le droit chemin =)
 
Last edited:

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
L'un des intérêts de ZFS c'est de détecter les corruptions silencieuses.
Et cela serait étonnant que l'OS installé dans le fichier VMDK en ait les capacités... En tout cas esxi, pas à ma connaissance et je ne suis pas sûr qu'il y ait beaucoup d'autres OS qui aient cette fonctionalité. Et quand bien même ils auraient cette capacité, je suis persuadé qu'ils se fient à la mémoire ECC aussi, du coup.

Pour résumer, je dirai que ça revient à une question: quelle est l'importance des données stockées?
Si c'est dans le cadre d'un test alors pas de soucis.
Si c'est en production alors la question se pose et est primordiale.
Personnelement, je dirai pour un stockage NextCloud, je ne ferai pas l'impasse.
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Bonsoir @Pitfrr ,

Non effectivement ESXI ou n'importe quel autre système ne peut corriger les données corrompus, mais ce que je voulais dire, c'est que le vmdk est un fichier de disque dur virtuel. Donc le système invité va écrire sur son disque dur, donc le seul et unique fichier qui existe sur "ZFS", LE fameux vmdk.
Il (le système invité) écris DANS le vmdk, et non dans le stockage ZFS ? Est-ce que je prends la bnne direction en disant cela ? ^^

De toute façon, je vais pas tarder à investir dans un serveur d'occasion sur ebay =)
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Ahhh... j'ai peut-être mal compris quelque chose...
Je suis parti du principe que le fichier VMDK est stocké sur FreeNAS et que le serveur FreeNAS n'a pas de RAM ECC (soit qu'il est virtualisé aussi sur le serveur ESXi ou séparé).

- Dans ce cas:
Du point de vu de l'OS invité, il pense écrire sur un disque conventionnel. Donc pour lui s'il n'a aucune mesure de gestion pour la corruption des données ben il l'a dans le baba.

Maintenant, comme c'est en fait un fichier VMDK stocké sur FreeNAS, FreeNAS gère la corruption des données (sur le disque dur) donc on retombe sur nos pattes (en ce qui concerne la gestion de la corruption de données).
Mais si y'a pas de mémoire ECC, ça fait "un trou dans la raquette" au niveau de la gestion de cette corruption des données.
Comme la RAM pour FreeNAS c'est du cache en gros, les données qui vont être sur le disque passeront de toute façon par la RAM (du "côté" de FreeNAS; pas du côté de l'OS invité, c'est transparent ça pour lui), si elle n'est pas ECC alors un risque existe (probablement minime certes mais risque quand même).

- Sinon:
Si le serveur ESXi n'a pas de RAM ECC et que le fichier VMDK est stocké sur FreeNAS mais que ce dernier utilise de la mémoire ECC alors effectivement, FreeNAS va gérer les corruptions de données stockées au niveau du stockage (pas au niveau de la RAM puisque la VM tournera sur le serveur ESXi qui n'a pas de mémoire ECC).


- Je prends un exemple:
Dans mon cas, j'ai virtualisé FreeNAS sous ESXi (avec de la RAM ECC). J'ai un stockage en RAID5 utilisé par ESXi comme datastore pour stocker les VM.
Et j'ai passé à FreeNAS 6 disques en accès direct pour les gérer avec ZFS, où sont stockées les données.
Donc dans mon cas, c'est un peu similaire, sauf que c'est au niveau du stockage et pas au niveau de la RAM. Sur le stockage ESXi, il peut y avoir des corruptions de données qui ne seront pas détectées mais cela m'est un peu égal car je ne stocke pas de données importantes dessus, juste les images des VM (donc au pire faut que je résintalle l'OS).
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Merci @Pitfrr pour ton aide et je me rends compte que j'ai posté trop vite sans bien expliquer (je m'améliore tous les jours tu sais ^^). du coup tu a du expliquer tout les scénarios possible ^^ désolé :p

Donc je reprend même si j'ai pratiquement compris toutes tes explications et que je suis bien conscient de l'importance de la ram-ecc, c'est juste à but de découverte :)

J'ai deux machines:
  • 1x Server esxi (i5-6500 / 32Go ram non-ecc / 3 disque ssd (64Go,256Go,512Go))
  • 1x Server Freenas (i3-2100 / 12Go ram non-ecc / 4 disque de 1To (2 vdev mirror que j'ai "stripper")
Le server freenas est un datastore pour le server ESXI

Mon test d'apprentissage sur ZFS et ces possibles corruption:
  • 1x vm debian nextcloud
  • 1x disque "system" (apache, php, etc) sur un SSD du server ESXI
  • 1x disque "data" (donnée fichiers utilisateurs) sur le datastoreNAS
voila mon p'tit lab expérimental.

Donc dans tout cela, à aucun moment j'ai une vérification du "trou dans la raquette" ^^. Pour résumer:

nextcloud écrit un fichier -> il va se coller dans le disque dur -> a aucun moment freenas le voit passer (la photos du mariage) ? il ne voit qu'une modification du fichier vmdk on est bien d'accord ?
donc si freenas un problème de ram, il va bousiller le fichier vmdk, mais du coup quand la vm va s'apercevoir que son "vDisque" à un problème, que va-t-il se passer ? la vm (debian), va essayer de réparer son disque ?

merci encore pour ton aide !!
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Alors je suis pas assez calé en Debian ou autre pour dire ce que Debian peut ou va faire en terme de détection/correction de corruption de données! :smile: (et autre que fsck??)
Mais là on parle principalement de corruption silencieuse, donc Debian ne le verra pas (ou une fois qu'il sera trop tard). Par contre FreeNAS le détecte sauf qu'avec de la mémoire non ECC, FreeNAS ne peut détecter si l'erreur se produit en RAM...
Donc au final, ton fichier VMDK pourra être corrompu sans détection. Et quand la VM s'en rendra compte alors il sera trop tard.

Dans ta config, je conseillerai de passer le serveur FreeNAS en RAM ECC pour combler "le trou".
Si ce n'est pas possible alors il faut en avoir conscience, c'est déjà pas mal... :smile: et l'accepter ou y remédier.

Par curiosité, à quoi se te servent les 3 disques SSD sur le serveur ESXi? Pas pour stocker les VM puisque si j'ai bien compris celles là seront sur FreeNAS.
Après, pour des raisons de performances, il serait peut-être préférables de stocker les VM sur le serveur ESXi directement? Et monter un partage FreeNAS comme stockage pour la VM pour y stocker les données.
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Ok tout compris pour la question initiale :)

Pour ta curiosité: j'ai bien les VM "système" sur les SSD, puis, les données sur un deuxième disque qui lui est sur le freenas, comme cela, mon fichier VMDK de données est sur un ""RAID"" (oui je faute en disant ceci :eek: pas de raid chez freenas :p) ce qui palie au manque de raid sur ma machine esxi, puis c'est surtout pour faire mumuse aussi hein

dans les autres cas, toutes les machines sont sur les ssd, qu'un jour je vais penser à sauvegarder ^^
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Oui, ça c'est l'autre affaire: une fois qu'on se lance dans FreeNAS (ou tout autre NAS d'ailleurs), il faut penser à sauvegarder les données car c'est pas parce qu'on a un RAID-de-la-mort-qui-tue que ça fait office de sauvegarde!

A ce sujet, comme tu as déjà deux serveurs, il peut être intéressant de voir comment l'un ne pourrait pas être utilisé comme sauvegarde du FreeNAS par exemple.


les données sur un deuxième disque qui lui est sur le freenas
Je ne te suis pas bien là... Car tu parles ensuite du fichier VMDK de données...

Voilà ce que j'ai compris:

Serveur ESXi
- VM système

Serveur FreeNAS
- données (pour la VM) dans un fichier VMDK
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
RAID-de-la-mort-qui-tue
Oui oui ça je le sait bien, et j epense que tant qu'il ne m'arrivera pas une couille, je le ferais pas o_O

Je ne te suis pas bien là... Car tu parles ensuite du fichier VMDK de données...

Voilà ce que j'ai compris:

Serveur ESXi
- VM système


Serveur FreeNAS
- données (pour la VM) dans un fichier VMDK

Oui c'est exactement cela, la vm a deux disque virtuel, un sur un SSD pour le système, et un sur le nas qui lui justement héberge les données de nextcloud. Donc le nas ne voit aucun fichiers de nextcloud, uniquement le vmdk de l'esxi.

:eek:, je suis trop fatiguer pour arriver à me faire comprendre en ce moment :D même moi je ne me suis plus
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
tant qu'il ne m'arrivera pas une couille, je le ferais pas
Le problème c'est que le jour où ça t'arrive, si tu as des données vraiment importantes, tu pleures... :-O
Il faut impérativement (si tu tiens à tes données) avoir une sauvegarde "locale" (plus "dynamique") et une sauvegarde distante (moins "dynamique" souvent).


Du coup tu as un partage sur FreeNAS pour que la VM puisse accéder aux données?
Quel type de partage?
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Quel type de partage?
Dans esxi, j'ai créé un datastore NFS qui pointe sur un partage nfs de freenas :cool:

Le problème c'est que le jour où ça t'arrive, si tu as des données vraiment importantes, tu pleures... :-O
Il faut impérativement (si tu tiens à tes données) avoir une sauvegarde "locale" (plus "dynamique") et une sauvegarde distante (moins "dynamique" souvent).
Je suis entrain d'y penser de plus en plus, actuellement, j'ai un serveur nextcloud chez online.net, sans raid, sans backup, sans filet de sécurité quoi ^^
juste mon PC sui est en synchro.

Donc j'ai pris une feuille et je fais des jolis dessins pour savoir comment je vais m'y prendre :rolleyes:
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Alors je te conseille aussi de te rencarder sur le partage NFS pour ESXi.
Je ne suis pas trop calé (plus par flemme qu'autre chose j'avoue) mais je ne suis pas sûr que ce soit le plus adapté.
De ce que j'en ai compris, stocker le fichier VDMK sur FreeNAS n'est pas le plus efficace (ou alors faut le partager en iSCSI avec d'autres contraintes que cela implique).

J'aurai tendance à penser qu'il serait plus intéressant de faire de la sorte:
Créer un dataset dans FreeNAS (pour les données NextCloud par exemple), faire un partage NFS sur ce dataset pour le monter ensuite dans la VM.

Serveur ESXi
- VM système

Serveur FreeNAS
- données (pour la VM) dans un partage NFS (et monté dans la VM système donc pas par le biais d'un fichier VMDK)


C'est en tout cas l'approche que j'aimerai adopter également (mais pour l'instant en test avec NextCloud et je ne suis pas passé en prod'... et pour le moment j'ai d'autres soucis que j'essaye de régler avant d'utiliser NextCloud... :-O).
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
je suis entrain de lire ça dans le même temps, car j'ai quelque probème avec nfs4.1 et esxi
Ouais "flemme" résume bien le sentiment quand je commence à lire tout ça! :-D
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Ha ouiiiii, effectivement je n'avais pas pensé a utiliser le partage NFS au sain même de la VM.

ça n'est pas des plus efficaces, mais sans outils de logs et autres preuves à l'appuis, j'ai quand même divisé par deux le temps d'une installation de windows 10 sur le partage NFS de freenas que celui de OMV :D

Quels sont tes problème sur nextcloud ? (oui oui on est partis en HS par rapport au sujet initial)
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
ça n'est pas des plus efficaces, [...] j'ai quand même divisé par deux le temps d'une installation de windows 10
Alors au final, si les performances te suffisent c'est sûr... pareil ici! :smile: (en tout cas pour une utilisation perso et sans un grand nombre d'utilisateurs)


J'ai pas de problèmes spécifiques avec NextCloud pour le moment (j'ai un peu galéré pour le partage NFS qui voulait pas fonctionner). Je l'ai testé en environnement de test mais je ne l'ai pas encore mis en prod.

Avant de le mettre en place, j'aimerai régler mon problème avec mon serveur de sauvegardes! (mais je avance très lentement et du coup ça bloque pour le reste tant que j'ai pas de sauvegardes fiables :tongue:)
 

visvic

Cadet
Joined
Oct 26, 2019
Messages
9
Avant de le mettre en place, j'aimerai régler mon problème avec mon serveur de sauvegardes! (mais je avance très lentement et du coup ça bloque pour le reste tant que j'ai pas de sauvegardes fiables :p)
Comme je suis assez nouveau sur freenas, je ne vais pas pouvoir beaucoup t'aider, j'ai vue que tu étais sur la version 9.10.2, pourquoi est-ce que tu ne tente pas les dernière versions/évolutions ? c'était mieux avant ?

En tout cas grand merci pour ton aide et discussion sur ce sujet, je ne manquerais pas de revenir vers toi si j'ai d'autres informations à demander ;)
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,523
Pour l'instant je reste en 9.10.2 car je n'ai pas besoin de changer.
Tout fonctionne plutôt bien, c'est super stable alors parfait. Je dis pas que la version 11 n'est pas stable hein.
C'est pas que c'était mieux avant c'est juste que pour le moment je n'ai pas de raison de changer un système qui tourne et qui est stable.
L'idée c'est de faire évoluer mon serveur de sauvegarde en premier puis ensuite celui de prod une fois que je me suis fait la main. Mais comme pour le moment mes sauvegardes ne sont pas fiables je vais pas en même temps changer de version... :smile:
 
Top