Instabilité transfert réseau GBe

[Ashka]

Bonjour à tous !

Je suis nouveau ici :)
Je viens vers vous car je suis en train de monter mon NAS sous TrueNas Core 13.
Je dit "en train de monter" car actuellement je n'ai qu'un seul volume: 3x 8To en RAIDZ1
par la suite j'ai encore 10x 12To en RAIDZ1 ou 2 a mettre.
A l'heure actuelle je suis très content du NAS mais je trouve le réseau instable lors de transferts de gros fichiers ou
ensemble de gros fichiers (30Go à 2To), ça copie bien à 110Mo/s env car je suis en Gigabyte Ethernet mais toutes
les 10 secondes y a des chutes a 0Ko/s qui durent 10 secondes aussi...
Je comprends pas d'où vient le soucis, c'est énervant car des fois j'ai même des erreurs réseau inattendues..
Je fais recommencé et ça repart mais bon je préfèrerai que ça fonctionne parfaitement.
Mon RAIDZ1 est en compression LZ4 et j'ai la déduplication d'activé car j'ai 96Go de Ram ECC dans le NAS.
Si vous avez une idée cela m'aiderai :)

Merci bien.

 

[Ashka]

j’oubliai voici un screen écran:

 

[Ericloewe]

Gigabyte Ethernet

Gigabit. C'est pas la même chose.

j'ai la déduplication d'activé car j'ai 96Go de Ram

Ça c'est un problème, peut-être pas le problème. L’expérience est typiquement misérable, même avec beaucoup de RAM. Essaye avec un nouveau dataset sans dedup.

 

[Ashka]

Merci à toi @Ericloewe je vais essayer

 

[Pitfrr]

Bonjour,

Tu ne spécifies pas le matériel utilisé donc ça n'aide pas tellement.
Par exemple, quel type de carte réseau tu as? Si c'est une realtek, alors tu as probablement une autre piste pour tes instabilités réseau en plus de la piste de déduplication mentionnée par @Ericloewe (après regarde aussi à l'autre bout ce qui est connecté, switch ou carte réseau du côté client).

 

[Heracles]

3x 8To en RAIDZ1

No Go ici : Raid-Z1 n'offre plus une protection pertinente aujourd'hui avec des disques aussi gros. Il faut aller avec des mirroirs, Raid-Z2 ou Raid-Z3.

10x 12To en RAIDZ1 ou 2 a mettre

Donc certainement pas en Raid-Z1. L'hésitation est plus entre 5x2 mirroirs, 1x10 Raid-Z2, 1x10 Raid-Z3 ou 2x5 Raid-Z2

Si tu veux faire du iSCSI ou des VMs, les mirroirs aideront en augmentant de beaucoup la capacité d'IOPS.

j'ai la déduplication d'activé

No-Go : la déduplication est très peu efficace en général et même dans les cas où elle deviendrait efficace, d'autres mécanismes le sont encore plus. À désactiver et à ne pas utiliser.

Aussi, il te faudra penser à tes sauvegardes. Aucun serveur seul, TrueNAS ou autre, ne peut être plus qu'un point de défaillance critique (Single Point of Failure). Il te faudra des sauvegardes de tes données et il vaudrait mieux planifier cette capacité de sauvegarde tout de suite. Pour un plan de sauvegarde complet, tu veux voir ma signature.

Bonne chance avec ton nouvel environnement,

 

[Ashka]

Bonjour,

Tu ne spécifies pas le matériel utilisé donc ça n'aide pas tellement.
Par exemple, quel type de carte réseau tu as? Si c'est une realtek, alors tu as probablement une autre piste pour tes instabilités réseau en plus de la piste de déduplication mentionnée par @Ericloewe (après regarde aussi à l'autre bout ce qui est connecté, switch ou carte réseau du côté client).

effectivement désolé alors le matos:

2x Xeon X5650 24Threads 2.66Ghz
12x 8Go 1333Mhz ECC (marque je ne sais pas j’ai pas regardé mais en principe c'est de la ram de bonne facture)
3x 8To Seagate RedWolf NAS
carte mere: Tyan S7012
LAN: 2x Intel 82574L et 2x Intel 82576EB
Alim Corsair 1000W
Switch Netgear GS605

No Go ici : Raid-Z1 n'offre plus une protection pertinente aujourd'hui avec des disques aussi gros. Il faut aller avec des mirroirs, Raid-Z2 ou Raid-Z3.



Donc certainement pas en Raid-Z1. L'hésitation est plus entre 5x2 mirroirs, 1x10 Raid-Z2, 1x10 Raid-Z3 ou 2x5 Raid-Z2

Si tu veux faire du iSCSI ou des VMs, les mirroirs aideront en augmentant de beaucoup la capacité d'IOPS.



No-Go : la déduplication est très peu efficace en général et même dans les cas où elle deviendrait efficace, d'autres mécanismes le sont encore plus. À désactiver et à ne pas utiliser.

Aussi, il te faudra penser à tes sauvegardes. Aucun serveur seul, TrueNAS ou autre, ne peut être plus qu'un point de défaillance critique (Single Point of Failure). Il te faudra des sauvegardes de tes données et il vaudrait mieux planifier cette capacité de sauvegarde tout de suite. Pour un plan de sauvegarde complet, tu veux voir ma signature.

Bonne chance avec ton nouvel environnement,

merci de tes réponses @Pitfrr : Ah le Raid Z1 suffit pas ? je doute quand même 2 disques tombent en panne en même temps cela ne m'est jamais arrivé et c'est surtout que le 4eme disques n’était pas dispo donc j'ai fait ma grappe avec 3 disques seulement, et je ne me revois pas tout sauver pour refaire une grappe, il m'a fallut 3 jours de transfert pour env 5To de donné et j'ai encore le triple a faire T-T Je pense donc faire mon 10*12To en RAIDZ2 cela irait ? car je veux pas perdre trop de capacité non plus.

Alors pour la déduplication @Ericloewe avait raison je pense je viens de transférer un dossier de 200Go et pas de baisse à 0Ko/s :) stable entre 95 et 115Mo/s

Pour ce qui est de la sauvegarde je me voit pas faire un 2eme Nas de 120To (capacité réelle) à refaire, cela ma couté une fortune pour le 1er lol je suis qu'un particulier certes je gagne bien ma vie mais c'est pas une raison..

Sinon je peu désactiver la déduplication sur les autre Datasets ? ça endommagera pas les données ?

Merci à tous :)

 

[Ashka]

je me suis trompé 3x 8To Seagate Baracuda et 10*12To Seagate Redwolf NAS

dsl je sais pas comment on edit les posts je n'ai aps d'option pour... ?

 

[Ashka]

a quoi correspond tes RAIDS @Heracles
5x2 mirroirs, 1x10 Raid-Z2, 1x10 Raid-Z3 ou 2x5 Raid-Z2

TrueNas me propose que Stripe, Mirror, RaidZ1 (avec mes 3 disques) mais pas de 1x quelque chose ou 2x5

 

[Heracles]

Ah le Raid Z1 suffit pas ?

Non, cela ne suffit pas. Pour tes 10 disques de 12 TB par exemple : quand un disque brisera, tu te retrouveras sans la moindre protection. Cette réalité durera jusqu'à ce que le disque soit remplacé. Si tu n'as pas déjà un disque dur prêt et testé, ça peut dire des jours / des semaines avant de le remplacer. Puisque tous tes disques sont exposés aux mêmes conditions, ils auront tendance à briser dans un laps de temps plutôt court.

Autre problème : quand viendra le temps de remplacer le disque dur, ton système devra lire 9x 12 TB pour ce. C'est donc 108 TB qui doivent être lus. Une telle charge en soit pourrait bien pousser un des disques restant au-delà de sa limite. Pire encore, il faudra que ces 108 TB de données soient lus sans la moindre erreur où que ce soit car il n'y aura plus de redondance pour détecter / corriger une éventuelle erreur. Tous les disques durs, les bus systèmes et autres génèrent un taux d'erreur minimal. Mais même si le taux est minimal, sur un volume aussi gros que 108TB, il est presque certain que cela se produira.

Ainsi, pour réduire les délais, il faut que tu aies déjà le disque de remplacement. Pour éviter de relire toutes tes données d'un coup sans capacité de détection d'erreur, il faut que ce disque soit tenu à jour avec les données requises pour remplacer n'importe quel autre disque. Ainsi, un disque de plus, déjà en ligne et prêt pour remplacer n'importe quel autre disque, c'est exactement ce qu'est Raid-Z2.

En général, on considère que Raid-Z1 ne protège plus au-delà de 1TB.

Je pense donc faire mon 10*12To en RAIDZ2 cela irait ? car je veux pas perdre trop de capacité non plus

Ce serait un minimum. 10 disques, c'est plus souvent Raid-Z3. Pense aussi que plus tu as un grand nombre de disque, plus tu as un grand nombre d'éléments susceptibles de briser, donc plus tu auras de bris.

Raid-Z1 est No-Go ; Raid-Z2 offrira une protection mince mais réelle ; 10 disques justifierait Raid-Z3 pour une protection locale solide.

Pour ce qui est de la sauvegarde je me voit pas faire un 2eme Nas de 120To (capacité réelle) à refaire, cela ma couté une fortune pour le 1er lol je suis qu'un particulier certes je gagne bien ma vie mais c'est pas une raison..

Ton seul et unique serveur sera détruit par le feu, le vol ou autres menaces physiques.

Tes données seront détruites par une seule erreur humaine, une seule intrusion ou autres menaces logiques.

Ainsi, tes données ne tiendront qu'à un fil si elles n'existent qu'en une seule instance. S'il est bien configuré et bien conçu, ton serveur ne causera qu'un minimum de risques supplémentaires mais plusieurs risques existent au-delà du serveur.

À toi de voir si tu es prêt à perdre tes données ou non face à ces risques...

 

[Ashka]

Merci @Heracles je pense que je partirais sur un RaidZ2 alors vu que le Nas tournera pas H24 et non plus 7j / 7

pour le reseau c'est bon en desactivant la duplication ca a l'air d'aller je n'ai plus d'instabilité réseau sauf vraiment sur la copie des petits fichiers genre 25000 fichiers de quelques kilo ou méga de temps en temps j'ai des erreurs réseau..

 

[Heracles]

vu que le Nas tournera pas H24 et non plus 7j / 7

Oups... Autre No-Go ici...

Le meilleur moyen de protéger les disques durs et assurer leur longévité est de s'assurer qu'ils restent chaud en tout temps. Les arrêts - redémarrages vont les tuer mille fois plus vite. Le pire, c'est la fonction d'économie d'énergie qui arrête les disques et le relance au besoin. Puisque TrueNAS fonctionne en tout temps, ils sont relancés ainsi des dizaines de fois par jour et vont briser en moins d'un an.

Sinon je peu désactiver la déduplication sur les autre Datasets ? ça endommagera pas les données ?

J'ai oublié de répondre à celle-là.... Désactiver la déduplication ne fera rien du tout. Celle ne fera que cesser d'ajouter aux données déjà dédupliquées mais ce qui a été dédupliqué restera dans cet état. Pour que les données reviennent à leur état "entier", il faut les ré-écrire. Ainsi, pour supprimer la dédup, il faut créer un nouveau dataset sans déduplication et y déplacer toutes tes données.

 

[Ashka]

Merci pour toutes ses précisions @Heracles

 

[Ashka]

@Heracles dis j'ai un disque de 8To en rab un 4eme, je peu créer un volume HOT SPART ? comme ça un disque est déjà prêt si il y a une panne ?

 

[Heracles]

Raid-Z1 + Hotspare est loin d'être équivalent à Raid-Z2... J'ai écrit un post ici sur le sujet (en anglais...)

 

[Ashka]

@Heracles ok merci je pensais qu'un hot spare etait un disque qui prendrait la place du disque defectueux dans la grappe et qu'ensuite on enlevait le disque defectueux et le remplacait de nouveau par un Hot spare en attente pour un futur disque HS.

 

[Ashka]

Bon alors nickel plus d'instabilité réseau c’était bien la duplication qui posait problème :)

Merci a tous !

 

[Ashka]

@Heracles je vois que tu as un serveur nommé Atlas c'est pas intentionnel mais j'ai appelé le mien aussi comme ça lol

 

[Heracles]

Oui, j'ai baptisé mes serveurs en suivant la mythologie... J'ai un cloud privé et Atlas est celui qui en porte le contenu sur ses épaules

Pour ce qui est du Hot Spare :

je pensais qu'un hot spare etait un disque qui prendrait la place du disque defectueux dans la grappe et qu'ensuite on enlevait le disque defectueux et le remplacait de nouveau par un Hot spare en attente pour un futur disque HS.

Oui, c'est exactement cela. Par contre, en tant que hot spare, il est déployé mais "vide". Quand un disque brise, il doit être ajusté pour remplacer le disque perdu. Cette étape demande du temps, du temps pendant lequel tu n'as plus de protection. L'étape exigera aussi de lire tous les autres disques, ce qui représentera une charge importante et pouvant causer d'autres bris. Finalement, cette lecture devra être parfaite et sans la moindre erreur car n'ayant plus de redondance active, il n'y a plus de moyens pour détecter et corriger ces erreurs. Ainsi la protection offerte est beaucoup moins bonne que celle d'un disque "actif" comme dans un Raid-Z2 qui lui sera toujours prêt pour remplacer n'importe quel disque qui brisera.

 

[Ashka]

D'accord merci @Heracles bon je mettrais un SPARE pour les 3x 8To puis pour l'autre grappe je ferais un 10* 12To Z3 ;)