Iscsi sur Ethernet 10Gb : Postes sans disque -> viable ?

Joined
May 25, 2019
Messages
5
Bonjour à tous,

J'aurais besoin de vos observations et surtout de vos expériences autour du iscsi, ses possibilités et son utilisation pour un usage quotidien au sein d'une famille ( avec 5 ados...!) et pour un travailleur à domicile.

Je suis en train de refaire tout le câblage de notre maison avec du cat6a susceptible de nous permettre de bénéficier d'un débit max de 10Gb.
Nous avons aujourd'hui 7 ordinateurs. Sur ces ordinateurs nous avons un volume total de données effectivement présentes de 30To et qui augmente d'environ 1,5 à 2 To par an.
87% de ces données doivent être partagées et accessibles à tous, mais disséminées de manière aléatoire et anarchique sur les différents postes.

Comme vous l'avez compris, il y a besoin et urgence d'organiser tout ça : de construire une architecture réseau un peu plus actuelle et correspondante à nos besoins, mettre en place une vrai politique de sauvegarde centralisée, créer de "vrais" serveurs : pour la domotique (prévoir nos cam de surveillances), la musique, nos vidéos, nos dépôts miroirs locaux pour Débian et Ubuntu, un 2ème NAS pour les sauvegardes et autres snapshots (du premier NAS et des machines réseaux), se débarrasser ou remplacer tous nos disques vieillissants et à bout de force installés depuis trop lontemps sur nos ordinateurs tout comme nos innombrables clef usb et disques dur externes qui nous servent de "sauvegardes" et qui n'en peuvent plus de tomber par terre... (exemples parmi tant d'autres...!!).

Maintenant que je vous ai décrit la scène, voici ma question :

Serait-il judicieux de mettre dans chaque ordinateur actuel un seul petit disque SSD pour l'OS et utiliser l'ISCSI pour la partie "données" personnelles (certaines pouvant être partagées d'autres non) qui serait sur le NAS ? Naturellement, cela signifie de dédier un réseau à part pour le Iscsi et de laisser le NAS allumé 24/7. Pour ce qui est du NAS et uniquement dédié au ISCSI, j'envisage si il le faut en fonction des perf, soit 2 ports 10Gb ou 1Gb agrégés soit 4 ports 10 Gb ou 1Gb agrégés par paire. Une paire pour le flux montant et l'autre pour le flux descendant.

Ce qui m'inquiète c'est l'aspect "temps d'accès" aux données. Pour ce qui est des 7 postes de travail, est ce que comparé à un disque local, cela va réellement se voir ou pas avec une connexion 1 Gb ? avec du 10 Gb ?

Ensuite, je me pose la même question pour les serveurs. J'envisage de faire de la virtualisation avec PROXMOX. Mettre en local plusieurs SSD en miroir (temps d’accès plus rapide) pour PROMOX et les OS de chaque serveur, et utiliser le ISCSI pour permettre à chaque serveur de servir les données qui seront stockées sur le NAS, lui même installé la même baie. Est ce que le temps d'accès aux données sera réellement impacté en ISCSI de manière non négligeable, comparer à une solution de disques HDD classiques physiquement installés "dans" PROXMOX ? Je n'ai aucune idée encore du nombre de ports réseau dédiés au ISCSI.
D'autant que certains serveurs risquent d'avoir des besoins conséquents, comme par exemple le serveur vidéos ou de musiques, l'enregistreur des caméras de surveillances. Pour la partie domotique, j'envisage du coup d'utiliser le ISCSI avec mes Raspberry (port réseau 100Mbit grand max), mais cette fois-ci non seulement pour les données mais aussi pour l'OS.

D'autre part, quitte à dépenser de l'argent pour un NAS, autant y mettre ce qu'il faut, mais alors inutile de dépenser encore plus pour des disques à mettre dans chaque poste de travail et qui ne seraient pas absolument nécessaires.

Si j'ai bien compris le fonctionnement de ISCSI, il s'agit d'un accès distant à une unité de stockage physique, vue comme une ressource local. Donc cela ne permet pas de partager des données. Du coup, pour le partage je pense utiliser le NFS qui fonctionnerait bien mieux et de manière plus fluide qu'avec SAMBA.

Je remercie par avance tout ceux qui auront pris le temps de lire et de comprendre ce long post, et qui partageront leur expérience et connaissance sur ce projet.
 
Last edited:

Heracles

Wizard
Joined
Feb 2, 2018
Messages
1,401
Bonjour,

Il y a milles choses à vérifier avant de pouvoir répondre à tes questions : budget, matériel existant, besoin d'accès à distance, etc.

Selon ce que tu as dis, iSCSI est impensable pour plusieurs raisons : latence, aucun port dédié, peu de mise en commun de l'espace disque entre plusieurs utilisateurs... iSCSI exige aussi un maximum d'IOPS, donc Raid-10 et sur un aussi grand nombre de disques que possible.

En matière de protection, il ne faut pas oublier que si les deux NAS sont sur le même site, un seul sinistre physique comme le feu détruira tout. Il faut une sauvegarde hors site, comme mon NAS de DR qui est déployé chez mon père à plus de 400 Km de distance et synchronisé via VPN.

Est-ce que les utilisateurs ont vraiment besoin d'accéder les données à titre de fichiers ou s'il ne serait pas préférable de déployer des services comme Nextcloud, Emby ou Plex pour qu'ils accèdent le contenu via une interface sans accéder directement les fichiers ?

Avec des informations sur le matériel et les budgets, il sera possible d'aller plus loin...
 
Joined
May 25, 2019
Messages
5
Bonjour Heracles et merci pour ta participation.

Il y a milles choses à vérifier avant de pouvoir répondre à tes questions : budget, matériel existant, besoin d'accès à distance, etc.

Le budget n'est pas défini mais bien évidemment j'espère éviter un dérapage sévère. Cependant n'ayant jamais eu à faire du iscsi, je ne sais pas où cela peut RAISONNABLEMENT nous mener. C'est aussi l'objet de mon post. Il me semble qu'avec un réseau câblé en 10Gb, il me semble que cela constitue déjà un bon point de départ. Certaines entreprises ne bénéficiant pas encore d'un tel réseau local. A priori, car je sais parfaitement que certains besoins évoluent avec les possibilités, nous ne recherchons pas du tout un accès depuis l'extérieur. Notre seule préoccupation aujourd'hui c'est la disponibilité et une simple circulation des données entre nous. Pour le côté matériel, mis à part nos postes de travail constitués soit d'ordinateurs portables soit de postes fixes, il y a tout à créer, y compris les serveurs (Je compte beaucoup sur les prochains microprocesseurs d'AMD...). Comme je l'ai indiqué, je compte également en profiter pour changer tous les disques dur de la maison qui ont bien mérité une retraite.

Selon ce que tu as dis, iSCSI est impensable pour plusieurs raisons : latence, aucun port dédié, peu de mise en commun de l'espace disque entre plusieurs utilisateurs... iSCSI exige aussi un maximum d'IOPS, donc Raid-10 et sur un aussi grand nombre de disques que possible.

En fait, concernant les port dédiés, j'avais déjà indiqué que les ports seraient dédiés tout comme la partie du réseau (Vlan certainement) sur lequel circuleront les trames/requêtes Iscsi. En effet, je sais qu'il est plus que recommandé d'avoir une infra dédiés dans un tel cas de figure. Pour ce qui est de l'espace disque entre utilisateur, peut être n'ai-je pas été assez clair. Je souhaiterais que sur chacune des machines utilisées par les utilisateurs, il n'y ai qu'un petit disque SSD uniquement dédié pour l'OS. L'espace privé serait "déplacé" sur le NAS en accès iscsi. J'entends par espace privé le dossier " /home/"utilisateur" pour ce qui est de Linux et de "/Users/"utilisateur" " pour Windows (de mémoire car nous n'en avons pas). Pour ce qui est de l'espace commun/partagé à tous sur le NAS, il serait alors accessible par le réseau en NFS.
Tu évoque la problématique de la latence. Mais c'est en fait un petit peu l'objet de mon post. Car, je n'ai jamais travaillé avec du Iscsi. Je n'ai donc absolument aucune idée quand à savoir ce que cela donne concretement dans la pratique au quotidien. Tu parle de Raid-10. C'est un point de détail que j'ai oublié d'évoqué. Si j'ai choisi FreeNas pour ce projet c'est parce que je souhaite bénéficier du système de fichier ZFS. J'envisage 1 ou 2 Vdev dont la capacité total "pourrait" être de 3 à 4 fois l'espace occupé aujourd'hui et en RaidZ3. Je crois savoir qu'il est recommandé de ne pas dépasser 80% d'espace utilisé pour du partage "traditionnel" et 50% pour du iscsi.

En matière de protection, il ne faut pas oublier que si les deux NAS sont sur le même site, un seul sinistre physique comme le feu détruira tout. Il faut une sauvegarde hors site, comme mon NAS de DR qui est déployé chez mon père à plus de 400 Km de distance et synchronisé via VPN.

Tu as parfaitement raison. Je ne me suis pas plus étendu sur ce point car cela ne faisait pas parti du sujet principal du post. J'ai effectivement la chance de pouvoir disposer d'un site géographiquement éloigné pour pouvoir y placer mes sauvegardes quotidiennes.

Est-ce que les utilisateurs ont vraiment besoin d'accéder les données à titre de fichiers ou s'il ne serait pas préférable de déployer des services comme Nextcloud, Emby ou Plex pour qu'ils accèdent le contenu via une interface sans accéder directement les fichiers ?

Comme je l'ai indiqué pour les musiques, vidéos et images l'ensemble sera diffusé par Plex. Mais si je décide d'installer Plex sur un serveur virtualisé à part du NAS, est ce que le fait qu'il aille diffuser ces contenus en allant les récupérer sur le NAS avec une connexion iscsi, cela va poser un trés gros problème concernant la latence induit par le iscsi ? Sinon, chacun pourra ajouter de nouveaux fichiers en les déposant dans le dossier adéquat partagé sur le NAS accessible lui, par NFS, à partir des postes de travail du réseau. Nous avons d'autres types de fichiers que nous mettons en commun comme par exemple : des cours et tutos, des livres et magasines, des exposées - thèses et autres rapports en tout genre, des développements et des scripts. Tous ces fichiers sont quasiment tous au format : PDF, ODS (tableur), ODT (traitement de texte). Je n'avais pas forcément retenu la solution Nextcloud car ces/nos documents n'ont pas vocation à être accessibles en dehors de notre réseau local, cela ajouterait donc une "couche" supplémentaire à FreeNas qui, je pense, ne nous apporterait pas de réel plus-value.

J'espère que ces compléments d'informations vous permettront d'y voir un peu plus clair. Cependant, je suis désolé de ne pas être mesure de vous communiquer un budget, aussi estimatif puisse t il être. Car, comme vous l'avez compris je n'ai aucune connaissance sur le iscsi et c'est pour cela que je fais appel à vous. Pour m'aider à déterminer la faisabilité du projet. Je suis pleinement conscient que le coût est lié aux performances attendues. Notre réseau aujourd'hui est, pour faire simple, inexistant. Il y a tout à faire. Pour ce qui est du câblage il reste encore une 15aine de jours de travail.

Merci votre aide.
 
Last edited:

Heracles

Wizard
Joined
Feb 2, 2018
Messages
1,401
Re-bonjour,

Ne pas avoir de budget n'est pas un bon point de départ... Qu'est-ce qui est raisonnable ? On va perdre notre temps sans au moins une échelle de grandeur...

Concernant RaidZ, à nouveau, c'est à oublier! iSCSI a besoin de IOPS et seulement le Raid10 pourra offrir la performance voulue pour ça. FreeNAS n'as pas de nom RaidZ-ABC pour désigner le Raid-10, mais il peut certainement en faire. Tu crées une multitude de vDev de type miroir et tu les groupes dans un seul pool. Voilà un Raid-10 en ZFS géré par FreeNAS...

Pour la question des liens dédiés, tu sembles confondre bande passante et latence. Un lien 10Gb ne pourra jamais transporter plus que 1 paquet à la fois. 4 liens 1 Gb pourront transporter 4 paquets à la fois. Puisque les paquets iSCSI sont minuscules, 4x 1 G fera mieux que 1x 10 Gb. Un minimum de deux liens dédiés par système, fois 6 systèmes, il te faut déjà 12 interfaces et 12 câbles juste pour ton iSCSI. Ajoute au moins un lien IP pour gérer le FreeNAS et accéder ses autres services IP et il te faudra rapidement 4 cartes Quad...

Concernant la distribution par Plex ou Nextcloud, le but de ces outils est d'avoir les données centralisées, donc certainement pas sur du iSCSI... Tu créés un dataset dans lequel tu places ta musique, ce dataset est partagé en NFS pour que les utilisateurs le remplissent, mais quand vient le temps de jouer la musique, les utilisateurs n'ouvrent pas les fichiers depuis NFS mais plutôt avec l'interface Plex.

Ainsi, je te recommande de ne plus travailler sur la solution et de définir le besoin :
--Décommissionner les disques durs et clés USB qui trainent partout
--Postes clients légers
--Sauvegarde hors-site
--Matériel existant : A, B, C
--Budget disponible
--Diffusion du contenu multimédia
--...

Ne parle pas de iSCSI ou autres technologies ici. Il faut définir le problème, les contraintes, les besoins et autres avant de penser à la solution. Surtout que depuis ce que tu as exprimé, ta solution envisagée, iSCSI, sera fort probablement à écarter...
 
Joined
May 25, 2019
Messages
5
Bonjour Héracles,

Je profite de ce jour férié pour enfin te répondre. Mais ce délai m'a permis d'essayé de comprendre et d'intégrer tes observations. Mais aussi, de continuer d'en apprendre un peu plus sur le iscsi. Cependant lire des dizaines d'articles pour acquerir un peu de théorie sur un sujet qui m'est inconnu à pour conséquence de ne pas être en mesure de prendre du recul et de faire le trie des informations car justement je n'ai aucune connaissance et expérience !

Pour aller à l'essentiel et résumer en quelques mots ta façon de voir les choses je comprends que tu me dis " il vaut mieux un NFS optimisé, voire même avec des trames jumbos judicieusement calibrées, plutôt que du iscsi trop à l'étroit et trop lowcost."
En termes un peu plus économique, le rapport bénéfice/investissement ne pencherait pas, pour notre cas, en faveur du iscsi.

Pour ce qui est du budget concernant FreeNas uniquement, je pensais attribuer en enveloppe d'environ 2700 à 3000€. Cependant c'était sans compter la création du réseau dédier à part, pour le iscsi (câbles, cartes réseau supplémentaires, switch...)

De plus, faut il encore avoir de la place dans les machines pour ajouter une carte réseau supplémentaire (bi ou quad ports). Pour les postes fixes ça ne devrait pas trop poser de problèmes, mais pour ce qui est de la machine PROXMOX ça risque de coincer.
Car en fonction du nombres de serveurs VM installés, il va rapidement falloir 3 à 4 cartes quad ports, sans compter 2 à 3 autres cartes PCI qui me seront absolument nécessaires. Naturellement je ne parle pas ici de carte graphique ! Je ne suis pas certain que des cartes mères intégrant au moins 7 emplacements PCI soit si facile que ça à trouver. A ma connaissance, sauf erreur de ma part car je suis très très loin de tout connaitre, il me semble qu'il n'est pas possible d'ajouter des ports PCI à une carte mère... N'est ce pas ? ou je me trompe ?

Voilà, où j'en suis de mes réflexions, mais je continue. Ce qui est intéressant, c'est que cela va beaucoup m'apprendre....
 

Heracles

Wizard
Joined
Feb 2, 2018
Messages
1,401
Bonjour Christophe,

Avec un budget comme celui-là, c'est un autre clou dans le cercueil de iSCSI.

iSCSI et NFS sont fondamentalement différents. NFS présente des fichiers et quand FreeNAS manipule des fichiers, il fait un maximum d'efforts pour écrire ceux-ci sur une plage continue. Ainsi, les disques se synchronisent une fois au point de départ du fichier et peuvent lire ensuite tout le fichier d'un coup. C'est un accès que l'on dit séquentiel : il accède une séquence continue de bloc.

iSCSI présente un amas de blocs à utiliser librement selon le choix du système d'exploitation qui les utilisera. Ainsi, FreeNAS ne peut savoir qu'est-ce qui constitue un tout comme un fichier. Le résultat est que iSCSI doit aller lire un peu n'importe quoi un peu partout. C'est un accès que l'on dit aléatoire : il accède à tout au hasard de l'espace attribué.

Si tu es sur RaidZ, les accès séquentiels sont performants alors que les accès aléatoires sont lents. Une fois les disques en position, il est rapide de lire une longue séquence. Par contre, chaque déplacement demande de re-positionner tous les disques, ce qui est long. Aussi, une même série de bloc est distribuée sur tous les disques, donc tous doivent travailler à répondre à chaque requête (ou presque).

Si tu es Raid-10, les accès aléatoires sont plus performants. En effet, toutes les données sont écrites directement sur deux disques. Ainsi, pendant qu'un disque synchronise pour aller lire un bloc, l'autre disque du même miroir peut se synchroniser pour aller lire un deuxième bloc. L'accès étant aléatoire, il est fort probable que le 3ème bloc voulu soit sur un autre miroir encore, donc FreeNAS peut aller le chercher tout de suite lui aussi. Le temps requis pour synchroniser 1 fois permet de lire 3 blocs et même plus.

C'est pour cela que si tu as besoin de lire des fichiers en continu comme des MP3, des films ou similaire, RaidZ sera plus performant. Par contre, si tu veux distribuer du iSCSI, il te faudra du Raid-10.

Pour construire un Raid-10, il faut planifier les disques en conséquences. 1 seul miroir n'ira pas loin. 2 n'est pas beaucoup mieux. 3 commence à offrir un peu de parallélisme. 4 et plus, tu entres dans du sérieux. Ainsi, cela signifie 8 disques, offrant l'espace utile de 4. En considérant qu'il n'est pas bon de remplir un pool au-delà de 50%, il te faut donc 8 disques dont la taille individuelle de chacun est d'au moins 50% du volume de données que tu veux manipuler.

Puisqu'il est beaucoup plus facile de déployer l'espace requis au début que d'ajouter en milieu de vie, il te faudrait planifier plus de 4 paires de miroir et des miroirs avec des disques encore plus gros.

Ajoute à cela le câblage dédié et les cartes réseau dédiées et ton budget disparaît rapidement en fumée.

Ainsi, pour ton budget, je crois qu'un serveur avec un Pool en RaidZ2 coûtera moins cher en disque. Par contre, il ne pourra offrir iSCSI.
Plutôt que transférer les fichiers par NFS en permanence pour tout, il est plus efficace d'offrir les services depuis le serveur centralisé. Ainsi, Plex, Nextcloud et autres constitueraient de meilleures interfaces clients que NFS. Ces services sont plus complexes à configurer et gérer correctement, donc NFS pourrait rester une option plus simple.

En espérant que cela t'aidera à mieux comprendre iSCSI, ses impacts, ses besoins et autres,
 
Joined
May 25, 2019
Messages
5
Bonjour Heracles,

Je te suis très reconnaissant pour toutes tes observations. Cela m'a permis d'être conforté sur ma bonne compréhension de ces 2 protocoles et d'être sensibilisé à certains détails qui comme tous les détails font toutes la différences...

Je vais donc laisser de côté le iscsi ce qui me permettra de bénéficier des niveaux de redondance offertent par ZFS.

je pense qu'il est probable que j'utilise le NFS (sous réserve de la complexité des partages à mettre en oeuvre car ce qui m'ennuie un petit peu c'est que les autorisations d'accès ne se font qu'en fonction de l'IP de la machine requérante, c'est un peu du tout ou rien), tout en installant des services comme "Plex" ou "Owncloud".

Du coup, si tu me le permets, j'en reviens à une de mes préoccupations initiales. Je souhaiterais construire notre NAS et, aussi saugrenu que cela puisse paraitre, lui demander de ne faire que du travail de NAS. Donc, je souhaite construire une 2ème machine qui aura pour fonction d' héberger des VM de tous ces services annexes comme Plex pour la partie multimedia, Owncloud, système domotique, surveillance vidéo (NVR), un simple partage pour notre librairie (pdf et autres écrits), ... dont les données seront sur la NAS.

Pense tu qu'il n y aura pas trop de latence, de délai pour accéder à ces données, si entre le serveur et le NAS je prévois un 2 liens de 10GB ?

Merci
 
Last edited:

Heracles

Wizard
Joined
Feb 2, 2018
Messages
1,401
Re-bonjour,

Pour le NFS, tu n'as pas à t'inquiéter : les permissions sont les mêmes que dans ton système de fichiers local. Si tu écrases les ID utilisateurs sur le serveur, dans ce cas Oui, tout le monde devient le même identifiant. Par contre, tu devrais seulement écraser l'ID du Root mais pas ceux des utilisateurs. Fais des recherches sur "NFS squash all users vs squash root"

Une façon de faire est la suivante :
Dans FreeNAS, tu crées les comptes de tous et chacun, partant du UID 1000 jusqu'à 1010 (par exemple....).
Dans les Unix locaux de chacun, tu crées encore ces comptes, dans le même ordre, avec eux aussi les mêmes UID de 1000 à 1010.
Dans FreeNAS, tu crées un dataset pour les utilisateurs : Users. Son chemin d'accès est donc /mnt/pool/Users
Sous Users, tu crées un répertoire par utilisateur et tu attribues les permissions requises :

mkdir /mnt/pool/Users/UserAlpha
chown UserAlpha /mnt/pool/Users/UserAlpha

Ajuste les groupes aussi, selon ce que tu souhaites.

Ensuite, tu partages /mnt/pool/Users par NFS pour tout le monde.
Chacun peut ensuite monter le répertoire et accéder ses petits ognions sans toucher aux autres.

Concernant la virtualisation à l'extérieur de FreeNAS, c'est certainement une option. Puisque ces outils accéderont des fichiers, un pool en RaidZ2 sera parfait pour eux et tu ne devrais pas avoir de lenteurs dûes au pool ou au réseau. À toi de t'assurer que tu ne manqueras pas de RAM, de CPU, etc.

Bonne chance dans ton projet,
 

tngri

Dabbler
Joined
Jun 7, 2017
Messages
39
Salution !

Très intéressant ce topic et merci @Heracles pour ces précisions !

Je redondis sur le sujet car je me suis souvent posé la question de la pertinence et de la viabilité du SAN pour réaliser un rêve
J'aimerai que tu me dises ce que tu en pense.

Besoin, ou plutôt fantasme : consolider le stockage d'une machine type station de travail / power user sur un SAN.
En gros dédier entièrement un Freenas pour un Poste Client, pour un grande flexibilité, capacité, performances etc.

Je crois qu'on peut parler d'un Backend ZFS pour une unique Station de Travail.
Le rêve est de ne plus se poser de question : j'ai un gros disque sur lequel j'installe l'ensemble de mes fichiers de travail, mediatheque (locales donc). Je précise que je fais pas mal de travail 3D temps réel mais aussi de la compilation c++, unreal engine, blender, ... edition vidéos vont devenir fréquentes, et aussi du gaming/simulateur.

Est ce que j'aurai quelque de pertinenant au terme de latence et performance si je relie le PC au Freenas directement avec des cables croisés (eth10), le SAN sera donc posé à côté du poste client.


en sachant que côté NAS j'ai un Atom 8 cores (ASRock Rack C2750D4I ) 32GiO de RAM (au 'max'), 8x3TiO en HDD WD RED 5400rpm.

L'aure option serait de faire cela localement sur le PC en mettant en place une "RAID10" via windows space storage mais je perd les avantages du ZFS et surtout j'ai peur que ça plombe trop les performances (CPU/BUS).

Je pers mon temps à chercher ce genre de sulotion via SAN/iSCSI/ZFS ou tu tu penses que j'ai quelque chose à faire ?

Merci !
 

Heracles

Wizard
Joined
Feb 2, 2018
Messages
1,401
Bonjour,

En toute sincérité, je pense que Oui, tu perds ton temps ici...

1-La performance du réseau

Normalement, pour du iSCSI, il faut au moins 2 cartes réseaux 1Gig dédiées en parallèle. Ici, tu parles d'une seule carte 10Mbits (j'espère que tu te trompes et que tu veux parler au moins d'une carte 100Mbits...)

2-Le concept d'un stockage par bloc à distance

iSCSI et SAN offrent tous les deux d'accéder à un stockage de type "bloc" à distance. Ainsi, ils simulent un disque dur et c'est au client à le formatter et l'utiliser. Pour utiliser ce stockage, il faut un client. Dans le cas du SAN, ce sont des cartes fibres optiques et le bios des serveurs est capable de démarrer sur le disque virtuel présenté par ces cartes. Ici, sur iSCSI, ce ne sera pas le cas. Ainsi, il faudra toujours un disque local dans le poste de travail pour démarrer et rejoindre le disque de données.

3-La latence et la robustesse

La bande passante est une chose. La latence en est une autre. Aussi, perdre la connectivité revient à débrancher d'un coup le disque dur en question. Ainsi, pour iSCSI, il faut plusieurs cartes et connexions en parallèle, autant pour transférer plusieurs paquets à la fois que pour assurer la disponibilité via un lien si l'autre lien tombe.

Ainsi, il te faudrait un poste de travail avec au moins 3 cartes réseaux 1 Gig : une pour le réseau normal et 2 pour le iSCSI. Il en faudrait aussi au moins 3 dans le NAS, pour les mêmes fonctions.

Une option serait de déployer un FreeNAS et partager les fichiers par Samba. Sur ton poste de travail, tu copies localement les fichiers que tu travailles ce jour-là. Pendant la journée, tu travailles la copie locale et à la fin de la journée, tu sauvegardes à nouveau le fichier dans le serveur. Ainsi, tu n'as besoin que d'un minimum en local et le gros du stockage est sur ZFS. C'est beaucoup de manipulation par contre.

En matière de sauvegarde, ce ne serait pas non plus fantastique. Un seul sinistre physique comme un feu ou une surtension pourrait détruire les deux ordinateurs car ils sont physiquement ensemble. Pour protéger tes données, il te faudrait une copie hors site.

Des disques SSD locaux, un poste de travail plus puissant muni de sa propre carte Raid ou encore une infrastructure complète d'entreprise avec les switchs, serveurs et câbles appropriés seraient les pistes de solutions, de la moins coûteuse à la plus coûteuse.

En espérant que cela t'aidera à imaginer une solution à ton goût,
 

tngri

Dabbler
Joined
Jun 7, 2017
Messages
39
Salut et un grand merci à l'attention que tu as porté à mon message

Bonjour,

En toute sincérité, je pense que Oui, tu perds ton temps ici...

1-La performance du réseau

Normalement, pour du iSCSI, il faut au moins 2 cartes réseaux 1Gig dédiées en parallèle. Ici, tu parles d'une seule carte 10Mbits (j'espère que tu te trompes et que tu veux parler au moins d'une carte 100Mbits...)
Certainement pas ^^ !!!! quand j'ai mis eth10 je parlais de coller deux NIC en 10Gib en parralèle, du coup ça te paraittrait pas jouable à ce niveau là ?

2-Le concept d'un stockage par bloc à distance

iSCSI et SAN offrent tous les deux d'accéder à un stockage de type "bloc" à distance. Ainsi, ils simulent un disque dur et c'est au client à le formatter et l'utiliser. Pour utiliser ce stockage, il faut un client. Dans le cas du SAN, ce sont des cartes fibres optiques et le bios des serveurs est capable de démarrer sur le disque virtuel présenté par ces cartes. Ici, sur iSCSI, ce ne sera pas le cas. Ainsi, il faudra toujours un disque local dans le poste de travail pour démarrer et rejoindre le disque de données.
Oui je compte garder le boot de windows (entre autres OS) sur un SSD local,

3-La latence et la robustesse

La bande passante est une chose. La latence en est une autre. Aussi, perdre la connectivité revient à débrancher d'un coup le disque dur en question. Ainsi, pour iSCSI, il faut plusieurs cartes et connexions en parallèle, autant pour transférer plusieurs paquets à la fois que pour assurer la disponibilité via un lien si l'autre lien tombe.

Ainsi, il te faudrait un poste de travail avec au moins 3 cartes réseaux 1 Gig : une pour le réseau normal et 2 pour le iSCSI. Il en faudrait aussi au moins 3 dans le NAS, pour les mêmes fonctions.
Oui j'ai la possibilité d'utiliser les ports déjà integré à ma carte mère, notament un port ethernet dédié à l'IPMI
Donc j'aurai au final 2 x 10Giga + 100Mbit sur l'ipmi

Une option serait de déployer un FreeNAS et partager les fichiers par Samba. Sur ton poste de travail, tu copies localement les fichiers que tu travailles ce jour-là. Pendant la journée, tu travailles la copie locale et à la fin de la journée, tu sauvegardes à nouveau le fichier dans le serveur. Ainsi, tu n'as besoin que d'un minimum en local et le gros du stockage est sur ZFS. C'est beaucoup de manipulation par contre.
Actuellement je suis en Samba et justement ce que je cherche c'est de la souplesse donc ok ça marche bien mais je cherche à évoluer à ce niveau.

En matière de sauvegarde, ce ne serait pas non plus fantastique. Un seul sinistre physique comme un feu ou une surtension pourrait détruire les deux ordinateurs car ils sont physiquement ensemble. Pour protéger tes données, il te faudrait une copie hors site.
Je suis en train de plancher justement sur ça, si le SAN passe avec mon matos je pourrais inverstir dans un autre freenas dédié à la sauvegarde.
Ensuite pour les fichiers sensibles, vu que j'ai déjà eu des malheurs, c'est clairement stocker sur un serveur distant en sus ...

Des disques SSD locaux, un poste de travail plus puissant muni de sa propre carte Raid ou encore une infrastructure complète d'entreprise avec les switchs, serveurs et câbles appropriés seraient les pistes de solutions, de la moins coûteuse à la plus coûteuse.

En espérant que cela t'aidera à imaginer une solution à ton goût,
Merci vraiment car ça semble être un mileu très fermé tout ça ! merci de faire preuve de générosité !
En fait effectivement j'hésite à passer en solution interne, le RAID hardware n'aurai pas d'impact sur les performances donc ? ça peut gérer le SSD cache de manière flexible ? car en interne je me voyais plutôt utiliser un mirroir de ssd + mirroir / stripe de HDD sur un gros pool space storage ...
mais pas moyen d'avoir d'info sur l'impact en terme d'occupation CPU et BUS système ...

Si je perds mon temps ça veut dire que je ne peux rien espérer avec mon matos ni freenas ?
En interne je vais perdre des perfs sur un Storage Sapce (à priori...) donc la solution pourrait être une carte RAID hardware en interne ?
Je ne compred pas bien pourquoi tu parle d'infrastructure d'entreprise, sinon pour avoir effectivement un vrai SAN en fiberchannel ? (comme je l'ai connu un temps en entreprise mais n'y comprenant rien à l'époque, ct du xserve ^^ !)



Salvo !
 
Last edited:

Heracles

Wizard
Joined
Feb 2, 2018
Messages
1,401
Bonjour,

quand j'ai mis eth10 je parlais de coller deux NIC en 10Gib en parralèle

C'est déjà beaucoup mieux 2x 10G que 1x 10M en effet :smile:

Ainsi, tu es plus proche du compte minimum de 3 NIC. Pour le FreeNAS, est-ce que la carte IPMI est dédiée IPMI ou combo avec un port réseau conventionnel pour du IP normal ? Si elle est combo, le FreeNAS aura ainsi ses 2 interfaces dédiés iSCSI et son interface réseau normale.

Ensuite, il faudra aussi s'assurer que le poste de travail disposera lui aussi de ses 3 interfaces minimum.

8 disques de 3TB permettra de faire un Raid10 de 4 miroirs. Ça devrait offrir une performance suffisante pour le besoin ici puisque le système ne réponds qu'à un seul utilisateur. 32G de RAM devraient aussi être suffisants pour le besoin. Est-ce que 4x 3TB = 12 TB sera un espace suffisant ? Aussi, un disque de 3TB a souvent un espace utile plus proche de 2.7, donc 10 ou 11 TB d'espace utile est probablement plus réaliste.

la solution pourrait être une carte RAID hardware en interne ?

Une carte RAID interne au poste de travail pourrait être une option en effet. Cela éliminera le réseau de l'équation. Il faudra toutefois t'assurer que la carte elle-même a une bonne performance, une bonne capacité de cache, etc.

tu parle d'infrastructure d'entreprise, sinon pour avoir effectivement un vrai SAN en fiberchannel ?

C'est effectivement à ce genre d'environnement que je faisais référence en parlant d'infrastructure d'entreprise. iSCSI est un peu assis entre deux chaises et dans ce temps-là, on retire plus souvent les inconvénients des deux mondes plus que leurs avantages. Ainsi, en entreprise, la solution de distribution de périphériques de blocs est la SAN et non iSCSI. À l'échelle résidentiel, ce concept n'existe pas vraiment non plus.

Pour ce qui est de mesurer les impacts sur le bus, la mémoire, le CPU, etc, c'est presque impossible de bien estimer. Il faudra faire des tests pour mesurer la situation et détecter les éventuelles limitations.

Bonne chance avec ton design
 

tngri

Dabbler
Joined
Jun 7, 2017
Messages
39
L'IPMI est dédié sur ma cm, je sais que je peux la basculer sur un deux autres ports 1Gb (dispos en plus des 10Gb que je vais ajouter pour ce projet). Bien évidement le pc client aura 1eth dédié à l'IPMI + 2 eth 10gb.

Cela valide mon ressenti et je crois que je vais vraiment me tenter la chose :) assez excité d'essayer du coup !

Pour ce qui est de la capacité de stockage, une fois que j'ai mis en exploitation et en effet validé ce chois je n'hésiterai pas à investir niveau HDD, je pense prendre de 8GB en lieu et place des 3TB, mais pour le moment cela me suffira amplement !

Un grand merci beaucoup pour tes réponses, car cela me turlupine depuis un moment et je ne parvenais pas à avoir un retour comme celui que tu viens de m'apporter !

Je tiendrai au courant de mon expérience, petit à petit :)
 

tngri

Dabbler
Joined
Jun 7, 2017
Messages
39
Rapido : ca vaudrait le coup que je mette des cables en fibre optiques en lieu et place des cables cat-6, ça à une vraie implication sur la latence ?
 
Top