Systemkonsolidierung und suche nach Erfahrungen/Denkanstößen

[Cluster_]

Hallo,

momentan habe ich zwei Systeme (1xProduktiv - ESXi + div. VMs) + Backupsystem (TrueNAS Bare-Metall)
Das Backup werde ich jetzt off-site auslagern und möchte die beiden bisherigen, etwas in die Jahre gekommenen Systeme konsolidieren.
Die Festplatten werde ich in das neue System überführen und würde hier vorab schonmal nach Euren Erfahrungen bzgl. Geschwindigkeit etc. frage. Eine 100 % Entscheidung habe ich nähmlich noch nicht getroffen bzgl. der finalen Hardware.

Bestand:
4 x 8 TB WD Gold SATA an HP P420 RAID 6
4 x 4 TB WD RE SAS an HP P420 RAID 1+0
4 x 256 GB M.2 SATA (auf 4x M2 -> SFF-8643 PCB) an HP P420 RAID 6
4 x 512 GB M.2 SATA (auf 4x M2 -> SFF-8643 PCB) an HP P420 RAID 1+0

Das neue System wird wohl ein Xeon Platinum 8160 mit 6x32 GB RAM.
Der HBA wird wohl ein 9400-16i. Das Gehäuse liefert mit 2x4 Hot-Plug SAS Backplanes an SFF-8643
Ich hatte geplant nebst diesem HBA noch zwei ASUS M.2 PCIe NVME Karten einzubauen. (4x1TB als Zusatzspeicher + 4x256GB als ZFS Caching Lösung)
Der Host selber wird wieder über ESXi virtualisiert und der Storage soll über HBA Passthrough durch ein TrueNAS über iSCSI (oder NFS4) per vSwitch durchgereicht werden. Die TrueNAS VM würde von mir dann wahrscheinlich sowas um 64 GB RAM zugeteilt bekommen.

Das Speicherlayout macht mir jedoch noch Gedanken. (Die vier 4TB könnte ich noch gegen 4x8TB WD Gold tauschen)
- Raidz2 über alle 8 Platten
- 2xRaidz2 im Strip
- 2xRaid 10 im Strip
- 2xRaid 10 im Mirror
- etc.....

Mir stellt sich die Frage, welche Konfiguration ist am sinnvollsten bzgl. Ausfallsicherheit / zur Verfügung stehender Speicher / Geschwidigkeit.
Auch beim Caching bin ich mir nicht sicher, ob jetzt 256 GB NVMe nicht doch etwas über das Ziel hinausgeschossen ist (selbst mit OP).

Hat jemand hier ein paar Denkanstöße für mich. Möglicherweise sogar bereits Erfahrungen die Sie/Er hier teilen möchte?

Gruß & Dank im Voraus
Thomas

 

[bic]

.... beim Caching bin ich mir nicht sicher, ob jetzt 256 GB NVMe nicht doch etwas über das Ziel hinausgeschossen ist ....

ZFS kennt kein Cache im üblichen Sinne. Was es kennt nennt sich L2ARC und ist ein Verfahren, den RAM (daher den von ZFS belegten und ARC genannten Bereich im RAM) auf eine speziell dafür vorgesehene Festplatte zu erweitern. Da aber nun jedoch auch Deine NVMe lange nicht an die Geschwindigkeit von RAM heranreichen, würde ein L2ARC auch damit das System langsamer, statt schneller machen.
Besser ist es daher den RAM selbst zu vergrößern, wobei die von Dir vorgesehenen 192 GB nach der immer wieder kolportierten (aber wahrscheinlich blödsinnigen) Faustformel für immerhin 192 TB -ja was, Poolgröße oder aufaddierte Plattenkapazität?- reichen sollen - nun, es sind aber auf jeden Fall mehr als genug

An sonst sorry - verstehe ich Deinen Schrieb leider nicht so recht, also, mir ist nicht klar, was Du da so vor hast

 

[Patrick M. Hausen]

Fang doch mal mit dem ZFS Primer an:

ZFS Primer

Background information about the Zettabyte File System (ZFS).

www.truenas.com