[Kaufberatung] - Hardware für TrueNAS Scale

[hello.alex]

Hallo Community,

ich komme aus der Synology Ecke und möchte zu TrueNAS Scale wechseln.
Ich habe mich in die Dokus eingelesen und angefangen ein Hardware-Setup zusammenzustellen, welches ich gerne mit Euch diskutieren möchte.
Desweiteren gibt es auf meiner Seite auch noch einige Fragen, auf die ich ebenso eingehen mag.

Zuerst einmal zu dem angedachten Verwendungszweck und den groben Eckdaten für dieses System.

• Bereitstellung von SMB3-Freigaben gegenüber dem Netzwerk
• Netzwerkanbindung via 10GBit SFP+
• Datenspeicher für 4k Videos/Videoschnitt
• Bereitstellung der Videos via Plex
• Datenspeicher und Host für ca. 20 virtuelle Maschinen, produktiv wie auch HomeLab
• Das System soll im Endausbau aus 24x 16TB SATA Festplatten bestehen

Zu den Komponenten die ich mir vorstelle:

Gehäuse:

• 19" Storagegehäuse FANTEC SRC-4240X07-12G

Mainboard:

• E-ATX Mainboard Supermicro MBD-X11DPH-T

CPU:

• Intel® Xeon® Gold 6134
  oder
• Intel® Xeon® Gold 6150

RAM:

• 4x Micron 32GB 2Rx4 PC4-2666V-R DDR4 Registered Server-RAM Modul R-DIMM REG ECC

NIC:

• Supermicro AOC-STGF-I2S

Massenspeicher:

• 2x SSD-DM032-SMCMVN1
  TrueNAS Scale soll auf den beiden 32GB SATA-DOMs installiert werden, die als RAID1 konfiguriert sind - über den im Mainboard integrierten SATA-Controller.

• 2x Teamgroup 1TB MP34 M.2 PCIe-SSD (1660TBW)
  Die beiden NVME-SSDs sollen als SLOG-vdev genutzt werden. Verbaut auf den beiden M.2 Slots auf dem Mainboard.

• 24x 16TB WD Gold WD161KRYZ
  • Die 24 HDDs sollen als Storage-vdevs konfiguriert werden. Bei diesen HDDs handelt es sich um CMR-Disks, um die überlappung beim magnetisieren der Platter zu vermeiden. Die Sektorformatierung der Disks ist 512e. Diese Festplatten bieten ein sehr gutes Preis/TB verhältnis bei 5 Jahren Garantie.
    

HBA:

• Adaptec® HBA Ultra 1200p-32i

GPU:

• Das System soll mit einer dedizierten NVIDIA GPU ausgerüstet werden, um schnelle Hardware-Transcodierungen zu ermöglichen ohne die CPU zu belasten, damit die Performance des Gesamstsystems und der VMs nicht beeinträchtigt wird.

Kommen wir zu den Fragen:

1. Takt vs. Cores
   CPU mit hohem Takt aber wenig Cores oder viele Cores und dafür weniger Takt?
   Hier stehe ich wahrscheinlich zwischen den Stühlen... Viel Takt für die Storage Performance und viele Cores für die Virtualisierung.
   
   
2. Sektorformat
   Die HDDs sind 4k Native, die Firmware präsentiert die Sektorformatierung aus kompatibilitätsgründen aber als 512e.
   
   

   Code:

   sudo hdparm -I /dev/<device>[...]
   Configuration:
   [...]
   Logical  Sector size:                   512 bytes
   Physical Sector size:                  4096 bytes
   [...]

   
   
   Muss ich in meinem Pooldesign nun ashift=9 (2^9 = 512 bytes) oder ashift=12 (2^12 = 4096) wählen?
   Oder lieber gleich native 4k Disks verwenden?
   ​
3. vdev-Design
   Ich bin mir noch nicht sicher ob ich die 24 HDDs in
   4x 6-wide RAIDZ1 vdevs
   oder in
   6x 4-wide RAIDZ1 vdevs aufteilen soll.
   Ich würde ca. 25 TB an Kapazität verlieren, gewinne aber ca. +200MB/s an Schreibleistung. Wie seht ihr das?
   
   
   
   
   
   
4. HBA:
   Ich kenne mich mit der Anbindung von Backplanes an einen HBA leider nicht so gut aus.
   Den Anschluss am HBA und an der Backplane finde sich sicher heraus und kann die entsprechenden Kabel bestellen, jedoch bin ich mir nicht sicher ob die Wahl des oben angegebenen HBA wirklich die richtige ist. Der HBA hat eine PCIe 8x Gen4 Schnittstelle, das Mainboard hat aber "nur" PCIe Gen3. Das ist ganz sicher abwärtskompatibel.
   
   
5. Cache Grösse:
   Wie gross sollte ich den ARC für dieses Pool-Design wählen und sind 1TB SLOG nicht doch etwas viel?
   Ich habe hier noch keinerlei Berechnungen durchgeführt und bin mir auch nicht ganz sicher wie/wo/ob es einen Rechner gibt.

Das solls erstmal gewesen sein.
Gibt es Fragen?
Würdet ihr andere Komponenten wählen und wenn ja, warum?
Habe ich etwas vergessen?

Ich bedanke mich für Euer Feedback, in der Hoffnung ein stabiles und leistungsfähiges System aufbauen zu können.

 

[jgreco]

HBA:
Ich kenne mich mit der Anbindung von Backplanes an einen HBA leider nicht so gut aus.
Den Anschluss am HBA und an der Backplane finde sich sicher heraus und kann die entsprechenden Kabel bestellen, jedoch bin ich mir nicht sicher ob die Wahl des oben angegebenen HBA wirklich die richtige ist. Der HBA hat eine PCIe 8x Gen4 Schnittstelle, das Mainboard hat aber "nur" PCIe Gen3. Das ist ganz sicher abwärtskompatibel.

This is not compatible with TrueNAS. Please select an LSI HBA such as the 9211-8i.

What's all the noise about HBAs, and why can't I use a RAID controller?

1) An HBA is a Host Bus Adapter. This is a controller that allows SAS and SATA devices to be attached to, and communicate directly with, a server. RAID controllers typically aggregate several disks into a Virtual Disk abstraction of some sort...

www.truenas.com

 

[hello.alex]

Massenspeicher:

• 2x Teamgroup 1TB MP34 M.2 PCIe-SSD (1660TBW)
  Die beiden NVME-SSDs sollen als SLOG-vdev genutzt werden. Verbaut auf den beiden M.2 Slots auf dem Mainboard.

Hallo zusammen

Hier eine richtigstellung zum Thema Massenspeicher.
Die 2x Teamgroup 1TB MP34 M.2 PCIe-SSD (1660TBW) sollen natürlich als L2ARC genutzt werden.

Wäre diese NVME SSD als SLOG device geeignet?
HPE 1.6TB NVMe Mixed Use SSD HH/HL AIC Add-In-Card PCIe Gen3 x8 Adapter


Ich hätte auch gerne meinen ursprüngliche Post editiert, nur leider finde ich den Button dazu nicht...

 

[UdoB]

2x Teamgroup 1TB MP34 M.2 PCIe-SSD (1660TBW)
Die beiden NVME-SSDs sollen als SLOG-vdev genutzt werden.

SLOG absorbiert SYNC writes schneller als rotierender Rost. Aber nach Ablauf des üblichen 5 Sekunden Intervalls müssen die Daten natürlich dennoch auf dem eigentlichen Datenträger geschrieben werden. Daher ist das maximale Datenvolumen, dass bei 10 GBit/s im SLOG zwischengelagert wird 1.25 GByte/s * 5 s = 7.5 GB pro Pool. 992.5 GB des nominellen 1TB bleiben ungenutzt.

Eventuell wird eine zweite TXG bereits befüllt, während die vorherige noch weggeschrieben wird, das weiß ich nicht. Aber mehr ein paar Dutzend Gigabyte würde ich persönlich nicht für ein SLOG vorsehen.

An verschiedenen Stellen steht lapidar: "SLOG ist KEIN Cache".

Man möge mich korrigieren, falls diese Darstellung veraltet ist...

 

[hello.alex]

Auf dem Board kann man sehr viel RAM verbauen, und nach dem konsumieren weiterer Dokumentationen, bin ich der Meinung dass ich das Geld für den L2ARC lieber in zusätzlichen RAM investieren sollte.

Ich habe verstanden, dass:

• es beim SLOG nicht auf die Kapazität ankommt sondern ehr auf Geschwindigkeit und Haltbarkeit.
• NVMEs die als SLOG genutzt werden, sollten in jedem Fall auch gespiegelt werden.

Danke für euer Feedback bisher! :)

 

[micneu]

GPU:

• Das System soll mit einer dedizierten NVIDIA GPU ausgerüstet werden, um schnelle Hardware-Transcodierungen zu ermöglichen ohne die CPU zu belasten, damit die Performance des Gesamstsystems und der VMs nicht beeinträchtigt wird.

das kannst du vergessen, das wird nach meinem wissen nicht funktionieren. ich denke wenn du sowas einsetzen willst solltest du auf systeme zurückgreifen die dafür ausgelegt sind wie z.b. esx oder proxmox (wenn ich falsch liege könnt ihr mich gerne berichtigen)
zu dem nas für 4k video schnitt würde ich lieber zu systeme greifen die dafür optimiert sind z. b. QuTS hero-NAS: TS-hx77XU-Serie, NVMe All-Flash QuTS hero NAS: TDS-h2489FU, FlashStation FS6400