Hardware Überlegungen (die vermutlich 387igste)

[Dado]

Hallo zusammen,

ich trage mich aktuell mit dem Gedanken, auf FreeNAS und entsprechende Hardware zu setzen. Eventuell kann mir der ein oder andere einen kleinen Tip geben.
Gekauft ist noch nichts, man kann also auf der grünen Wiese anfangen.

Aktueller Stand:
Kleines Heimnetzwerk auf Gigabit Basis
2 Hauptrecher (Mac und Win)
1 QNAP (Raid1) als zentrales Datengrab/Backup
Diverser anderer angebundener Kram, der hier nicht von Belang ist...
ca. 4-5 TB an Daten

IT Kenntnisse sind wahrlich vorhanden, FreeNas (noch) nicht. Spiele aber gerade mal in einer virtuellen Kiste ein wenig mit der WebGUI herum. Sieht soweit aber relativ intuitiv aus. ;-)

Wo soll's hin gehen:
Zwei unabhängige Storagesysteme, damit ich im Prinzip ein Disk2Disk Backup übers LAN machen kann. Das Qnap wäre dann das Backup des neuen Storagesystems
Der Mac (Mini) wird vermutlich durch einen aktuellen MAC Mini mit 10GB ersetzt. Lightroom bzw. Bildbearbeitung und zukünftig EVENTUELL Videobearbeitung bestimmen primär die Bedürfnisse. Problem dabei dass bezahlbarer internen schneller Speicher bei MAC Mini Mangelware ist. Ich sollte die Bilder also extern vorhalten und trotzdem so schnell wie möglich darauf zugreifen können.
ca. 8-12TB an Daten in den nächsten 3-4 Jahren

Meine erste Idee war:
FreeNAS mit 10GB NIC und
einem Pool mit M2 NVME SSDs um dort die Bilder zu lagern (so schnell wie möglich um die 10Gb so weit wie möglich nutzen zu können)
einen Pools mit SATA SSDs oder HDDs für weitere Datenhaltung/Timemachine Target/Backup (Geschwindigkeit sekundär)

Das Ganze sollte als Eierlegende Wollmilchsau Stromsparend im Idle, sehr leise und formschön (WAF!) sein, deshalb dachte ich auch an ein Mini ITX Board mit 2x M2 NVME Slots, min 4x SATA. Bootdevice wäre ein interner USB Stick. So richtig fündig werde ich aber nicht.
Supermicro scheint mir ja einige nette Boards zu haben. Z.B. A2SDi-H-TF, da ist aber wieder nur 1x M2 drauf. Müsste also die Daten auf der M2 ohne Redundanz laufen lassen und entsprechend oft auf andere Medien backupen. Und sind diese Atoms (hier 8 Kerne) performant genug, um 10GB auszulasten und ggf noch was anderes auf der Kiste zu machen?
Prinzipiell bin ich aber völlig offen bei der Hardware. Bestimmt hat jemand auch noch ne andere/bessere Idee)

Inzwischen überlege ich, ob es mehr Sinn macht, den schnellen Storage lokal an den Mac via Thunderbolt3 anzubinden (externes Gehäuse, dass NVME SSDs via Thunderbolt3 anbindet) und das FreeNas dann nur noch mit SATA Devices hochzuziehen. Dann bräuchte ich bei der Platine für das NAS keine so hohen Anforderungen. Könnte also vielleicht auf 10Gb verzichten und eine Platine mit 2-4 1Gb NICs nehmen und diese parallel einsetzen (Switch unterstützt das).

Prinzipielle Fragen:
Wenn ich SSDs via SATA anbinde, ist ja langsam die Schnittstelle der limitierende Faktor. Wenn ich z.B. ein RAIDZ mit 3 SSDs nehme (aka Raid5, oder?), kann dann der Gesamtdurchsatz an der LAN Schnittstelle beim Lesen von diesem Device höher sein als max. SATA III?

Ist es mit Bordmitteln möglich, einen SSD Cache zu basteln? Ich meine was gelesen zu haben, bin mir da aber gerade icht sicher.

Habe ich irgendeine Info vergessen?

Danke Euch

 

[charlie89]

Hi,

benötigst du wirklich MiniITX? Etwas bisschen größeres ist oft preislich attraktiver und bietet mehr Erweiterungsmöglichkeiten (aka mehr Ram und PCI-e Slots). Ich sprech hier aus Erfahrung, habe vor ca. 6 Jahren selbst mit MiniITX angegangen und bin inzwischen bei einem E-ATX Board mit 2 CPUs angelangt. :D
Der lahme Atom Prozessor aut dem genannten Mainboard ist meiner Meinung nach sowieso viel zu langsam, um 10GBit auch nur ansatzweise auszulasten. Denn auf die Dateien wirst du vermutlich über SMB zugreifen und das benötigt eine CPU mit hoher Single-Thread Performance und das ist bei einem Atom schon mal gar nicht der Fall. Mit einem Xeon mit hoher Taktfrequenz bist du da viel besser dran. Tipp: auf cpubenchmark.net lassen sich die CPUs gut vergleichen.
Wie du also bemerkst: Stromsparend, sehr leise und gleichzeitig 10GBit/s ist nicht ganz in Einklang zu bringen. Von Noctua müsste es einen halbwegs leisen CPU Kühler geben, der auch auf die Server CPU Sockel passt.

Es ist gar nicht notwendig, dass das Board M.2 NVME Slots hat (außer du möchtest davon booten, was bei FreeNAS sowieso kaum Sinn macht). Es gibt genügend PCI-e auf NVME Adpater, z.B. AOC-SLG3-2M2 für 2x M.2 NVME oder von ASRock gibt es eine wo 4x NVME M.2 SSD hineinpassen.
Außerdem ist es nicht notwendig, dass das Board eine 10GBit NIC hat, kannst auch eine billige gebrauchte PCI-e NIC verwenden.
Wenn das Mainboard nicht genügend SATA Ports hat, nimm einfach einen HBA (Host Bus Adapter, das ist quasi eine Raid-Karte nur ohne Raid-Funktion, z.B. IBM M1015 oder Dell H310). Die bieten 2 SAS Stecker an welchen mit Reverse Breakout Kabeln 8 SATA Platten angesteckt werden können. Bei den Festplatten kann ich WD Red 6TB oder 10TB empfehlen, die haben einen sehr niedrigen Stromverbrauch bei akzeptabler Performance.
Übrigens ist es inzwischen nicht mehr ratsam, FreeNas über USB zu booten, nimm eine kleine billige SATA SSD. Die USB-Sticks gehen nämlich immer wieder kaputt.

Für Heimanwender ist es oft ratsam, bis auf die Festplatten/SSDs komplett auf gebrauchte Hardware zu setzen, damit bekommt man zum gleichen Geld sehr viel mehr Leistung. Vor allem bei CPUs lässt sich damit so viel Geld sparen, z.B. verwende ich einen alten Xeon E5-2690v2, bekommt man derzeit auf Ebay ab 250€. Ein neuer Xeon Gold 6128 hat ähnliche Leistung und kostet neu 1850€. Dazu kommt dass gebrauchter DDR3-RAM sehr viel billiger ist als neuer DDR4 Ram. Selbst wenn das bisschen an zusätzlichem Stromverbrauch über 5 Jahre hinzugerechnet wird, ist das noch billiger als ein neues System.

Zu deinen Fragen:
Bei den 3 SSD RAIDZ1 bin ich mir nicht sicher, ob das schon schneller als 10GBit ist. Beim reinen Lesen möglicherweise, aber beim Schreiben und bei gemischter Verwendung (also Lesen+Schreiben gleichzeitig) sicher nicht. Wenn du Performance möchtest ist übrigens RAIDZ1-3 nicht so toll, besser sind Mirrors, also z.B. 2 Vdevs mit je 2 gespiegelten SSDs.

Einen SSD Cache gibt es, nennt sich L2ARC und ist ein reiner Lese-Cache, bringt also nur was wenn dieselbe Datei 2x oder öfter gelesen wird. Der Haupt-Lese-Cache namens ARC befindet sich im RAM. Die Verwendung des L2ARC benötigt zusätzlichen RAM, deswegen wird empfohlen immer so viel RAM wie möglich zu installieren (128GB+), erst wenn nicht mehr davon möglich ist soll zu einem L2ARC gegriffen werden.
Es gibt auch noch einen Schreib-Cache namens SLOG, der für synchrone Schreibvorgänge genutzt wird. Hierfür wird eine NVME SSD mit PLP (Power-Loss-Protection) empfohlen, die gibts meines Wissens jedoch noch nicht in M.2 Bauweise.

 

[emk2203]

Ich sehe generell nicht, wie OP mit maximal 2 Benutzern (die Hauptrechner) 10GBit/s sinnvoll ausnutzen kann. Das ist im SOHO-Bereich Overkill. Lightroom und Bildbearbeitung reizen 10G nicht aus, höchstens Videoschnitt oder eine iSCSI-Anbindung.