Hilfe beim Zusammenstellen eines FreeNAS-Servers

Status
Not open for further replies.

zen

Cadet
Joined
Oct 12, 2016
Messages
8
Hallo FreeNAS-Forum,

ich bräuchte Hilfe beim Zusammenstellen von Hardware im größerem Stile. Der Server soll zukünftig rund 250 Client-Backups speichern. Die Client-Backups sollen später mal mit Presstore gemacht werden.
Habe schon ein bisschen per google gestöbert, aber FreeNAS ist im größerem Stile (nach meinen Erkenntnissen) eher ungewöhnlich. Da es auch meine erste FreeNAS-Maschine im großem Stil wird, wollte ich lieber jemand zu rate ziehen, der sich ein wenig besser auskennt.

Hier einmal die wichtigen Infos
-Als Speichervolumen ist alles ab 20TB super
-Die Hardware sollte nach Möglichkeit in einen bestehenden Serverrack integriert werden und sollte nicht zu viele Höheneinheiten einnehmen
-Das Budget sollte 2000-3000€ nicht überschreiten

Solltet ihr noch Angaben brauchen einfach schreiben :)
Vielen Dank schon mal im Voraus!
VG
 

Ericloewe

Server Wrangler
Moderator
Joined
Feb 15, 2014
Messages
20,176
-Das Budget sollte 2000-3000€ nicht überschreiten
Das wird schon kompliziert, die Platten sind schon etwa 2000€, für 20TB. Mit 1000€ kommt man nicht weit, wenn es ein rackmount Gehäuse sein soll.

Der Server soll zukünftig rund 250 Client-Backups speichern. Die Client-Backups sollen später mal mit Presstore gemacht werden.
10GbE, vermute ich? Das ist schon wieder etwas teurer.

20TB geht eigentlich noch mit etwas wie ein Supermicro X11SSM-F, 32GB RAM (oder 64GB) und Xeon E3 v5. Das würde rund 700-800€ kosten, vielleicht etwas weniger. Es müssten dann aber 6x8TB Platten in RAIDZ2 sein, also besonders schnell wird das Ganze auch nicht sein.

Nützliche Links: https://jsfiddle.net/Biduleohm/paq5u7z5/1/embedded/result/ Speicherplatzrechner
https://forums.freenas.org/index.php?resources/hardware-recommendations-guide.12/
 
  • Like
Reactions: zen

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
20tb ist nicht wirklich viel.
Ich hab hier FN mit 100tb+.

Ein paar mehr Infos wären trotzdem sinnvoll.
Wieviel effektiv im Moment? 20tb brutto oder netto?
Wieviel in 3 Jahren?
Wie schnell? Wieviele gleichzeitige Verbindungen?
Wie wird zugegriffen?
Wieviele HE?
19" Hardware ist Standard
2-3t€ nur für die Hardware oder inkl Festplatten?
Wie groß ist ein Client Backup?


Gesendet von iPhone mit Tapatalk
 

zen

Cadet
Joined
Oct 12, 2016
Messages
8
@ Ericloewe
Höher geht auch wird aber immer schmerzhafter, sollte das in dem Budget gar nicht gehen, könnt ihr mir gerne ein Optimum Vorschlag geben

@ snaptec
Wieviel effektiv im Moment? 20tb brutto oder netto?
definitiv netto, die 20TB sind das Minimum

Wieviel in 3 Jahren?
Wird sich nicht viel dran ändern die Userzahl bleibt stabil, somit sollten auch der benötigte Speicher relativ gleich bleiben (Backups werden nach 2 Wochen gelöscht)

Wie schnell? Wieviele gleichzeitige Verbindungen?
Beides schwer zu sagen. Wie gesagt es soll zum Backup speichern genutzt werden, das Backupsystem sichert alle 2Std. , sollte der Client nicht erreichbar sein, beim nächsten Hearthbeat des Clients. Im schlimmsten Falle sind es also ca. 250 Zugriffe gleichzeitig, sollte aber nie der Fall sein

Wie wird zugegriffen?
Verstehe ich nicht ganz, wie die Clients auf den schreiben oder was meinst du?

Wieviele HE?
Erstmal flexibel, aber alles bis 4HE sollte kein Problem sein

2-3t€ nur für die Hardware oder inkl Festplatten?
Inkl. wäre natürlich schön, aber auch hier bin ich erstmal flexibel (= kann also ohne sein)

Wie groß ist ein Client Backup?
Leider sehr unterschiedlich, Macs ~20GB, Win ~60G. Gibt allerdings leider ein paar Poweruser mit VMs

Danke euch beiden für die super schnelle Antwort ;)
 

zen

Cadet
Joined
Oct 12, 2016
Messages
8
Welches Protokoll meine ich. Ja
Presstore benutzt meines Wissens nach eigene HTTP-Protokolle zum Transfer. Reicht dir das, oder soll ich nochmal die Presstore Doku nach genaueren Infos durchsuchen?
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Wenn du mehr Infos hast wäre das gut. Macht nen Unterschied ob du 250 cifs oder webdav Verbindungen hast.
Oder gibt es von der Software ne Server Variante die darauf zugreift oder machen das die Clients direkt?


Gesendet von iPhone mit Tapatalk
 

zen

Cadet
Joined
Oct 12, 2016
Messages
8
Wenn du mehr Infos hast wäre das gut. Macht nen Unterschied ob du 250 cifs oder webdav Verbindungen hast.
Oder gibt es von der Software ne Server Variante die darauf zugreift oder machen das die Clients direkt?

Die Backup Verbindung geht vom Server aus. Der Client meldet sich nur als Online.
Hier mal kopierte Infos von der Hersteller Seite:

PresSTORE sets up a TCP/IP connection from the server to the clients port 8000. In order to acieve that, the following requirements must be fulfilled:
  1. The client must be reaceable via IP protocol. This requires that either the clients IP address is enterted in the client configuration, or the client name must be entered and that client name must be resolved by a DNS to the correct client address. Please test IP requirements like routing and name resolution outside of PresSTORE with the ping utility (see man ping or for windows users ping /?).
  2. The IP port that is used on the client site (port 8000 by default) must be reachable. Please note that the connection is set up from the server to the client, this is a bit unusual. When configuring a firewall, allow on the PresSTORE server site outgoing connections to port 8000 and on the client site incoming connections to port 8000.


This article applies to ethernet connected storage devices that offer AFP, NFS, SMB or similar services. In general, we recommend using iSCSI instead of AFP/SMB/NFS to mount a NAS on a Presstore server or client.

When using PresSTORE with NAS device, please be aware that the network protocols in use are not capable to store files with all features in the same way as the native filesystem can do. Because of that, e.g. the following file attributes may be lost when storing files on a NAS:
- User and group information
- Access rights
- Access control rights
- File stream information

Further limitations are possible due to the filesystem used on the NAS.

Please note further that when transporting files over the ethernet, huge data rates will apply.
Because of that, we recommend to use a separate network adapter and a separate cabling for NAS devices.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Presstore Server selber läuft auf einem windows?
Da wird dann das freenas gemountet.
So wie es sich liest am besten iscsi oder über cifs/smb.
Hab ich das so richtig verstanden?


Gesendet von iPhone mit Tapatalk
 

Ericloewe

Server Wrangler
Moderator
Joined
Feb 15, 2014
Messages
20,176
Inkl. wäre natürlich schön, aber auch hier bin ich erstmal flexibel (= kann also ohne sein)
Dann wird's schon einfacher.
Presstore Server selber läuft auf einem windows?
Da wird dann das freenas gemountet.
So wie es sich liest am besten iscsi oder über cifs/smb.
Hab ich das so richtig verstanden?


Gesendet von iPhone mit Tapatalk
Es sieht so aus, dass die letzte Version auch auf FreeBSD läuft. Wenn das stimmt, könnte es im Jail laufen.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Ok. Das macht nun dir die Dimensionierung von CPU und RAM nen Riesen Unterschied.
Wieviel Last erzeugt die Software denn aktuell?


Gesendet von iPhone mit Tapatalk
 

zen

Cadet
Joined
Oct 12, 2016
Messages
8
Es sieht so aus, dass die letzte Version auch auf FreeBSD läuft. Wenn das stimmt, könnte es im Jail laufen.

Genau, Presstore ist auf dem FreeNAS installiert (siehe hier http://www.archiware.com/blog/build-your-own-archiware-appliance-en/ ).
Hatte das ganze mal als VM aufgesetzt um zumindest grob mal zu testen, ob das ganze so funktioniert. Allerdings ist es, weil eben eine VM ist, schwer realistische Angaben zu machen, da auch die Anzahl der Clients zum testen deutlich geringer war (ca. 20). Leider ist ein umfangreicher Test nicht wirklich möglich, da das VM-Cluster nicht mehr viele freie Kapazitäten hat.

Die VM hatte 2 Xeon E5-2665, die Auslastung war aber sehr variabel, ich schätze aber ca 60-70% unter Last.
Die RAM-Größe war 8GB, die waren unter Last aber meist fast ausgeschöpft (7.6GB used).
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Nicht die schlechtesten cpus...
Ich Denke die Reise sollte gehen zu:
Supermicro 846 Gehäuse mit 24 slots.
Passendes Board mit 2 aktuellen e5 und 128-256gb RAM.
Nur wird das mit dem Budget leider garnichts, auch nicht ohne hdds.
Dann entweder mirrors oder 6-wide raidz2. 24 slots das du ein paar vdevs hast und die Performance passt.
10gbe gewünscht?


Bin aktuell unterwegs, kann nachher aber mal schauen.


Gesendet von iPhone mit Tapatalk
 

zen

Cadet
Joined
Oct 12, 2016
Messages
8
Ja sehe grade allein das Gehäuse kostet fast schon 2000. Theoretisch geht es auch teurer, hättest du einen budget Vorschlag ( d.h. möglichst billig, so das es aber läuft) und vielleicht einen, der noch ein bisschen Luft nach oben hat, dann auch aber was teurer sein darf (=Budget erst mal egal). Ob sich das ganze für den Aufpreis rentiert überlege ich mir dann mal.

Hast du eine Empfehlung bezüglich des Boards und CPU, im Hinblick auf ECC-RAM o.ä.?

10gbe gewünscht?

Wäre super, ja
 

Ericloewe

Server Wrangler
Moderator
Joined
Feb 15, 2014
Messages
20,176

Ericloewe

Server Wrangler
Moderator
Joined
Feb 15, 2014
Messages
20,176
Sorry für die irreführende Info, die VM benutzt 2 Sockets und je 2 Cores pro Socket. Benutzt effektiv also 4 Kerne.
Dann wird's einfacher (sprich billiger).

Ich würde mal vorschlagen:
  • Supermicro X10SRH-F
  • Xeon E5-1650 v3
  • 64GB RAM (4x 16GB RDIMM oder UDIMM)
Thema Festplatten:
Als Kompromiss würde ich vielleicht 2 RAIDZ2 vdevs je 6 4TB Platten vorschlagen. Das sind rund 22TB netto. Sehr schnell wird es nicht sein, sollte vermutlich aber ausreichen. Die 12 Festplatten passen dann in 2U, was wieder billiger ist als 4U.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Das X10SRM-TF kostet quasi dasselbe und hat 10GBe onboard.
Die Cpu die Eric vorgeschlagen hat ist rund 10% schwächer als die xeons aus deinem Test. Zudem waren da ja nur 20 Clients aktiv.
Da sollte denke ich eine größere rein. In Richtung E5-2660 v3.
Zudem dann 128GB Ram von der compatibility list (siehe Supermicro Webseite).
Dazu dann eine IBM M1015 oder gleichwertiger HBA verpackt in einem SC846 Gehäuse.

HDDs gehe ich mit Eric konform,
a) 2x Vdevs a 6 x 4TB Raidz2
b) 4 vdevs a 6 x 2 TB
c) Mirrors aus 4 TB HDDs. Sprich 8 Vdevs mit je 2x 4 TB HDDs ergibt dann auch die 22TB netto und ist leicht erweiterbar.
A ist noch erweiterbar bis auf 44 TB netto. Je immer 6 HDDs dazu.
bei B ist dann schon voll und bei C kannst du immer 2 weitere HDDs dazu stecken.

Am sichersten ist A, am schnellsten ist C.
Bei A dürfen je Vdev 2 HDDs gleichzeitig kaputt gehen, bei C nur eine. Der Resilver bei A ist aber stressiger für die verbleibenden HDDs.
Ich habe hier sowohl Raidz2 als auch Mirrors laufen. Jenachdem ob mehr Platz oder mehr Performance gewünscht ist.

Erics build kannst dann als "Budget" ansehen. Viel günstiger und dennoch praktikabel wird es nicht
 

zen

Cadet
Joined
Oct 12, 2016
Messages
8
Super, ich danke euch zwei schon mal!

Ich muss allerdings gestehen, dass ich nicht ganz verstehe wo eure 22TB her kommen.


c) Mirrors aus 4 TB HDDs. Sprich 8 Vdevs mit je 2x 4 TB HDDs ergibt dann auch die 22TB netto und ist leicht erweiterbar.
und
Als Kompromiss würde ich vielleicht 2 RAIDZ2 vdevs je 6 4TB Platten vorschlagen. Das sind rund 22TB netto.

Bei beiden komme ich auf 32TB, für die Mirrors 8* 4TB=32TB und bei dem raidz2 2*(6-2)*4TB = 32TB. Habe ich irgendetwas dummes vergessen?


Habe vorhin nochmal mit meinen Kollegen gesprochen und evtl verlegen wir noch ein paar mehr Rechner auf die neue Maschine, hat einer von euch in diesem Größen-Rahmen noch einen Vorschlag? Sprich 400 Clients (= Mehr traffic, wobei die 10GBe evtl. Reichen, mehr Belastung, etc) und Volumen insgesamt um die 100TB. Und das Budget lass ich mal weg, hoffe damit wird es einfacher.

Schönes Wochenende euch beiden noch!
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Du hast brutto 32 tb, exakt.
Allerdings darfst du nie zu 100% voll schreiben. ZFS ist ein CopyOnWrite filesystem.
Wenn du über 70-80% schreibst geht es zwar noch wird aber irre langsam da FN nur am Blöcke umherschieben ist.
Bei iSCSI sind sogar nur Max 50% empfohlen zu belegen.
Bei 100TB würde ich den Backup Dienst auslagern und FN dann defenitiv mit 10gbe anbinden.
Da ist dann auch die Frage was eure Infrastruktur hergibt.

Eine Konfiguration wäre dann z.b.
8er raidz2 mit 4tb HDDs. Ergibt rund 18tb netto.
In einem sc846 bekommst du somit 54TB netto.
Ein weiteres jbod 24x shelf und du bist bei 100+ TB

Ansich mainboard / CPU wie oben. Nur mehr ram. Da es rein für Backups ist sollte das ausreichen.
Anbinden dann per nfs an den Server wo die Backup Software läuft. Ich vermute die wird auf dem FN selber bzw im jail Zuviel Last erzeugen. Kenne sie allerdings nicht und man müsste das testen.
Für die 100+tb wärst dann bei 8he
Das teuerste sind schlicht die HDDs
Auf das mainboard 2 HBAs für die backplanes und gut.


Gesendet von iPhone mit Tapatalk
 
Status
Not open for further replies.
Top