(gelöst) Unterschiedliche Schreibgeschwindigkeiten SMB und dd

Mario1971

Dabbler
Joined
Jul 14, 2019
Messages
40
Hallo zusammen,
ich lese hier schon eine ganze Zeit mit. Das Forum konnte mir auch oft helfen.
FreeNas 11.2-U5 läuft soweit. Hier noch meine Hardware:
  • Motherboard Fujitsu D3644-B Intel C246
  • CPU Intel i3-8350K
  • RAM 2x 16GB Samsung DDR4-2400 ECC
  • 2x 3TB WD RED und 2x 4TB WD RED (Tank0) für Daten
  • 2x 500GB Samsung 970 Evo Plus M2 NVMe (Tank1) für VM´s
  • Hard disk controller: intern 6x SATA 6G
  • Netzwerkkarte: Intel 82576 Chip
Das System läuft, auf "Tank0" sind div. Datasets welche dann über SMB für Windows Rechner bereitgestellt werden.

Status Tank0:
Code:
root@HugoFreeNAS[~]# zpool status tank0

  pool: tank0
  state: ONLINE
  scan: resilvered 366G in 0 days 00:54:00 with 0 errors on Sun Jul 14 14:34:05 2019
  config:
        NAME                                            STATE     READ WRITE CKSUM
        tank0                                           ONLINE       0     0     0
          mirror-0                                      ONLINE       0     0     0
            gptid/5647a612-a59a-11e9-97b1-6cb3111c135c  ONLINE       0     0     0
            gptid/1ead0b20-a62c-11e9-aee6-6cb3111c135c  ONLINE       0     0     0

          mirror-1                                      ONLINE       0     0     0
            gptid/8df3a115-904a-11e9-8858-6cb3111c135c  ONLINE       0     0     0
            gptid/91690757-904a-11e9-8858-6cb3111c135c  ONLINE       0     0     0


Und dann noch Tank1:
Code:
root@HugoFreeNAS[~]# zpool status tank1
  pool: tank1
 state: ONLINE
  scan: none requested
config:

        NAME                                            STATE     READ WRITE CKSUM
        tank1                                           ONLINE       0     0     0
          mirror-0                                      ONLINE       0     0     0
            gptid/63f36e42-904d-11e9-8858-6cb3111c135c  ONLINE       0     0     0
            gptid/66c0f38e-904d-11e9-8858-6cb3111c135c  ONLINE       0     0     0


Was mir nun aufgefallen ist, wenn ich über das 1GB Netzwerk Daten auf "tank0" schaufel, schaffe ich für ca. 8Gb bis 21GB einen Datendurchsatz von 110MB/s.
Wenn ich mir dies mit zpool iostat tank0 1 ansehe sieht man dies:

Code:
tank0       2.16T  4.20T    169    283   676K  35.4M
tank0       2.16T  4.20T    165    246   661K  30.6M
tank0       2.16T  4.20T    149    244   596K  30.5M
tank0       2.16T  4.20T    145    219   582K  27.2M
tank0       2.16T  4.20T    131    196   527K  24.6M
tank0       2.16T  4.20T    156    244   625K  30.5M
tank0       2.16T  4.20T    139    224   560K  28.1M
tank0       2.16T  4.20T    149    239   598K  29.9M
tank0       2.16T  4.20T    133    245   535K  30.7M
tank0       2.16T  4.20T    146    232   586K  29.0M
tank0       2.16T  4.20T    143    218   572K  27.3M
tank0       2.16T  4.20T    131    200   524K  24.9M
tank0       2.16T  4.20T    146    225   585K  28.1M
tank0       2.16T  4.20T    139    245   558K  30.6M
tank0       2.16T  4.20T    155    232   623K  29.0M
tank0       2.16T  4.20T     35  22.2K   144K   106M
tank0       2.16T  4.20T      0      0      0      0
tank0       2.16T  4.20T     23      0  95.9K  3.99K
tank0       2.16T  4.20T    299  6.88K  1.17M  30.1M
tank0       2.16T  4.20T    180    120   723K  2.34M
tank0       2.16T  4.20T    390      0  1.52M      0
tank0       2.16T  4.20T    201  14.3K   807K  62.4M
tank0       2.16T  4.20T    219      0   877K      0
tank0       2.16T  4.20T    358      0  1.40M      0
tank0       2.16T  4.20T    305      0  1.19M      0
tank0       2.16T  4.20T    318      0  1.24M      0
tank0       2.16T  4.20T    289     49  1.13M   375K
tank0       2.16T  4.20T      0  23.0K      0  96.1M
tank0       2.16T  4.20T      0      0      0      0
tank0       2.16T  4.20T      0      0      0      0


Die Daten werden nur mit ca. 30MB/s geschrieben.
Irgendwann ist dann wohl der cache voll und das ganze brincht total zusammen - Netzwerk macht dann für 2-3 Minuten nichts mehr. Dann geht es
mit 110MB/s weiter bis dann nach kurzer Zeit wieder nichts passiert.
Wenn ich das Ganze auf "tank1" in einem Testverzeichnis mache (auch SMB Freigabe) dann habe ich diese Schreibrate auf die NVMe (Mirror):

Code:
tank1       81.8G   378G      0  8.40K      0   128M
tank1       81.9G   378G      0  8.41K      0   127M
tank1       82.1G   378G      0  8.42K      0   128M
tank1       82.2G   378G      0  8.42K      0   128M
tank1       82.3G   378G      0  8.43K      0   128M
tank1       82.4G   378G      0  8.42K      0   128M
tank1       82.5G   378G      0  4.23K      0  64.6M
tank1       82.6G   377G      0  8.53K      0   131M
tank1       82.7G   377G      0  8.37K      0   128M
tank1       82.9G   377G      0  8.17K      0   125M
tank1       83.0G   377G      0  8.10K      0   123M
tank1       83.1G   377G      0  8.43K      0   128M
tank1       83.2G   377G      0  8.29K      0   127M


Hier gibt es keine Unterbrechungen in der Übertragung, es bleibt bei 110MB/s.
Wenn ich mit dd von tank0 zu tank1 kopiere (50GB!) dann habe ich schreib-/leseraten von ca. 300MB/s! diese erreiche ich auch von tank1 zu tank0, plus minuts ein paar MB/s.

Ich weiß mir hier nicht mehr zu helfen, auch ein ZIL / Log über 2 SSD zusätzlich ändert nichts.
Ich bin noch neu bei FreeBSD und Freenas - kann mir jemand noch einen Tip geben was ich machen kann?
Warum sind die SATA so langsam beim schreiben über das Netzwerk?
Die SATA hängen alle am interen Controller.
Die zwei NVMe am internen M2 und an einem PCI-Adapter mit 16 PCI-Lanes.

Wenn noch Infos fehlen, dann bitte bescheid geben ;)

Dankeschön!
VG Mario
 

Mario1971

Dabbler
Joined
Jul 14, 2019
Messages
40
Hallo nochmal,

ich scheine das Problem alleine zu haben ;)
Kurzes Update, die Schreibrate auf tank0 liegt über SMB akutell nur noch bei 10MB/s und darunter, wenn ich ein File mit 4GB kopieren möchte (SMB) dann macht er alle 10 Sekunden mindestens 20 Sekunden Pause.
Vielleicht sind bei mir ein paar Einstellungen verbogen, ich werde FreeNAS noch einmal neu aufsetzten. Zum Glück ist das System noch
nicht produktiv im Einsatz.

Die Platten sind alle Fabrikneu und SMART meldet keine Fehler erkannt.

Viele Grüße
Mario
 

Mario1971

Dabbler
Joined
Jul 14, 2019
Messages
40
Ich nochmal, wie so oft sitzen 90% der Fehler vor dem Bildschirm...
Ich habe immer per SMB auf die gleiche Freigabe kopiert, hier war jedoch das "Dedup" aktiv - muss ich in meinem Fehlersuchwahnsinn eingeschaltet haben. Warum "Dedup" so viel Schreibleistung kostet weiß der "Geier".
Im Moment kopiere ich bereits 140GB mit 110MB/s über die SMB Freigabe und der Pool speichert mit 110-140MB/s also alles in Ordung :p

Sorry, dass ich den einen oder anderen mit so viel Text belästigt habe... :cool:

VG Mario
 

Mario1971

Dabbler
Joined
Jul 14, 2019
Messages
40
"Dedup" braucht RAM, sehr viel RAM. Dein RAM ist für Deine Festplattengrösse und "Depup" mit 16GB ziemlich unterdimensioniert.

Dann wird es wohl daran liegen, es sind aber 2x 16GB ;)
Die CPU Last war nur bei ca. 10% - aber ich brauche ja Dedub nicht.

Ich bin froh, dass das "Problem" nun weg ist.
Wenn mal wieder etwas Geld übrig ist, werde ich das Board bis zum maximum RAM vollpacken (64GB).

Viele Grüße
Mario
 
Top