SMB (CIFS? SAMBA?) Dateigröße Limit 16TB?

[LEECH666]

Hallo,

ich hab probiert mein Problem hier über die Forensuche zu finden, habe aber nichts gefunden.

Ich stehe gerade vor dem Problem eine große (16+ TB) VM Disk von einem Proxmox Host auf meinen zentralen TrueNas Core Datenspeicher migrieren zu wollen. Der Transfer bricht allerdings immer (2 mal probiert) bei 98% ab. Die Leute im Proxmox Forum sagen es sieht so als als würde es immer bei 16TB abbrechen und ich soll dem Fehler auf meinem NAS suchen. Mehr infos hier: https://forum.proxmox.com/threads/hilfe-bei-migration-einer-16tb-disk.99191/ falls es jemand nachlesen möchte.

Das mein ZFS Dateisystem ein Dateigröße-Limit hat, halte ich für unwahrscheinlich aber wie sieht es mit SMB aus? Ich transferiere auf einen SMB Share den ich auf dem TrueNas System erstellt habe. Gibt es hier ein 16TB Limit? Falls ja was kann ich tun? Alleine komme ich leider nicht weiter. Kann jemand helfen?

 

[micneu]

hast du es mal probiert die datei über rsync (ssh) zu syncen?

 

[LEECH666]

Hallo und danke für den Vorschlag. Generell ist das sicherlich eine gute Idee, ich weiß allerdings nicht wie ich über rsync die Disk syncen kann, da diese bei Proxmox nicht als Datei vorliegt sondern als Raw Logcial Volume unter LVM. Ich hab es bisher nur über den GUI proviert, aber Proxmox wandelt dieses Volume irgendwie in eine Raw Datei wenn man den Vorgang startet. Leider besteht nicht genug Platz auf dem System um diese Volume vorher mit dd z.B. schon mal in eine Datei zu schreiben und ich weiß nicht ob ich die datei sonst irgendwie zu rsync pipen kann.

Es ist auf jeden fall deutlich anders als z.B. bei ESXi wo man einfach die VMDK verschieben oder syncen könnte.

 

[Patrick M. Hausen]

Du musst die virtuelle Disk doch hinterher sowieso in ein Zvol schreiben. Also mit der Datei als Datei kannst Du auf dem TrueNAS nichts anfangen. Oder geht es um Datensicherung? Dann komprimiere doch "on the fly" ...

 

[micneu]

Hallo und danke für den Vorschlag. Generell ist das sicherlich eine gute Idee, ich weiß allerdings nicht wie ich über rsync die Disk syncen kann, da diese bei Proxmox nicht als Datei vorliegt sondern als Raw Logcial Volume unter LVM. Ich hab es bisher nur über den GUI proviert, aber Proxmox wandelt dieses Volume irgendwie in eine Raw Datei wenn man den Vorgang startet. Leider besteht nicht genug Platz auf dem System um diese Volume vorher mit dd z.B. schon mal in eine Datei zu schreiben und ich weiß nicht ob ich die datei sonst irgendwie zu rsync pipen kann.

Es ist auf jeden fall deutlich anders als z.B. bei ESXi wo man einfach die VMDK verschieben oder syncen könnte.

ich hatte es so vferstanden:
- du willst eine 16TB große datei auf dein TrueNAS kopieren. keine ahnung was du genau für probleme, von meinem verständnis entwedert die lösung von @Patrick M. Hausen oder die datei einfach (z. b. mit dem root benutzer deines TrueNAS) per ssh (rsync) kopieren/übertragen (wenn man schon ein NAS und ein Proxmox einsetzt sollte man schon ein gewissen erfahrungs schatz an linux tools haben).

 

[Patrick M. Hausen]

Wenn das ein raw volume ist, dann gibt es ein /dev/something mit dem Du das lesen kannst.
Dann kannst Du auf dem Proxmox: dd if=/dev/something | gzip -c | nc ip.vom.true.nas 4444 und vorher auf dem TrueNAS starten: nc -l 4444 | dd of=/pfad/zu/geeignetem/ablageplatz/kopie-von-proxmox.img.gz

Frage ist immer noch, was Du mit der Datei hinterher auf dem TrueNAS willst?

Und - ich dachte, Proxmox benutzt auch ZFS? Schieb das Teil doch per Snapshot und zfs send ... | ssh ip.vom.true.nas zfs receive ... rüber.

Wie gesagt bitte einmal die vollständige User Story. Was sollen die Daten auf dem TrueNAS, wie häufig soll das passieren ...? 16 TB von einer Maschine auf die andere schieben dauert auf jeden Fall Tage. Und was zum Henker ist ein 16 TB großes VM Image?

 

[Patrick M. Hausen]

Das lieb ich ja immer - mit einer Frage ankommen, die ein Riesen-Fass aufmacht, sich alle Würmer aus der Nase ziehen lassen, und auf die zweite Nachfrage nicht mehr reagieren. Wie soll man da helfen?

 

[LEECH666]

Sorry Ich hab eine volle Woche und daher keine Zeit gehabt mich mit dem Thema großartig zu beschäftigen. Ich hab es jetzt hinbekommen über NFS. Der Vollständige Umfang meines Labs umfasst vier Geräte wovon aber nur zwei relevant sind hier. Gleich vorweg, das Ganze ist bisher nicht besonders professionell aufgezogen, da ich, als ich es aufgesetzt habe, halt das genommen habe was ich zur Hand hatte.

Gerät 1 - Proxmox v6.4 Host
Storage Controller: 3ware 9650SE-8LP
Volumes: 4x6TB Raid5 und 4x1TB Raid5
Nennenswerte VMs: Open Media Vault 5, für welche der Storage als LVM (RAW) auf dem 4x6TB Raid5 Volume liegt. Zweck der VM: Allgemeine Backups meiner Daten.
Hintergrund: OVM5 VM soll migrierbar sein.

Gerät 2 - TrueNas PC
Storage Controller: Dell PERC H310, geflasht mit LSI IT Firmware (HBA Modus).
Volume: RaidZ1 mit 8x8TB
Hintergrund: soll in Zukunft als Datenspeicher als Zweit-Backup-Location für allgemeine Backups und als zentraler Speicherort für meine VMs auf den Proxmox Hosts dienen.

User Story
Die Migration der OMV5 NAS VM soll nicht häufig geschehen, aber in Fällen in denen ich evtl. den zugrundeliegenden Storage oder die Hardware ändern möchte. Das ist hier jetzt nach ein paar Jahren mal der Fall und ich möchte z.B. den sehr in die Tage gekommenden, proprietären 3ware 9650-SE-8LP Raid Controller gegen einen Dell PERC H310 tauschen und zugleich den v6.4 Proxmox Host auf v7.0 upgraden damit ich wieder einen konsistenten Proxmox-Cluster habe. Weiterhin soll Mainboard, RAM und CPU erneutert werden (Ryzen 7 1700X) und der Host auf ZFS RaidZ1 umgestellt werden. Deshalb soll die VM wegmigriert auf das TrueNAS um sie später via Backup auf dem neu aufgesetzten v7.0 Proxmox Host Gerät 1 wieder aufzuspielen.

Aktueller Status
Ich hab jetzt im ersten Schritt erst mal die VM Disk auf den zentralen Speicher bewegt (via NFS) und werde nun probieren ein Backup zu erstellen das ich nach der HW Umrüstung wieder herstellen kann. Ist vielleicht etwas umständlich so aber das soll hier nicht unbedingt zur Diskussion stehen.

 

[Patrick M. Hausen]

Deshalb soll die VM wegmigriert auf das TrueNAS um sie später via Backup auf dem neu aufgesetzten v7.0 Proxmox Host Gerät 1 wieder aufzuspielen.

"Wegmigriert" im Sinne von die VM läuft dann auf dem TrueNAS? Oder Du nimmst das TrueNAS nur als Zwischenablage?

Allgemein: 16 TB in einem Image-File sind alles andere als handlich und ziemlich riskant. Besser wäre es, man hätte die Daten auf File-Ebene auf einem ZFS ...
Allein eine SHA256-Prüfsumme von der Datei zu erstellen, um sicher zu sein, dass man sie korrekt kopiert hat, dürfte Stunden dauern. Und was macht man bei einem Mismatch, wenn die Granularität ein einziger Blob von 16 TB sind?

 

[LEECH666]

"Wegmigriert" im Sinne von die VM läuft dann auf dem TrueNAS? Oder Du nimmst das TrueNAS nur als Zwischenablage?

Wegmigriert im Sinne von "mit dem Proxmox GUI die Disk auf den per SMB bzw. NFS angebundenen Storage verschoben". Die "compute resource" war bisher Gerät 1, seit jetzt gerade eben ist die aktuelle "compute resource" das bisher unerwähnte Gerät 3, welches ein weiterer Proxmox v7.0 Host ist, welcher kaum internen Storage besitzt, aber viele CPU Kerne (12) / Threads (24).

Allgemein: 16 TB in einem Image-File sind alles andere als handlich und ziemlich riskant. Besser wäre es, man hätte die Daten auf File-Ebene auf einem ZFS ...
Allein eine SHA256-Prüfsumme von der Datei zu erstellen, um sicher zu sein, dass man sie korrekt kopiert hat, dürfte Stunden dauern.

Ja das ist wohl richtig. Ich fahre das jetzt trotzdem erstmal so weiter.

Und was macht man bei einem Mismatch, wenn die Granularität ein einziger Blob von 16 TB sind?

Beten dass das zweite Backup der wichtigen Dateien noch da ist?
Ich denke, dass das erwähnte Problem mit der Granularität generell ein Problem von VM Disk Images sein dürfte. Eine virtuelle NAS Distribution dürfte dann immer dieses Problem haben, ab einer gewissen größe. Sehr wahrscheinlich lässt sich das besser lösen aber bisher bin ich nicht gut genug als BSD / Linux Tüftler dafür.

 

[Patrick M. Hausen]

Wenn Du ein TrueNAS virtualisierst, nimmst Du niemals virtuelle Disk-Images sondern grundätzlich PCIe-Passthrough für den Controller und lässt das TrueNAS die Platten selbst verwalten. Dann ist da ein ZFS drauf und Du hast nicht einen großen Blob.