Replication Tasks - Sync nach Zwangstrennung

hawell

Dabbler
Joined
May 23, 2020
Messages
11
Hallo Zusammen,
ich verzweifel gerade am oben genanntem Problem.

vorweg einige Infos:
Freenas 11.3 U3.1
Ich bin FreeNAS Neuling und alles andere als fit in dem System.

Ich habe nun seit einigen Monaten FreeNas auf 2 baugleichen Systemen laufen.
Ich will nun über zwei Replication Tasks die Systeme (zumindest teilweise) spiegeln.
Hier komme ich zu zwei "Problemen"

1: Die Systeme hängen an zwei unterschiedichen Internetanschlüssen, welche aber mittels LAN-LAN Kopplung zweier Fritzboxen verbunden sind. Wenn nun ein Replication Task syncronisiert und in diesem Prozess eine Zwangstrennung der Internetverbindung kommt, bricht der Task ab.
Ein selbstständiger Wiederantritt (auch mittels neuem Schedule) bekomme ich nicht hin.
Gibt es hier eine Lösung außer den Task immer händisch anzuwerfen?

2: Ich habe einen Replication Task erstellt und auch fertig syncronisiert. Inhalt des Tasks ist ein Dataset. Wenn ich nun ein weiteres Dataset dem Task hinzufügen will, wird diese Änderung zwar gespeichert, aber nicht auf das Zielsystem übertragen. Wenn ich den Task editire, sind die Änderungen aber gespeichert
Es erfolgt keine fehlermeldung o.ä.

Der Task liegt in beiden Fällen auf dem Quellsystem

habt ihr für mein Probelm eine Lösung?

mfg
Rico
 

John Doe

Guru
Joined
Aug 16, 2011
Messages
635
zu 1) eigentlich stellst du es nur ein und selbs tbei einer zwangstrennung baut der task die verbindung auf.
habe meinen main freena sund backup freenas, den backup werfe ich alle paar monate mal an. ich brauche nicht in die gui gehen für das spiegeln. das läuft alles so.

zu 2)
meine erfahrung ist, dass es manchmal etwas dauert. stell es mal ein, wie es sein soll und lass es mal nen tag oder 2 laufen.


ich hab das mit der lan - lan kopplung nicht ganz verstanden, möchte aber noch nen tipp geben. man kann für den replication task einen dedicated user angeben. wenn es übers internet geht würde ich es in jedem fall machen. gibt auch ein tutorial link
 

hawell

Dabbler
Joined
May 23, 2020
Messages
11
Hi,

zu 1: nein macht er nicht, wenn die Zwangstrennung kommt, geht der Task auf ERROR und startet nicht mehr, nur von Hand.

zu 2: ich habe den Task nun mehrere Monate laufen - die Erweiterung um ein Dataset bekommt er nicht mit? Kann es sein das ich den Taks falsch einrichte ?


zur LAN-LAN kopplung.
die 2 Fritzboxen können in der GUI mittels AVM-VPN verbunden werden (nennt sich LAN-LAN Kopplung anFirtz) anschließend kommt man mittels IP-Eingabe ganz einfach in das "Entfernte fremdnetz". Über diesen Weg sind auch meine beiden NAS verbunden. Bei einer Zwangstrennung baut sich der VPN auch wieder auf - dauter nur etwas. Vorteil die Boxen machen die Verschlüsselung unter sich aus.

wie verbindet ihr die NAS wenn sie sich an 2 unterschiedlichen Internetanschlüssen befinden?

Frage: Was ist der Vorteil es, wenn der replications Task von einem dedicatad user bearbeitet wird?

Gruß Rico
 

John Doe

Guru
Joined
Aug 16, 2011
Messages
635
hier mal meine einstellungen.

die sind evtl. nur bedingt nutzbar, weil ich es für 11.2 eingestellt habe, also noch vor der neuen gui
111111.JPG




der vorteil von dem dedicated user ist, dass du nicht über root ssh "rein" musst.
folglich werden auch keine root details verschickt.

ob oder wie kritisch es ist, per ssh das root passwort zu verschicken, weiss ich nicht, wenn es aber eine möglichkeit gibt, es gar nicht erst machen zu müssen, nehme ich es doch gerne wahr!


ps: ca. 3 Monate war mein backup freenas jetzt aus, hab ihn angemacht, ohne irgendeinen klick, hat der replication task selbstständig angefangen die daten zu übertragen
 
Last edited:

hawell

Dabbler
Joined
May 23, 2020
Messages
11
Anbei jetzt auch meine Einstellungen - vielleicht findet jmd einen Fehler?

im Pool sind unter Homes drei Datasets - der replicarions Task wurde als erstes erstellt - hier zwingt einem die GIU bei der Erstellung auch direkt einen Snapshot-Task anzulegen. Diesen habe ich dann auch angelegt, aber mit nur einem Dataset. Nach dem der Sync angeschlossen war, habe ich den Task auf alle drei Datasets erweitern wollen, indem ich die Quelle von /Data/Homes/Rico auf /data/Homes geändert habe.
Aber wie schon erwähnt, hat das keine Auswirkung im Ziel-NAS.

Anbei die Bilder: der Pool, der replication Task und der dazu passende periodic snapshot Taks
pool.PNG

rep_task.PNG
Period_Task.PNG



mit dem dedicated user das werde ich umsetzten -> danke !

Gruß Rico
 

John Doe

Guru
Joined
Aug 16, 2011
Messages
635
soweit würde ich sagen, sieht das gut aus.

was mir aufgefallen ist, unter SSH-Connection "NAS-Wernsdorf"
ich weiss nicht genau, wie es funktioniert oder was du dort machst. ich kenne es so, dass der Nutzername@IP adresse für SSH gebraucht wird.

kann natürlich sein, dass du aliase definiert hast, oder es über eine namensauflösung o.ä. regelst, oder das Freenas es "irgendwie" anders macht.

Testhalber würde ich mal root@ZielIpAdresse probieren, die kompression komplett rausnehmen und schauen, dass der task einmal komplett durchläuft.

wenn fertig, trenne die verbindung, füge z.b. ein textfile hinzu, lass den snapshot erstellen und verbinde die beiden kisten wieder.
der task sollte jetzt erneut durchlaufen und das delta kopieren.
das sollte auch ohne zutun von dir gehen
 

hawell

Dabbler
Joined
May 23, 2020
Messages
11
Hallo,

also die SSH-Connection funktioniert. Der Name NAS-Wernsdorf wurde von mir vergeben - Geht in 11.3 recht einfach.

Ich kann den Verbindungsfehler übrigents recht gut reproduzieren.
- Rep-Task Starten
- auf die entfernte Fritz Box gehen und da die Internetverbindung "neu verbinden"
- nach ca 70 Sekunden bricht der rep-Task ab mit ERROR (paramiko.ssh_exception.SSHException: Timeout opening channel.)

nachdem ich nun einen Fehler in den Einstellungen des Rep-Task gefunden habe, startet der Rep-Task nun immer wieder, wenn ein periodischer Snapshot-Task gestartet wird - Schade nur, dass er den Verbindungsversuch (nach SSH-Timeout) nicht selbstständig wieder aufnimmt.

eine Grundsatzfrage:
der Snapshot-Task hat einen schedule - der Rep-Task aber nicht - oder wie muss ich das verstehen? der Rep-Task startet immer dann, wenn der verbundene Snapshot-Task fertig ist? oder wie ?

Gruß Rico
 

John Doe

Guru
Joined
Aug 16, 2011
Messages
635
die beiden tasks sind halbwegs unabhänig voneinander.

der snapshot task macht nur die snapshots, der replication tasks prüft bei mir IMMER, ob die gegenstelle verfügbar ist.
Wenn verfügbar, dann prüft er, ob es ein unterschied gibt (remote NAS, localer NAS) gibt es einen unterschied, wird im replication task nachgeschaut, wann übertragen werden darf. wenn übertragen werden darf, wird der snapshot übertragen.

die replication task sache hat mir auch graue haare bereitet. solltest du noch die möglichkeit haben, nimm komplexität aus dem system, bis es läuft.

Konkret: stell die beiden kisten nebeneinander, verbinde sie nur mit einem switch. den verbindungsausfall kannst du dann mittel kabel rausziehen/ einstecken simulieren.

ich bekomme jeden tag eine email mit dem alarm, dass die gegenstelle nicht verfügbar ist. Schalte ich meinen backup nas ein, verbindet es sich immer automatisch. ich habe ein wenig das gefühl, dass es ein problem zwischen den beiden NAS kisten ist, als bei den einstellungen im nas.
 

micneu

Patron
Joined
Mar 23, 2019
Messages
473
also ich habe noch ein paar fragen:
- wie schnell sind deine beiden leitungen (down/up)?
- um welche daten menge genau reden wir die übertragen werden sollen?
- mit den fritzboxen bin ich nicht mehr so auf dem laufenden, also damals konnte man die zwangstrennung selber provozieren und zu einer bestimmten zeit die verbindung trennen, das vpn der fritzboxen ist nicht sehr potenten, was hast du für boxen genau, einige modelle sind auf 10mbit begrenzt. ich setze als firewall/vpn-router opnsense ein und ein modem von draytek an einem dtag vdsl.
meine opnsense mit einem draytek vigor 165 100mbit/40mbit kann ich voll ausnutzen (meine firewall hardware ist ein core i3 und ein i7 system), gegenstelle ich eine 1gbit glasfaser letung. du könntest dir auch wireguard anschauen, ist noch etwas potenter als OpenVPN.
 

Attachments

  • 2020-06-02_20-06-11.png
    2020-06-02_20-06-11.png
    149.2 KB · Views: 186

hawell

Dabbler
Joined
May 23, 2020
Messages
11
ich bekomme jeden tag eine email mit dem alarm, dass die gegenstelle nicht verfügbar ist. Schalte ich meinen backup nas ein, verbindet es sich immer automatisch. ich habe ein wenig das gefühl, dass es ein problem zwischen den beiden NAS kisten ist, als bei den einstellungen im nas.
Verbindet/Syncronisiert er sofort oder erst nach einem Ereignis (z.B Snapshot-Task)?

nach dem ich nun den Fehler in der Einstellungen raus habe funktioniert es bei mir wiefolgt.
- der Rep-Task läuft und bricht nach der Zwangstrennung ab -> ERROR
- ich habe den Snapshot-Task so terminiert (schedule) das er nach der voreingestellten Zwangstrennung der Fritzbox startet
- nach/mit dem Snapshot-Task startet dann auch der Rep-Task wieder und synct weiter.
nur den Rep-Task zu starten mittels Schedule geht nciht dann kommt die Fehlermeldung
fehlermeldung.PNG


also ich habe noch ein paar Fragen:
- wie schnell sind deine beiden leitungen (down/up)?
- um welche daten menge genau reden wir die übertragen werden sollen?
- mit den fritzboxen bin ich nicht mehr so auf dem laufenden, also damals konnte man die zwangstrennung selber provozieren und zu einer bestimmten zeit die verbindung trennen, das vpn der fritzboxen ist nicht sehr potenten, was hast du für boxen genau, einige modelle sind auf 10mbit begrenzt.

wie schnell - Ein Anschluss ist das Probelm -> unfassbare 4MBit/0,5mMBit .. deswegen dauert auch alles ewig.
Datenmengen - im laufenden Betrieb täglich zwischen 2-5 GB (up/down ca gleiche Datenmengen) - der Erstsync ist natürlich weit höher -> ca 300gb
die Boxen sind zwei 7490 - eine Auslasung bekomme ich wegen des Internetanschlusses eh nicht hin.

würde ein VPN direkt zwischen den beiden NAS etwas bringen?

Ich habe im jetztigen Aufbau die maximale Kompression und die geringste SSH Verschlüsselung aktiviert - ich bin der meinung das bringt spühbar etwas. die Verschlüsselung macht ja die Fritzbox - theoretisch könnte ich die Verschlüsselung ja ganz abschalten.
 

micneu

Patron
Joined
Mar 23, 2019
Messages
473
du hast schon ein vpn direkt (über die fritzboxen) das vpn protokol nennt sich IPSec was da im hintergrund läuft.
ich persönlich sehe es gerade so das es mit der bandbreite die du da hast eigentlich keinen sinn macht.
ich empfehle meist für solche sachen mindestens eine 100/40er leitung oder mehr wenn es geht.
aber dann kommen wir auch zu dem thema dann kein vpn mehr über die fritzboxen sondern was vernünfiges.
 

hawell

Dabbler
Joined
May 23, 2020
Messages
11
Du hast natürlich recht, mit der Bandbreite kann ich nichts reißen, aber ich kann es leider nicht ändern.
Die Datenmengen sind ja auch überschaubar...

Mr ging es bzgl des VPN darum, ob ich einen Server/Client direkt auf die NAS lege, da die deutlich Potenter sind als die fritzbox. Gern lasses ich es aber auch so, muss ja nichts ändern was aktuell funktioniert.
 

John Doe

Guru
Joined
Aug 16, 2011
Messages
635
Verbindet/Syncronisiert er sofort oder erst nach einem Ereignis (z.B Snapshot-Task)?

nach dem ich nun den Fehler in der Einstellungen raus habe funktioniert es bei mir wiefolgt.
- der Rep-Task läuft und bricht nach der Zwangstrennung ab -> ERROR
- ich habe den Snapshot-Task so terminiert (schedule) das er nach der voreingestellten Zwangstrennung der Fritzbox startet
- nach/mit dem Snapshot-Task startet dann auch der Rep-Task wieder und synct weiter.
nur den Rep-Task zu starten mittels Schedule geht nciht dann kommt die Fehlermeldung
View attachment 38953



...

es wird nach dem anschalten sofort synchronisiert. mit einer der gründe dürfe wohl sien, dass ich es alle paar monate mal mache, somit gibt es auf jedenfall ein delta der snapshots (local vs remote)


ja, der fehler ist sinnig. während der snapshot erstellt wird, kann dieser nicht zugleich auch synchronisiert werden.

wie gesagt, wenn möglich stell die beiden kisten nebeneinander, pack sie an einen switch und setze die zeiten von dem snapshot task auf täglich ein oder 2 mal und limitiere den replication task nicht.

als "debugger" kannste auf dem remote nas den snapshot als smb share einbinden.

tag 1: erstellst auf dem local nas eine textfile mit "Tag1"
Tag 2: schaust auf dem remote smb share ob du das textfile mit "Tag1" findest.

geht das, machst du am darauffolgenden tag eine weitere textfile auf dem localen nas mit "Tag2"
tag 4: erstellst noch ein textfile mit "Tag 4" ziehst dann sofort das kabel raus für 3h und steckst es wieder ein

direkt nach dem einstecken solltest du nur Tag 1 und Tag 2 auf dem SMB share vom Remote finden. nach ein paar stunden dann auch Tag 4
 

hawell

Dabbler
Joined
May 23, 2020
Messages
11
ja, der fehler ist sinnig. während der snapshot erstellt wird, kann dieser nicht zugleich auch synchronisiert werden.
ich blick es gerade nicht oder steh auf dem Schlauch.
  • Der Snapshot-Task hat einen Schedule das ist auch logisch - soweit so gut.
  • der Rep-Task ist mit dem Snapshot-Task "verbunden" auch OK.
  • aber der Rep-Task kann dann keinen eigenen Scheduler bekommen ? für was ist dann der Scheduler da - für dan Fall das Task nicht pusht sondern pullt ?
fehlermeldung.PNG



wie gesagt, wenn möglich stell die beiden kisten nebeneinander, pack sie an einen switch und setze die Zeiten von dem snapshot task auf täglich ein oder 2 mal und limitiere den replication task nicht.
das ist gerade nicht mehr machbar .. die kisten stehen 500km auseinander.

aber akuell sieht es so aus, als würde der Rep-Task laufen, er startet zumindest jede Nacht nach der Zwangstrennung neu, (wenn der Snapshot-Task gelaufen ist). Das ist schon mal mehr als er bisher gemacht hat.
 
Top