Fehler im Replication Task - Failed: Permission denied (publickey,password)

[vafk]

Mein Ziel: Replication Task eines Datasets auf eine externe USB-Festplatte

Mein System:
HP N54L, 4x 2TB, 3TB USB-HDD
FreeNAS-11.0-U3 (c5dcf4416)

Ich habe mich mit dieser Anleitung inspirieren lassen: FreeNAS Internal Backups
https://www.cod3r.com/2015/12/freenas-internal-backups/

Die externe Festplatte wurde mit Volume Manager neu eingerichtet. Sie trägt den Namen extern2 (Compression level: Inherit (lz4), Share Type: Unix). Es ist ein Dataset Backups eingerichtet (Compression level: Inherit (lz4), Share Type: Unix), Owner (user): root, Owner (group): AllUsers, Mode: Owner RWE, Group RWE, Other EX, Permission Type : Unix

Einstellungen im Replication Task:
Volume/Dataset: nas1/Backups
Remote ZFS Volume/Dataset: mnt/extern2/Backups
Replication Stream Compression: off
Remote hostname: localhost
Remote port: 22
Encryption Cipher: Fast
Remote hostkey: localhost ssh-rsa

Einstellungen user:root
Primary Group: wheel
SSH Public Key: gleich wir im Replication Task
Auxiliary groups: keine

Fehlermeldung nach starten des Replication Tasks
Failed: Permission denied (publickey,password)

Kennt jemand die richtigen Einstellungen? Danke.

 

[MrToddsFriends]

Replication sollte genau wie im FreeNAS User Guide beschrieben funktionieren:
http://doc.freenas.org/11/storage.html#replication-tasks

Bei Remote hostname 127.0.0.1 oder localhost eingeben, das sollte es an Unterschieden zu Replication auf ein Remote System gewesen sein.

Evtl. ist der Abschnitt Troubleshooting Replication hilfreich
http://doc.freenas.org/11/storage.html#troubleshooting-replication

 

[MrToddsFriends]

Probier' mal Folgendes:

Remote ZFS Volume/Dataset: extern2

mnt sollte überflüssig sein und Backups sollte durch die Replikation angelegt werden.

 

[vafk]

Ich habe bei Remote ZFS Volume/Dataset: extern2 eingetragen und als hostname 127.0.0.1. Nach der Aktualisierung erhalte ich ebenfalls "Failed: Permission denied (publickey,password)".
Scheint in der Tat ein Rechteproblem zu sein. Ich frage mich nur wo...

 

[X11SAE]

Hast Du die Replizierung manuell oder halbautomatisch konfiguriert?
Wenn ich eine neue Replizierung manuell einrichten will, erhalte ich auch immer Deine Fehlermeldung.
Halbautomatisch funktioniert jedoch alles einwandfrei.

 

[vafk]

Dass man eine Replizierung manuell oder halbautomatisch konfigurieren kann, ist mir nicht aufgefallen.
Wo stelle ich im Nachhinein auf "halbautomatisch" um oder muß ich die Replizierung neu anlegen?

 

[X11SAE]

Super, ich glaube das Rätsel ist gelöst :)

Ich glaube, Du musst den Replikationstask leider neu erstellen. Geht ja zum Glück relativ schnell. Hier siehst Du das mit dem Halbautomatisch: https://doc.freenas.org/11/storage.html#example-freenas-to-freenas-semi-automatic-setup

 

[vafk]

Habe es gefunden und das Backup läuft.

1000 Dank!

 

[ArgaWoW]

Habe es gefunden und das Backup läuft.

1000 Dank!

Normal musst du bei der Meldung den public key von replication z. B. In den root user kopieren. Je nach dem mit welchem Benutzer du die replication durchführen willst

War das die Lösung?

 

[vafk]

Wenn der Task auf manuell gestellt ist, wird der public key abgefragt. Diesen habe ich bei Root eingetragen aber es kam zu der besagten Fehlermeldung. Beim Einstellen des Tasks auf halb-automatisch wird statt des public keys ein Token abgefragt, nach dessen Eingabe die Replikation dann gestartet hat. Ich habe gestern Abend als erstes ein Verzeichnis mit 500 GB repliziert, was jedoch heute früh erst zu 50% fertig war. Ich hoffe, daß es heute Abend durch ist.

Ist das normal, daß der Datentransfer so lange in Anspruch nimmt? Die USB-HDD ist an eine zusätzliche USB 3.0 Schnittstelle angeschlossen, die ich wegen der höheren Geschwindigkeit eingebaut habe.

 

[MrToddsFriends]

Ich habe gestern Abend als erstes ein Verzeichnis mit 500 GB repliziert, was jedoch heute früh erst zu 50% fertig war. Ich hoffe, daß es heute Abend durch ist.

Ist das normal, daß der Datentransfer so lange in Anspruch nimmt? Die USB-HDD ist an eine zusätzliche USB 3.0 Schnittstelle angeschlossen, die ich wegen der höheren Geschwindigkeit eingebaut habe.

Kommt mir auch vergleichsweise langsam vor. Bei mir laufen die internen Replikations-Jobs an SATA 2.x mit rund 20 MByte/s (Mirror mit rund 20 MByte/s Transferrate auf beiden Platten). Auch schon nicht besonders flott.

Schnell überschlagen wäre die benötigte Zeit für 500 GB bei dieser Transferrate
500 GByte / (20 MByte/s) = (500 MByte * 1024) / (20 MByte/s) = 25.600 s = 7,11 h
Bei 20 MByte/s wären also 500 GByte in 7,11 h "durch".

Im Output von dmesg | grep transfers sehe ich bei meinem System 10 Geräte, davon vier mit SATA 3.x, vier mit SATA 2.x und zwei mit 400.000MB/s. Diese letzteren beiden sind zwei USB-Sticks an USB v3.0. Wie sieht der Output bei Dir aus?

Code:

~ # dmesg | grep transfers
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes)
ada1: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes)
ada2: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada3: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada4: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada5: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada6: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes)
ada7: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes)
da0: 400.000MB/s transfers
da1: 400.000MB/s transfers

Ein weiterer möglicher Schritt wäre ein dd-Benchmark mit der USB-Platte wie etwa hier:
https://forums.freenas.org/index.php?threads/ssd-pool-fehlende-performance.57650/#post-405946
Der dd-Benchmark dann bevorzugt nach dem Fertigstellen der Replikation, versteht sich.

 

[vafk]

@MrToddsFriends:
Das macht mich stutzig: Als ich heute Abend nach Hause kam (ca. 19:00) war der Task bei 95%. Dieser lief seit gestern Abend, also kann man überschlagen sagen 24h für 1.2 TiB.
Was ich auch interessant fand, daß während der gesamten Replikation im Explorer keine Dateien zu sehen waren. Erst als der Tast zu Ende war (also im Replication Task Fenster 100% erreicht wurden), lief der Task nochmal an, diesmal in wenigen Minuten von 0% bis 100% und erst dann waren die Dateien im Explorer zu sehen.

Folgende Übertragungsraten werden mir angezeigt:

root@freenas1:~ # dmesg | grep transfers
ada0: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada1: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada2: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada3: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
da0: 40.000MB/s transfers
da1: 40.000MB/s transfers
da2: 400.000MB/s transfers

Meine externe USB da2 ist also genauso schnell wie Deine da0/da1. Woher dann der Flaschenhals?

 

[MrToddsFriends]

@MrToddsFriends:
Das macht mich stutzig: Als ich heute Abend nach Hause kam (ca. 19:00) war der Task bei 95%. Dieser lief seit gestern Abend, also kann man überschlagen sagen 24h für 1.2 TiB.

Ich bring' das zum Vergleich auf die Einheit MiByte/s:
1,2 TiByte / 24 h = (1,2 * 1024 * 1024) MiByte / (24 * 3600) s = 14,56 MiByte/s
Alles andere als berauschend, aber nicht so weit weg von den "rund 20 MByte/s", die ich auf meinem System sehe (SATA -> SATA).

Hmmm, Bug #24405 Speed improvement for replication ist zwar für 11.0-U3 bearbeitet worden, ich sehe aber keinen nennenswerten Unterschied zu vorher. Es gibt ein paar weitere Bug Reports zu Replication, die Version für 11.1 als Target haben, ich habe allerdings noch nicht nachgesehen, ob irgendetwas Performance-relevantes dabei ist.

Evtl. kann man bei den Optionen der Replikation noch etwas herausholen. Replication Stream Compression bei mir auf lz4 (bringt Off etwas?), Encryption Cipher auf Fast (bringt Disabled etwas?) und ein Replication Speed Limit wäre natürlich hinderlich (ist bei mir auf 0).

Bei mir stört die geringe Performance nicht sonderlich, die Replikation von Snapshots ist bei mir üblicherweise in einigen Minuten durch.

Was ich auch interessant fand, daß während der gesamten Replikation im Explorer keine Dateien zu sehen waren. Erst als der Tast zu Ende war (also im Replication Task Fenster 100% erreicht wurden), lief der Task nochmal an, diesmal in wenigen Minuten von 0% bis 100% und erst dann waren die Dateien im Explorer zu sehen.

Dazu kann ich nichts sagen. Ich habe keine Freigabe auf meine Replication-Targets. Und eine Fortschrittsanzeige meiner Replikationen habe ich schon lange nicht mehr beachtet.

root@freenas1:~ # dmesg | grep transfers
[...]
Meine externe USB da2 ist also genauso schnell wie Deine da0/da1. Woher dann der Flaschenhals?

Der dmesg Aufruf war zunächst dazu da, um zu sehen, dass das betreffende Gerät per USB 3.0/SuperSpeed angebunden ist. Sicherheitshalber kannst Du auch noch die Ausgabe von usbconfig posten, bin mir in Sachen Aussagekraft der Ausgabe von dmesg nicht ganz sicher.

Ein Benchmark ist Beides freilich nicht, das sind lediglich Hinweise von Seiten der betreffenden Treiber auf eine theoretische maximale Datentransferrate.

 

[X11SAE]

Was ich auch interessant fand, daß während der gesamten Replikation im Explorer keine Dateien zu sehen waren. Erst als der Tast zu Ende war (also im Replication Task Fenster 100% erreicht wurden), lief der Task nochmal an, diesmal in wenigen Minuten von 0% bis 100% und erst dann waren die Dateien im Explorer zu sehen.

Das klingt für mich beabsichtigt. Es werden ja nicht einzelne Dateien repliziert, sondern ein Snapshot. Erst wenn der komplett übertragen wurde, sind auch die einzelnen Dateien sichtbar (bei der 1. Replizierung).
Dass der Task ein 2. Mal startet finde ich jedoch komisch, ausser wenn per Zufall der 1. Task gerade fertig wurde, als schon der nächste Task anstand.

 

[Milongero]

Hallo, ich hänge mich hier mal mit dran [emoji6]



ich habe eine Frage zum Replication-Task (Server zu Server über SSH).

Meine beiden Server sind:



1.Haupt
-ML10v2 Hashwell mit I3 4170 (3,7GHz, vt-x, quick Sync und ECC)
- 32 GB ECC RAM
- 4x 4 TB HDD im Raid Z1 (Daten) -> 10,4 TB eff.
- 2x 60 GB SSD im Mirror (System Data set und Jails und der Plex-Server)
- 1x 1 GBit LAN am 4 Port Switch shared mit ILO
- 2x 16 GB USB Stick (Boot Mirror)
- keine zus. Einsteckkarten oder sonst. Erweiterungen



2.Backup- HP N40L der Klassiker mit gehacktem Bios (Full Speed Sata2 auf allen 6 Kanälen)
- 8 GB ECC RAM
- 5x 3 TB im Raid Z1 (Daten) -> 10,9 TB eff.
- 1x 60 GB SSD (System Data set und Jails)
- 1x 16 GB USB Stick (Boot)
- 1x 1 GBit Lan am 4 Port Switch
- keine zus. Einsteckkarten oder sonst. Erweiterungen



Beide Server laufen mit FreeNAS 11u3

Auf dem Hauptserver läuft noch der Plex-Server mit einer 10 GB großen Datenbank.

beide Server stehen mom. direkt nebeneinander und hängen am selben Switch.



Ich habe auf meinem Hauptserver mehrere Datasets angelegt und die über SMB im Netz freigegeben.

Zugriff vom Win 10 Client auf die Freigaben mit über 100MB/s sowohl lesend als auch schreibend!!!



Auch lasse ich von den einzelnen Datasets regelmäßige Snapshots erstellen. Für diese Snapshots habe ich je einen Replication Task zum Backup Server angelegt. Ich habe mich dabei an die Anleitung von "Sysops.TV 093" bei Youtube gehalten.

Es funktioniert auch alles nur das Tempo ist unterirdisch! mit "systat -ifstat 1" kann man den Netzwerk Verkehr einblenden. Und da habe ich nur ca. 12 MB/s!!! :-( Mein Medien Dataset ist 4 TB groß und der Läuft schon seit 2 Tagen und ist erst bei ca. 30%. :-((

Wenn ich mir auf dem Backup eine Freigabe einrichte kann ich darauf auch mit ca. 100 MB/s vom Win-PC aus zugreifen.

Wieso ist das Replicieren so langsam??



Mit freundlichem Gruß

Lutz




Gesendet von meinem SM-G930F mit Tapatalk

 

[Milongero]

Hallo,


nach langem Suchen hab ich jetzt die Lösung gefunden.FreeNAS Doc Punkt 8.3.5

In Sachen Speed ist Encryption Cipher der wichtigste Punkt. Hier kann man die Sicherheit der Verschlüsselung einstellen.

Zur Auswahl stehen "Standard|Fast|Deaktiviert" !

Der Unterschied zwischen Standard und Deaktiviert ist bei mir Faktor 5-6 sprich von ca. 12 MB/s zu 60 MB/s. Eigentlich widerspricht sich das Ausschalten der Verschlüsselung mit dem SSH-Konzept, aber das alte Telnet wird ja nicht angeboten.

Was mir noch aufgefallen ist: Der Backup-Server ist schwer am Kämpfen. Die Opa-CPU (AMD-Turion) ist bei 90% Last während des Replizierens. Scheinbar begrenzt hier die CPU noch höhere Transferraten. Und der ganze HP N40L nuckelt fast 90 Watt aus der Dose gegenüber ca. 50 W bei normalem Betrieb. Das hat er aber auch schon mit Verschlüsselung gebraucht - nur eben viel länger!!! Ich habe gestern um 21.00 Uhr nochmal den Medien-Backup (ca. 4 TB) ohne Verschlüsselung gestartet. War heute Morgen um 6.00 Uhr schon bei 40% - also schon weiter als vorher nach 3 Tagen. Damit kann ich jetzt gut leben.

In Zukunft soll der Backupserver einmal die Woche autom. über Zeitschaltuhr (Fritz!Dect200) hochfahren, ein paar Stunden replizieren und dann über Cronjob sich selbst ausschalten. Die Fritz!dect schaltet dann ab einer Schwelle von 8W denn Strom wieder komplett ab. Übrigens den Energie-Umsatz kann man mit diesen smarten Dosen auch gut ablesen und sie sind über Handy-App vernsteuerbar - auch von außerhalb des WLANs.

Mein Hauptserver schicke ich auf die gleiche Weise Nachts schlafen, nur hier ist die Schaltung halt täglich.



Gruß Lutz

Gesendet von meinem SM-G930F mit Tapatalk

 

[emk2203]

@Milongero, wie du selbst herausgefunden hast, kommt der N40L eben an seine Grenzen. Kann deine Werte nur bestätigen, eine normales zfs send / receive kommt bei mir auch nicht über 40GB/h oder eben 12MB/s.

Die Aussage, dass der Unterschied zwischen fast und off bei der Encryption Faktor 5 - 6 ausmacht, ist gut zu wissen. So hoch hätte ich das nicht eingeschätzt, dann weiß ich, was ich in Zukunft machen kann.

Wie hast du bei dir eigentlich die SSD hardwaremäßig untergebracht? Dieses Upgrade würde ich meinem N40L auch noch gönnen wollen, zumal so eine SSD bei mir noch rumliegt. Würde mich auch über ein Foto vom Server freuen, auf dem man das mit der SSD sieht. Natürlich nur, wenn das ohne Umstände geht.

 

[Milongero]

Hast du das Bios-mod den schon drauf?

Gesendet von meinem SM-G930F mit Tapatalk

 

[emk2203]

Ja. Wir haben sehr ähnliche Systeme. Siehe Signatur - mit 5 Festplatten läuft der N40L schon von Anfang an.

 

[Milongero]

Ich habe die SSD einfach oben auf die obere HDD mit Klettband geklebt.
Du brauchst halt noch ein Kabel SATA auf eSata und Strom - sprich molex auf 2x SATA
Kein Hexenwerk!
Das eSata Kabel ziehst du über die PCi Blende nach innen.

Gesendet von meinem SM-G930F mit Tapatalk