Netzwerkproblem: WebUi und ssh nicht erreichbar, kein Netz, igb0 is not a dhcp-enabled interface

Status
Not open for further replies.

floogy

Dabbler
Joined
Oct 24, 2012
Messages
22
Hallo,

ich habe diverse Probleme, nachdem mir eine Platte mit smart 5 reallocation sector count > 2500 in einem Pool raidz2 aus 6 Platten kaputt ging. Nach kratzenden Geräuschen quittierte sie dann ganz den Dienst und der Pool war Degraded.

Leider lief das Ding nun mehrere Jahre problemlos, so dass ich nur noch wenig Ahnung von FreeNAS oder FreeBSD habe. Ich komme eher mit Debian oder Ubuntu zurecht und nutze Windows 10/cygwin als auch Mac Os X.

Folgender Fehlerkette unterlief mir daher:

Code:
1.

Email from freenas:
Device: /dev/ada1, 8 Currently unreadable (pending) sectors Device: /dev/ada1, 8 Offline uncorrectable sectors Device: /dev/ada1, Self-Test Log error count increased from 0 to 1

____________________________

2.
Logging into freenas
smartctl -a /dev/ada1
->  5 Reallocated_Sector_Ct   0x0033   098   098   010	Pre-fail  Always	   -	   2504

____________________________

3.
$ ssh root@freenas
root@freenas's password:
Last login: Mon Feb 27 13:45:02 2017 from 192.168.70.138
FreeBSD 10.3-STABLE (FreeNAS.amd64) #0 r295946+1805185(9.10.2-STABLE): Wed Jan 11 17:12:42 UTC 2017
		FreeNAS (c) 2009-2016, The FreeNAS Development Team
		All rights reserved.
		FreeNAS is released under the modified BSD license.
		For more information, documentation, help or support, go here:
		http://freenas.org
Welcome to FreeNAS
[root@freenas] ~# zpool status
  pool: ao
state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
		the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://illumos.org/msg/ZFS-8000-2Q
  scan: scrub repaired 0 in 48h6m with 0 errors on Tue Feb 14 00:06:56 2017
config:
		NAME											STATE	 READ WRITE CKSUM
		ao											  DEGRADED	 0	 0	 0
		  raidz2-0									  DEGRADED	 0	 0	 0
			11540476702111911714						UNAVAIL	  0	 0	 0  was /dev/gptid/33a856cd-1104-11e5-870d-d0509934ae3c
			gptid/3412f624-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/347705fb-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/34ce0478-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/352fd0b5-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/3584a665-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
errors: No known data errors
  pool: freenas-boot
state: ONLINE
  scan: scrub repaired 0 in 0h1m with 0 errors on Sat Jan 28 03:46:53 2017
config:
		NAME		STATE	 READ WRITE CKSUM
		freenas-boot  ONLINE	   0	 0	 0
		  mirror-0  ONLINE	   0	 0	 0
			da0p2   ONLINE	   0	 0	 0
			da1p2   ONLINE	   0	 0	 0
errors: No known data errors
[root@freenas] ~#
________________________________

4.
   see: http://illumos.org/msg/ZFS-8000-2Q


Das see: http://illumos.org/msg/ZFS-8000-2Q im Alert hat mich leider dazu gebracht die Platte auf der Konsole zu ersetzen.
Also /dev/ada1 statt den gptid Namen bzw. über die webui.

Dieser Anwenderfehler ist im übrigen das Resultat der Unerreichbarkeit der webui.

Diese Unerreichbarkeit habe ich mir teilweise selbst zuzuschreiben. Denn ich habe den Ausbau der Platte dazu genutzt auch mal eben BIOS und BMC des Boards zu erneuern.

Es handelt sich um das Board ASRock E3C226D2I. Ich hatte das Bios P2.00 und BMC (IPMI) 0.14 installiert. http://www.asrockrack.com/general/productdetail.asp?Model=E3C226D2I#Download

Per IPMI KVM java console hatte ich erst noch den S.M.A.R.T. Status mittels smartctl abgefragt und dann per Firmwareupdate das BMC auf 0.22 bringen wollen. Leider ergab sich nicht das Bild wie in der Anleitung. Der Browser Chrome ist an diesem Punkt nicht weiter gekommen als bis Punkt 1. des Firmwareupgrades. Dann hatte ich leider die Webseite reloaded, was dazu führte, dass sie nicht mehr erreichbar war.

Nachdem ich einen Monitor an den VGA-Ausgang des NAS angeschlossen hatte und rebootete, sah ich, dass kein BMC mehr vorhanden war. ImBIOS auf der ersten Seite fand sich nur
BMC:
hier sollte die version 0.14.0 stehen.

Leider schaffte ich es so nicht das BMC zu erneuern. Ich fingerte also im Rechner herum, um die CMOS.-Batterie herauszubekommen. Auch ersetzte ich daher schon mal die defekte Festplatte. So hatte ich auch mehr Platz für meien Hand, um die Batterie herauszubekommen. Ich trennte zudem die Stromversorgung. Nach einiger Zeit ohne Stromzufuhr und CMOS-Batterie setzte ich die Batterie wieder ein und schloß das Mainboard wieder an die Stromversorgung an. Nach dem Neustart zeigte nun das Mainboard 0.14.0 als BMC-Version an.

Nun machte ich ein Instant-Flash upgrade des BIOS, das zuerst nicht funktionierte. NAch der Auswahl des, im Suchlauf der Instant-Flash-Funktion, gefundenen BIOS-Images auf dem USB-Stick, sprang nach Enter sie Flash-Funktion unverrichteter Dinge zurück ins BIOS. Nach dem clearen des CMOS ging es dann aber glaube ich. Jedenfalls brachte ich dann das BIOS auf P3.30.

Die Maintenence-IPMI-BMC brachte ich dann auch erfolgreich auf 0.22.0 und kam aber nicht mehr in die WebUI des FreeNAS 9.10.

Deshalb, damit das resilvering schon mal über Nacht laufen konnte, machte ich das replace auf der Console mit /dev/ada1.

Also etwa, so (ao ist der Pool-Name):
Code:
zpool replace ao /dev/gptid/33a856cd-1104-11e5-870d-d0509934ae3c  /dev/ada1


Das klappte auch ganz gut (siehe Codeblock) weiter oben.

Allerdings habe ich nun erfahren, dass das unbedingt in der webui gemacht werden soll, die die Platte dann partitioniert und eine Partition in den Pool einbindet (entsprechend der gptid oben).

Hierzu eine erste Frage:
Die kann ich doch nun wieder Offline bringen und über die (hoffentlich bald wieder errreichbare) webui erneut einbinden und resilvern lassen? Das resilvern wird etwa eine Woche benötigen. Die zwei Tage muss ich dann in Kauf nehmen. Wenn Freenas auch wieder im Netz erreichbar sein sollte und der AD beitreten kann, so sind ja auch die Daten im DEGRADED Zustand erreichbar.

Also nun zum größten Problem: mir scheint, dass das BIOS-Update nicht gut für die NICs war.

Mit einem NIC kann ich das IPMI/BMC per Web erreichen und so die Java KVM console nutzen. Mit dem anderen NIC konnte ich kurzfristig sogar die WebUI erreichen und per ssh einloggen:
Code:
$ ssh root@192.168.70.131
The authenticity of host '192.168.70.131 (192.168.70.131)' can't be established.
ECDSA key fingerprint is SHA256:zguWdzvoF74XQ/z/RmpkxNQpSUdDmlL/Am2BJ5pT7YA.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.70.131' (ECDSA) to the list of known hosts.
root@192.168.70.131's password:
Last login: Mon Feb 27 17:02:22 2017
FreeBSD 10.3-STABLE (FreeNAS.amd64) #0 r295946+1805185(9.10.2-STABLE): Wed Jan 11 17:12:42 UTC 2017

		FreeNAS (c) 2009-2016, The FreeNAS Development Team
		All rights reserved.
		FreeNAS is released under the modified BSD license.

		For more information, documentation, help or support, go here:
		http://freenas.org
Welcome to FreeNAS
[root@freenas] ~# bash
[root@freenas ~]# dmesg | grep igb
igb0: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xe000-0xe01f mem 0xf7200000-0xf727ffff,0xf7280000-0xf7283fff irq 18 at device 0.0 on pci2
igb0: Using MSIX interrupts with 5 vectors
igb0: Ethernet address: d0:50:99:34:ae:3c
igb0: Bound queue 0 to cpu 0
igb0: Bound queue 1 to cpu 1
igb0: Bound queue 2 to cpu 2
igb0: Bound queue 3 to cpu 3
igb1: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xd000-0xd01f mem 0xf7100000-0xf717ffff,0xf7180000-0xf7183fff irq 19 at device 0.0 on pci3
igb1: Using MSIX interrupts with 5 vectors
igb1: Ethernet address: d0:50:99:34:ae:3d
igb1: Bound queue 0 to cpu 0
igb1: Bound queue 1 to cpu 1
igb1: Bound queue 2 to cpu 2
igb1: Bound queue 3 to cpu 3
igb1: link state changed to UP
igb1: promiscuous mode enabled
igb1: link state changed to DOWN
igb1: link state changed to UP
igb0: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xe000-0xe01f mem 0xf7200000-0xf727ffff,0xf7280000-0xf7283fff irq 18 at device 0.0 on pci2
igb0: Using MSIX interrupts with 5 vectors
igb0: Ethernet address: d0:50:99:34:ae:3c
igb0: Bound queue 0 to cpu 0
igb0: Bound queue 1 to cpu 1
igb0: Bound queue 2 to cpu 2
igb0: Bound queue 3 to cpu 3
igb1: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xd000-0xd01f mem 0xf7100000-0xf717ffff,0xf7180000-0xf7183fff irq 19 at device 0.0 on pci3
igb1: Using MSIX interrupts with 5 vectors
igb1: Ethernet address: d0:50:99:34:ae:3d
igb1: Bound queue 0 to cpu 0
igb1: Bound queue 1 to cpu 1
igb1: Bound queue 2 to cpu 2
igb1: Bound queue 3 to cpu 3
igb1: link state changed to UP
igb1: promiscuous mode enabled
igb1: link state changed to DOWN
igb1: link state changed to UP
[root@freenas ~]# ifconfig igb0
igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
		options=6403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
		ether d0:50:99:34:ae:3c
		nd6 options=9<PERFORMNUD,IFDISABLED>
		media: Ethernet autoselect
		status: no carrier
[root@freenas ~]# ifconfig igb1
igb1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
		options=2400b9<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO,RXCSUM_IPV6>
		ether d0:50:99:34:ae:3d
		inet 192.168.70.131 netmask 0xffffff00 broadcast 192.168.70.255
		nd6 options=9<PERFORMNUD,IFDISABLED>
		media: Ethernet autoselect (1000baseT <full-duplex>)
		status: active
[root@freenas ~]#
[root@freenas ~]# Connection reset by 192.168.70.131 port 22
$ ssh root@192.168.70.131
root@192.168.70.131's password:
Last login: Tue Feb 28 17:22:28 2017 from 192.168.70.138
FreeBSD 10.3-STABLE (FreeNAS.amd64) #0 r295946+1805185(9.10.2-STABLE): Wed Jan 11 17:12:42 UTC 2017

		FreeNAS (c) 2009-2016, The FreeNAS Development Team
		All rights reserved.
		FreeNAS is released under the modified BSD license.

		For more information, documentation, help or support, go here:
		http://freenas.org
Welcome to FreeNAS
[root@freenas] ~# service dhclient restart igb0
dhclient not running? (check /var/run/dhclient.igb0.pid).
Starting dhclient.
igb0: no link .............. giving up
/etc/rc.d/dhclient: WARNING: failed to start dhclient
[root@freenas] ~# service dhclient restart igb1
Stopping dhclient.
Waiting for PIDS: 15232.
Starting dhclient.
DHCPREQUEST on igb1 to 255.255.255.255 port 67
DHCPACK from 192.168.70.200
bound to 192.168.70.131 -- renewal in 86400 seconds.
[root@freenas] ~#
[root@freenas] ~# ifconfig igb0
igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
		options=6403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
		ether d0:50:99:34:ae:3c
		nd6 options=9<PERFORMNUD,IFDISABLED>
		media: Ethernet autoselect
		status: no carrier
[root@freenas] ~# ifconfig igb1
igb1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
		options=6403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
		ether d0:50:99:34:ae:3d
		inet 192.168.70.131 netmask 0xffffff00 broadcast 192.168.70.255
		nd6 options=9<PERFORMNUD,IFDISABLED>
		media: Ethernet autoselect (1000baseT <full-duplex>)
		status: active
[root@freenas] ~# dmesg | grep igb
igb0: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xe000-0xe01f mem 0xf7200000-0xf727ffff,0xf7280000-0xf7283fff irq 18 at device 0.0 on pci2
igb0: Using MSIX interrupts with 5 vectors
igb0: Ethernet address: d0:50:99:34:ae:3c
igb0: Bound queue 0 to cpu 0
igb0: Bound queue 1 to cpu 1
igb0: Bound queue 2 to cpu 2
igb0: Bound queue 3 to cpu 3
igb1: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xd000-0xd01f mem 0xf7100000-0xf717ffff,0xf7180000-0xf7183fff irq 19 at device 0.0 on pci3
igb1: Using MSIX interrupts with 5 vectors
igb1: Ethernet address: d0:50:99:34:ae:3d
igb1: Bound queue 0 to cpu 0
igb1: Bound queue 1 to cpu 1
igb1: Bound queue 2 to cpu 2
igb1: Bound queue 3 to cpu 3
igb1: link state changed to UP
igb1: promiscuous mode enabled
igb1: link state changed to DOWN
igb1: link state changed to UP
igb0: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xe000-0xe01f mem 0xf7200000-0xf727ffff,0xf7280000-0xf7283fff irq 18 at device 0.0 on pci2
igb0: Using MSIX interrupts with 5 vectors
igb0: Ethernet address: d0:50:99:34:ae:3c
igb0: Bound queue 0 to cpu 0
igb0: Bound queue 1 to cpu 1
igb0: Bound queue 2 to cpu 2
igb0: Bound queue 3 to cpu 3
igb1: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xd000-0xd01f mem 0xf7100000-0xf717ffff,0xf7180000-0xf7183fff irq 19 at device 0.0 on pci3
igb1: Using MSIX interrupts with 5 vectors
igb1: Ethernet address: d0:50:99:34:ae:3d
igb1: Bound queue 0 to cpu 0
igb1: Bound queue 1 to cpu 1
igb1: Bound queue 2 to cpu 2
igb1: Bound queue 3 to cpu 3
igb1: link state changed to UP
igb1: promiscuous mode enabled
igb1: link state changed to DOWN
igb1: link state changed to UP
igb1: link state changed to DOWN
igb1: promiscuous mode disabled
igb1: link state changed to UP
[root@freenas] ~# zpool status
  pool: ao
state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
		continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Mon Feb 27 19:58:21 2017
		5.41T scanned out of 34.6T at 115M/s, 73h57m to go
		917G resilvered, 15.66% done
config:

		NAME											STATE	 READ WRITE CKSUM
		ao											  DEGRADED	 0	 0	 0
		  raidz2-0									  DEGRADED	 0	 0	 0
			replacing-0								 DEGRADED	 0	 0	 0
			  11540476702111911714					  UNAVAIL	  0	 0	 0  was /dev/gptid/33a856cd-1104-11e5-870d-d0509934ae3c
			  ada1									  ONLINE	   0	 0	 0  (resilvering)
			gptid/3412f624-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/347705fb-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/34ce0478-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/352fd0b5-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0
			gptid/3584a665-1104-11e5-870d-d0509934ae3c  ONLINE	   0	 0	 0

errors: No known data errors

  pool: freenas-boot
state: ONLINE
  scan: scrub repaired 0 in 0h1m with 0 errors on Sat Jan 28 03:46:53 2017
config:

		NAME		STATE	 READ WRITE CKSUM
		freenas-boot  ONLINE	   0	 0	 0
		  mirror-0  ONLINE	   0	 0	 0
			da0p2   ONLINE	   0	 0	 0
			da1p2   ONLINE	   0	 0	 0

errors: No known data errors
[root@freenas] ~# zpool status | grep -C2 out
action: Wait for the resilver to complete.
  scan: resilver in progress since Mon Feb 27 19:58:21 2017
		5.41T scanned out of 34.6T at 114M/s, 74h13m to go
		918G resilvered, 15.66% done
config:
[root@freenas] ~#


Dann habe ich leider gesehen, dass in der ui unter Interfaces nichts eingerichtete ist und fatalerweise igb0 mit einem angehakten DHCP auf aktualöisieren bzw. ok geklickt. Danach waren ssh und WebUI wieder weg und nun bekomme ich leider:
Code:
'igb0' is not a dhcp-enabled interface

Das gleiche gilt für igb1.

Vorher konnte ich so manuell, nach dem Start, während dessen das Netzwerk richtig eingerichtet wurde, wenn es sich dann kurz nach dem einloggen verabschiedet hatte per
Code:
service dhclient restart igb1

dem Interface wieder eine lease zuweisen. 192.168.70.131

Das gehnt nun leider nicht mehr.

Frage also, wie kann ich das Interface ohne Zugriff auf die WebUI wieder für DHCP konfigurieren? Falls das nicht geht, wie bekomme ich es statisch wieder ins Netz?

Danach könnte ich mich dann dem ada1 versus gptid widmen ...


Vielen Dank für's Lesen und vielen Dank im Voraus.
 

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338

floogy

Dabbler
Joined
Oct 24, 2012
Messages
22
Ja, aber das klappt nicht.
Code:
1) Configure Network Interfaces:
[...]
Enter an option from 1-14: 1
1) igb0
2) igb1
Select an interface (q to quit): 2
Reset network configuration? (y/n) y
Resetting interface configuration: Ok
Restarting network: Failed
ok
Restarting routing: ok

Ich habe dort auch schon die anderen Optionen wie 4) Default Route, 5) Configure Static Routes, 6) DNS ohne Erfolg probiert.

Im BIOS unter Server > BMC ... wird nur die MAC Adresse angezeigt, trotz DHCP sehe ich nur unter NIC1 eine Einrichtung. Mir wurde unter freenode #freenas aber auch mitgeteilt, dass die IMPI NICs unabhängig von den igb NICs sind. Ein Multiboot-USB pendrive, der ubuntu starten konnte ging anzupingen von innen wie außen.

Hier habe ich nicht alles probiert:
11.5. Setting Up Network Interface Cards
https://www.freebsd.org/doc/handbook/config-network-setup.html

Das hier geht wohl leider nur in 10?
https://www.tapatalk.com/topic/6862...-to-set-static-ip-without-dhcp-to-a-interface
Gibt es eigentlich eine vernünftige Übersetzung des Handbuchs? Ich merke, dass gerade in solchen "Panik"-Situationen, wenn copy&paste und Netz nicht funktionieren und zwei drei Probleme parallel auftreten, dass ich dann nicht genügend Ruhe habe englische Texte vollumfänglich zu verstehen.

Suche zu NIC und BIOS flash https://www.google.de/search?q=NICs+BIOS+flash

BIOS-Update und Gewährleistung http://www.winboard.org/mainboard-forum/143052-garantie-nach-dem-bios-update.html
Wer hat da andere und bessere Infos?

Zu der anderen Frage: zpool status zeigt, dass es noch etwa 117h dauern wird, bis das resilvering abgeschlossen sein wird. Ich würde das ja noch mal von vorne machen in der webUI. Geht das so, wie ich das zuvor beschrieben habe? Was sind die Hintergründe der gptid Partitionierung etc.? Ist die Verwendung mit ada1 trotz fehlender Fehlermeldungen für freeNAS wirklich so fatal? Ok, ja das geht an der Konfigurations-Datenbank der webUI vorbei, die dann nicht mehr im Bilde ist ...
 
Last edited:

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Gibt es eigentlich eine vernünftige Übersetzung des Handbuchs?

Ich kenne außer dem englischsprachigen Original keine weitere Version.

BIOS-Update und Gewährleistung http://www.winboard.org/mainboard-forum/143052-garantie-nach-dem-bios-update.html
Wer hat da andere und bessere Infos?

Einfach erst mal neu booten und im BIOS/UEFI-Setup nach dem Rechten zu sehen ist wegen des laufenden Resilver momentan keine gute Idee.

Ist die Verwendung mit ada1 trotz fehlender Fehlermeldungen für freeNAS wirklich so fatal? Ok, ja das geht an der Konfigurations-Datenbank der webUI vorbei, die dann nicht mehr im Bilde ist ...

Das sind eigentlich zwei Baustellen. Eine Gesamt-Konfiguration, die nicht mit der FreeNAS-eigenen Datenbank konform ist, ist auf jeden Fall zu vermeiden. Man könnte nun fragen, ob eine Pool-Konfiguration wie die bei Dir momentan erzeugte von der FreeNAS-Datenbank (und GUI) verwaltet werden kann (evtl. durch Detach Volume / Import Volume an der GUI).

Dazu wäre es allerdings seht nützlich wenn Du Zugriff auf die FreeNAS GUI hättest.
 

xaibex

Patron
Joined
Mar 19, 2013
Messages
340
Mit der Platte könnte man es so machen dass man die selbe Platte nochmal rausnimmt, wiped (dd if=/dev/null ...) und dann per WebUI, sofern diese wieder erreichbar ist reinnimmt (replace)
 

floogy

Dabbler
Joined
Oct 24, 2012
Messages
22
Danke für die Hilfe MrToddsFriends und xaibex,

MrToddsFriends, auf dem ersten Blick sieht Dein setup genau wie meins aus, abgesehen vom ASRock Mobo E3C226D2I und wahrscheinlich den 6 seagate archive hdds. Ich hoffe die halten das resilvering aus. Inzwischen würde ich wohl eher WD RED NAS HDDs verbauen. Könnte ich eigentlich eine 8TiB Platte eines anderen Herstellers per replace einsetzen?

Einfach erst mal neu booten und im BIOS/UEFI-Setup nach dem Rechten zu sehen ist wegen des laufenden Resilver momentan keine gute Idee.
Nein, das ist kein Problem. Ich dachte das gestern auch und habe im freenode #freenas channel nachgefragt. peerce, ein aktives Mitglied dort, sagte ZFS ist da ziemlich robust. Und ich habe danach auch mehrfach neugestartet, gerade auch wegen des BIOS und BMC. Leider hat es nicht viel gebracht, aber manchmal kann ich dann wieder kurz die webUI erreichen. Am Besten wäre natürlich wenn ich diese Momente nutzen könnte um z.B. das neu angelegte nextcloud plugin inklusive jail zu entfernen, das eventuell auch eienn Einfluß haben könnte(?) und die nun per replace ersetzte Platte wieder offline zu nehmen und ber webUI einzubinden und erneut resilvern zu lassen. Den Neustart hatte ich auch kurz genutzt um mal ubuntu vom Stick zu starten. Das erhielt dann gleich die im ws2012 DHCP für das NIC (MAC) reservierte IP 192.168.70.131 (früher 152) und ließ sich sowohl von außen anpingen, als auch umgekehrt. Ich konnte also auch vom ubuntu-pendrive-live@NAS auch meine workstation im selben Subnetz unter 138 anpingen. Das macht das ganze noch unverständlicher und merkwürdiger.
Das sind eigentlich zwei Baustellen. Eine Gesamt-Konfiguration, die nicht mit der FreeNAS-eigenen Datenbank konform ist, ist auf jeden Fall zu vermeiden. Man könnte nun fragen, ob eine Pool-Konfiguration wie die bei Dir momentan erzeugte von der FreeNAS-Datenbank (und GUI) verwaltet werden kann (evtl. durch Detach Volume / Import Volume an der GUI).

Dazu wäre es allerdings seht nützlich wenn Du Zugriff auf die FreeNAS GUI hättest.
Das sollte ich herausfinden, bevor ich die Platte per webUI, dann möglicherweise doch unnötig, erneut per replace zum resilvern des Pools einbinde.

Mit der Platte könnte man es so machen dass man die selbe Platte nochmal rausnimmt, wiped (dd if=/dev/null ...) und dann per WebUI, sofern diese wieder erreichbar ist reinnimmt (replace)
Ist dieser Aufwand überhaupt nötig? Wird die WebUI nicht die Platte formattieren und für das replace und anschließende resilvering vorbereiten? Die 8TiB seagate archive hdd per dd nullen, dürfte ja nochmal zusätzlich ein paar Tage dauern.
 
Last edited:

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
MrToddsFriends, auf dem ersten Blick sieht Dein setup genau wie meins aus, abgesehen vom ASRock Mobo E3C226D2I und wahrscheinlich den 6 seagate archive hdds.

... und dem Unterschied dass ich drei Mirrors im System habe und kein RaidZ2 (keine Platte > 3TB und keine mit SMR).

Könnte ich eigentlich eine 8TiB Platte eines anderen Herstellers per replace einsetzen?

Vom Hörensagen hier im Forum kenne ich die Antwort "Ja, das klappt, weil die Kapazitätsangaben mit denen sich Platten (bei gleicher beworbener Größe) gegenüber Systemen ausweisen inzwischen herstellerübergreifend einheitlich genug sind", meine Hand dafür ins Feuer legen kann ich nicht.

Die 8TiB seagate archive hdd per dd nullen, dürfte ja nochmal zusätzlich ein paar Tage dauern.

Nach meinem Verständnis sollte es genügen, Verwaltungsstrukturen wie die Partitionstabellen zu überschreiben.
 

floogy

Dabbler
Joined
Oct 24, 2012
Messages
22
Hallo, vielen Dank für die Infos. Die webUI ist wieder erreichbar, weil ich das Ganze nun statisch konfiguriert habe.

Das Problem war wohl hauptsächlich meine Verwirrung, weil das BIOS-Update dazu führte, dass Managementkonsole und Betriebsystem-Netz an eine bestimmtes festes Interface gebunden sind. Deshalb erscheint im BIOS unter BMC bei vertauschten Netzkabeln auch keine IP für das IMPI Megarack SP und beim Start des FreeNAS werden dann beide Interfaces ohne Carrier angezeigt. Außerdem wechselte so die MAC-Adresse, so dass, das während des Bootvorgangs noch funktionierende DHCP eine neue IP, nämlich 192.168.70.131 statt 192.168.70.152 zugewiesen hat. Das Gleiche gilt dann auch für das IMPI, dass die 117 statt der vorher eingestellten 166 zugewiesen bekam.

Es geht aber definitiv nur stabil mit fest zugeordneter statischer IP. Mit DHCP ist das Interface bald ohne Funktion, bei einem Ubuntu Live-USB-Pendrive-System 17.04 war das nicht so. Hier funktionierte DHCP stabil. Also wirklich auch verwirrend, zumindest für mich. nmap hat allerdings auch Probleme, aber auch von cygwin von meiner Windows 10 Workstation aus.


ubuntu@ubuntu:~$ ping 192.168.70.138
connect: Network is unreachable
ubuntu@ubuntu:~$ man dhclient
ubuntu@ubuntu:~$ sudo dhclient -4 -1 enp3s0
ubuntu@ubuntu:~$ tail -n40 -f /var/log/syslog
ubuntu@ubuntu:~$ tail -n40 -f /var/log/syslog
[...]
Mar 1 10:39:50 ubuntu systemd-resolved[2014]: Switching to DNS server 192.168.70.200 for interface enp3s0.
Mar 1 10:40:31 ubuntu ubuntu: /etc/dhcp/dhclient-enter-hooks.d/avahi-autoipd returned non-zero exit status 1
Mar 1 10:40:31 ubuntu dhclient[6134]: DHCPDISCOVER on enp3s0 to 255.255.255.255 port 67 interval 3 (xid=0x99edce11)
Mar 1 10:40:31 ubuntu dhclient[6134]: DHCPREQUEST of 192.168.70.131 on enp3s0 to 255.255.255.255 port 67 (xid=0x11ceed99)
Mar 1 10:40:31 ubuntu dhclient[6134]: DHCPOFFER of 192.168.70.131 from 192.168.70.200
Mar 1 10:40:31 ubuntu dhclient[6134]: DHCPACK of 192.168.70.131 from 192.168.70.200
Mar 1 10:40:31 ubuntu ubuntu: /etc/dhcp/dhclient-enter-hooks.d/avahi-autoipd returned non-zero exit status 1
Mar 1 10:40:31 ubuntu avahi-daemon[1678]: Joining mDNS multicast group on interface enp3s0.IPv4 with address 192.168.70.131.
Mar 1 10:40:31 ubuntu avahi-daemon[1678]: New relevant interface enp3s0.IPv4 for mDNS.
Mar 1 10:40:31 ubuntu avahi-daemon[1678]: Registering new address record for 192.168.70.131 on enp3s0.IPv4.
Mar 1 10:40:31 ubuntu NetworkManager[1732]: <info> [1488364831.1634] policy: set 'Wired connection 2' (enp3s0) as default for IPv4 routing and DNS
Mar 1 10:40:31 ubuntu whoopsie[1681]: [10:40:31] online
Mar 1 10:40:31 ubuntu dnsmasq[1996]: reading /etc/resolv.conf
Mar 1 10:40:31 ubuntu dnsmasq[1996]: using nameserver 192.168.70.200#53
Mar 1 10:40:31 ubuntu dnsmasq[1996]: using nameserver 192.168.70.202#53
Mar 1 10:40:31 ubuntu dnsmasq[1996]: using nameserver 127.0.0.53#53
Mar 1 10:40:31 ubuntu dhclient[6134]: bound to 192.168.70.131 -- renewal in 72211 seconds.
Mar 1 10:40:31 ubuntu colord[2897]: failed to get session [pid 1645]: No such device or address
Mar 1 10:40:32 ubuntu systemd-resolved[2014]: Switching to system DNS server 192.168.70.200.
Mar 1 10:41:06 ubuntu systemd-resolved[2014]: Using degraded feature set (UDP) for DNS server 192.168.70.200.
ubuntu@ubuntu:~$ ping 192.168.70.138
PING 192.168.70.138 (192.168.70.138) 56(84) bytes of data.
64 bytes from 192.168.70.138: icmp_seq=1 ttl=128 time=0.483 ms
[...]
ubuntu@ubuntu:~$ sudo nmap -d2 -sU -p67 --script=broadcast-dhcp-discover 192.168.70.202 -e enp3s0
[...]
NSE: broadcast-dhcp-discover W:55b51195b068 threw an error!
/usr/bin/../share/nmap/nselib/stdnse.lua:87: bad argument #2 to 'format' (number expected, got nil)
stack traceback:
[C]: in function 'string.format'
/usr/bin/../share/nmap/nselib/stdnse.lua:87: in function 'stdnse.debug'
[...]
Host is up, received arp-response (0.00026s latency).
Scanned at 2017-03-01 12:00:10 UTC for 6s
PORT STATE SERVICE REASON
67/udp open|filtered dhcps no-response
MAC Address: 94:57:A5:8E:EF:A8 (Hewlett Packard)
Final times for host: srtt: 260 rttvar: 5000 to: 100000

NSE: Script Post-scanning.
NSE: Starting runlevel 1 (of 1) scan.
Initiating NSE at 12:00
Completed NSE at 12:00, 0.00s elapsed
Read from /usr/bin/../share/nmap: nmap-mac-prefixes nmap-payloads nmap-services.
Nmap done: 1 IP address (1 host up) scanned in 6.65 seconds
Raw packets sent: 3 (84B) | Rcvd: 1 (28B)

ubuntu@ubuntu:~$ sudo nmap -d -sU -p 67 --script=dhcp-discover 192.168.70.200 -e enp3s0
[...]
67/udp open|filtered dhcps no-response
| dhcp-discover:
|_ ERROR: Couldn't receive packet: TIMEOUT
[...]


FreeNAS 9.10.2: igb1 - d0:50:99:34:ae:3d
Code:
igb1:		 flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST>		 metric 0 mtu 1500
	   options=2400b9<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO,RXCSUM_IPV6>
		ether d0:50:99:34:ae:3d
		inet 192.168.70.131 netmask 0xffffff00 broadcast		 192.168.70.255
		nd6 options=9<PERFORMNUD,IFDISABLED>
		media: Ethernet autoselect (1000baseT		 <full-duplex>)
		status: active


ubuntu 17.04: enp3s0 - d0:50:99:34:ae:3d
Code:
enp3s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
		inet 192.168.70.131  netmask 255.255.255.0  broadcast 192.168.70.255
		inet6 fe80::89e:5e20:af82:4c22  prefixlen 64  scopeid 0x20<link>
		ether d0:50:99:34:ae:3d  txqueuelen 1000  (Ethernet)
		RX packets 9843  bytes 5342149 (5.3 MB)
		RX errors 0  dropped 0  overruns 0  frame 0
		TX packets 2090  bytes 204986 (204.9 KB)
		TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
		device memory 0xf7100000-f717ffff  


Noch geht das Resilvering mit 76MB/s trotz SMR Archive HDD relativ zügig von statten, ich hoffe das bleibt so :confused:.
Code:
  scan: resilver in progress since Mon Feb 27 19:58:21 2017
  15.8T scanned out of 34.6T at 76.0M/s, 71h59m to go
  2.62T resilvered, 45.68% done

Jemand im #freenas freenode channel meinte ich solle das Resilvering erst mal wegen der Redundanz und Sicherheit abschließen lassen um dann eine weitere Platte per webUI anzuschließen und irgendwie(?) die beiden Platten auszutauschen (wohl erst klonen und dann tauschen?).

Die ersten paar GB (ca. 24?) werden sehr schnell weg geschrieben. In etwa mit 150 MB/s. Bis zur Marke von ca. 300GB geht es dann mit 70–80 MB/s weiter. Dann fällt bis zum Füllstand 2.9TB die Rate auf 50MB/s, erholt sich bis 4.8TB auf 70MB/s.

Damit könnte ich noch gut leben.

Doch ab einer „Füllung“ von 4.8TB wird es nur noch trostlos. 20MB/s. Ab 5.05TB gar nur noch 14MB/s mit Latenzen jenseits der 3000ms (3s).
http://geizhals.de/?sr=1204027,840640&pg=1#7549427

More concerning though about using the drives in RAID is rebuild time. In a simple RAID1 group of two drives, the Archive took over 57 hours to rebuild while the NAS was idle. An 8TB PMR drive took a bit under 20 hours.
http://www.storagereview.com/seagate_archive_hdd_review_8tb

Ich überlege das noch mal im #freenas channel zu erfragen und kaufe dann vielleicht eine WD RED oder eine HGST NAS Platte, mal sehen.

Jedenfalls, vielen Dank an alle!
 
Last edited:

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Jemand im #freenas freenode channel meinte ich solle das Resilvering erst mal wegen der Redundanz und Sicherheit abschließen lassen um dann eine weitere Platte per webUI anzuschließen und irgendwie(?) die beiden Platten auszutauschen (wohl erst klonen und dann tauschen?).

Im Handbuch sind zwei Prozeduren zum Tauschen von Platten beschrieben. Beide sollten prinzipiell funktionieren (auch wenn weder die auszutauschende Platte defekt ist noch die neu eingesetzte größer als die bisherige).

Falls freier SATA Port übrig:
http://doc.freenas.org/9.10/storage.html#replacing-drives-to-grow-a-zfs-pool

Falls kein freier SATA Port übrig:
http://doc.freenas.org/9.10/storage.html#replacing-a-failed-drive
 
Status
Not open for further replies.
Top