Fehlermeldung: One or more devices has experienced an error resulting in data corruption....

[sasspo]

Hallo liebe Foren Gemeinde,

habe seit wenigen Tagen mit meinen Freenas System und dessen 2x 8TB Festplatten Probleme.
Habe diesem Tread die Fehler als Screenshots angehangen, gestern konnte ich gar nichts einbinden(Fehlermeldung erste Bild 01.06.). Heute habe ich die Platten mal aus Neugier in zwei andere Slots meines HP Microservers geschoben, und siehe da... konnte die Platten endlich wieder nutzen. Die Freude dauerte aber nicht lang, denn wie auf dem Bild zu sehen gibt er mir nun folgende Fehlermeldung aus:

Code:

WARNUNG: 2. Juni 2018 18:38 - smartd_daemon is not running. 
	KRITISCH: 2. Juni 2018 18:30 - The volume MambaRaid state is ONLINE: One or more devices has experienced an error resulting in data corruption. Applications may be affected.

Am Donnerstag (30.05.) erhielt ich vom System schon eine Kritische Warnung per Mail:

Code:

freenas.local: Kritische Alarme
The volume MambaRaid state is UNAVAIL: One or more devices are faulted in response to IO failures.

Ich verstehe diese Meldung nicht so genau, weshalb kann/konnte nicht mehr darauf zugegriffen werden?

Es ist mein erstes Freenas System, bis jetzt funktionierte auch immer alles reibungslos.
Kann mich jemand Erleuchten?

lg

 

[sasspo]

Kann mir das jemand erklären? Hab die Festplatten getauscht im Gehäuse, und nun lassen sie sich einbinden. Jedoch mit Fehlermeldung(en).

 

[MrToddsFriends]

Zwecks Klärung der Ursache von "Kritisch: [...] The volume MambaRaid state is UNAVAIL" gib' bitte folgenden Befehl an einem Terminal-Fenster ein und poste den Output hier:
zpool status -v MambaRaid

Laut Deiner Aussage dass dieser Fehler nicht immer auftritt könnte ein Kabel- oder Steckverbinderproblem die Ursache sein, aber bitte trotzdem zuerst obigen Befehl ausführen und Output posten.

Die "WARNUNG: [...] smartd_daemon is not running" könnte darauf zurückzuführen sein, dass FreeNAS versucht, Geräte in den SMART Plan einzubeziehen, die dies nicht unterstützen. Ursache ist eine Änderung, die bei 11.1 durchgeführt wurde. Schalte SMART bei USB-Sticks (sofern vorhanden) explizit ab.

 

[sasspo]

Einen USB Stick habe ich nicht dran, aber eine SSD worauf das System installiert ist.

Er schmeißt folgendes aus:

Code:

pool: MambaRaid															  
 state: ONLINE																
status: One or more devices has experienced an error resulting in data		
		corruption.  Applications may be affected.							
action: Restore the file in question if possible.  Otherwise restore the		
		entire pool from backup.												
   see: http://illumos.org/msg/ZFS-8000-8A									
  scan: resilvered 0 in 0 days 00:00:00 with 0 errors on Sat Jun  2 18:30:43 201
8																			  
config:																		
																				
		NAME											  STATE	 READ WRITE C
KSUM																			
		MambaRaid										 ONLINE	   0	 0
   0																			
		  gptid/eaf65f59-f06f-11e7-879d-b499baa2958c.eli  ONLINE	   0	 0
   0																			
		  gptid/ec19a62a-f06f-11e7-879d-b499baa2958c.eli  ONLINE	   0	 0
   0																			
																				
errors: Permanent errors have been detected in the following files:			
																				
		MambaRaid/.system/samba4:<0x0>										
[root@freenas ~]#															  
▼


 

 

[MrToddsFriends]

Einen USB Stick habe ich nicht dran, aber eine SSD worauf das System installiert ist.

O.k., die smartd_daemon Warnung (bzw. meinen Verdacht dass ein USB-Stick im Spiel sein könnte) würde ich für den Moment nach hinten stellen.

Wichtiger und Dringender meines Erachtens dieses hier (ein paar Schlüsselstellen zitiert):

Code:

[...]
status: One or more devices has experienced an error resulting in data		
		corruption.  Applications may be affected.							
action: Restore the file in question if possible.  Otherwise restore the		
		entire pool from backup.												
   see: http://illumos.org/msg/ZFS-8000-8A									
  scan: resilvered 0 in 0 days 00:00:00 with 0 errors on Sat Jun  2 18:30:43 2018
[...]
errors: Permanent errors have been detected in the following files:			
																				
		MambaRaid/.system/samba4:<0x0>

Permanent errors in MambaRaid/.system/samba4:<0x0> heißt letztendlich, dass im System Dataset (dort: im samba4 Unterverzeichnis) Dateisystem-Metadaten kaputt gegangen sind. Durch Hardware- oder Kabelprobleme, durch Stromausfall oder was auch immer ...

Ich würde an Deiner Stelle zunächst versuchen, ob ein Scrub des MambaRaid Pools hier noch etwas ausrichten kann und notfalls eine Neuinstallation von FreeNAS in Betracht ziehen, mit anschließendem Import eines bestehenden Backups eines Config-Files.

 

[MrToddsFriends]

Ich stupse auch noch @emk2203 an, der hier neulich über ZFS Rettungsmöglichkeiten berichtet hat. Vielleicht hat er noch eine Idee, wie das defekte System Dataset repariert werden kann.

 

[emk2203]

Also, nach jahrelangen Erfahrungen mit FreeNAS hat sich für mich bewährt, beim System Dataset gar nicht erst anzufangen mit dem Herumbasteln. Erst, wenn das Backup der Config fehlschlägt, sollte man darüber nachdenken, was schneller geht: Wiedereinrichten von Scratch oder Datenrettung des System Datasets. Bei mir war das Wiedereinrichten mit sauberen Einstellungen die beste Lösung.

Einspielen von Backups (sofort nach Einrichtung oder Update Backup machen!) ist in weniger als 10 Minuten erledigt. Verlässlich und ohne Probleme.

 

[fiesta_xr2i]

Guten Morgen
Ich habe ähnliche Probleme wie sasspo. Anbei meine Fehler anhand meiner Pools:

Pool: NASVolume
Bei diesem Pool habe ich gestern ein scrub ausgeführt. Dabei erhielt ich die folgende Rückmeldung:

Code:

errors: 10 data errors, use '-v' for a list

Anschliessend betrachtete ich mit dem Befehl zpool status -v die Dateien welche betroffen sind. Da es sich um unwichtige Daten handelte, habe ich diese gelöscht.

Code:

zpool status -v
errors: Permanent errors have been detected in the following files:
==> Pfad der Dateien bzw. Dateien wurden aufgezeigt.

Anschliessend führte ich wiederum ein scrub durch. Bei erneuten Durchführen erhielt ich wiederum die Rückmeldung:

Code:

errors: 2 data errors, use '-v' for a list

Um anschliessend die neuen Fehler zu sehen gab ich wiederum zpool status -v ein und bemerkte, dass nun neue Dateien betroffen waren.

Code:

zpool status -v
errors: Permanent errors have been detected in the following files:
==> Pfad der Dateien bzw. Dateien wurden aufgezeigt.

Pool: NASVolume2
Ebenfalls bei diesem Pool führte ich ein scrub durch. Das Ergebnis war ebenfalls enttäuschend. Resultat:

Code:

zpool status
errors: 2 data errors, use '-v' for a list
zpool status -v
errors: Permanent errors have been detected in the following files:
==> Pfad der beiden Dateien wurde aufgelistet

Da es sich wiederum um Dateien handelte, auf die ich nicht angewiesen war bzw. ich diese auf einem Backup gespeichert hatte löschte ich die Dateien und führte ein erneutes scrub durch. Dabei machte ich die gleiche Erfahrung wie beim NASVolume d.h. beim scrub fand das System wiederum 2 data errors. Mit dem Befehl zpool status -v betrachtete ich die betroffenen Dateien und musste feststellen, dass nun zwei neue Dateien betroffen sind.

Pool: NASVolume3a
Der durchgeführte scrub führte ebenfalls zu data errors wie oben beschrieben.

Pool: NASVolume3b
Der durchgeführte scrub führte ebenfalls zu data errors wie oben beschrieben.

Zusammengefasst:
Bei sämtlichen Pools musste ich data errors feststellen. Zum Glück habe ich von sämtlichen Daten Backups und habe dadurch keine Daten verloren. Dennoch bin ich beunruhigt, dass ich bei durchführen eines erneuten scrubs wiederum neue data errors gefunden habe. Falls dem stets so ist habe ich eine Never ending story und bin mir nie sicher, ob ich nun plötzlich Fehler in einer Datei habe die ich verwenden möchte.
Ich frage mich stets, ob die Fehler auftreten weil ich keine registred ECC Rams verwende oder ist der Fehler aus eurer Sicht irgendwo anders zu suchen?
Die meisten der gefundenen Errors waren in .mkv Dateien. Als ich die Dateien im VLC betrachtete konnte ich keinen Fehler erkennen.

System:
Mainboard: ASUS P8H67-M EVO R3, mATX, LGA1155, Intel H67, DMI-5GT/s, 4xDDR3, PCI-E 2.0
CPU:CPU Intel Dual Core i3 2125/3300 LGA 1155, 3MB Cache,GPU 850Mhz
Arbeitsspeicher: Kingston 16GB
NASVolume: 4x3TB Western Digital Red; Raidz1 ==> Direkt am Mainboard angeschlossen
NASVolume2: 4x4TB Seagate NAS; Raidz1 ==>Promise Controller (SAS-Kabel angeschlossen)
NASVolume3a: 1x6TB Western Digital Red ==> Direkt am Mainboard angeschlossen
NASVolume3b: 1x6TB Western Digital Red ==> Direkt am Mainboard angeschlossen
System: Kingston USB Stick 16 GB
FreenasVersion: FreeNAS-11.2-RELEASE-U1

Festplattentemperaturen:
NASVolume: Durchschnittlich : 37°C
NASVolume2: Durchschnittlich : 35°C
NASVolume3a: Durchschnittlich : 42°C
NASVolume3b: Durchschnittlich : 42°C

Datensicherung:
NASVolume: Stammdaten + Multimediadaten
NASVolume2: Backup Stammdaten + Multimediadaten
NASVolume3a: Backup Stammdaten
NASVolume3b: Backup Stammdaten

 

[mkninc]

Das alle Pools Fehler aufweisen ist schon komisch. Sieht evtl. eher nach defekter CPU/RAM aus. Kannst du mal ein "zpool staus" ohne "-v" posten? Damit man mal den direkten Aufbau der Pools sieht.
Was sagen denn die Smart Werte der Festplatten?

 

[fiesta_xr2i]

In der Zwischenzeit habe ich bei zwei Pools keine Fehler mehr vorhanden, nachdem ich die "fehlerhaften" Dateien gelöscht habe und mit zpool clear Poolname die CHCKS gelöscht und anschliessend ein scrub gemacht habe.
Beim Pool NASVolume2 habe ich ebenfalls die "fehlerhaften" Dateien gelöscht und anschliessend ==> clear ==> scrub durchgeführt. Bei diesem Pool erhielt ich aber stets neue errors. Habe den Vorgang (f. Dateien gelöscht, clear, scrub) mindestens 2 Mal gemacht aber stets neue "fehlerhafte" Dateien erhalten.
Zusätzlich bin ich auf die folgende Seite gestossen:
https://techtest.org/freenas-build-...orkstation-hardware-so-guenstig-wie-moeglich/ (Kapitel ZFS und ECC war interessant)

 

[mkninc]

SMART meldet keine Fehler bei den Festplatten?
Dann würde ich mal, da du ja auch Fehler in den Pools mit RaidZ1, also mit Redundanz, hast, einen intensiven Durchlauf mit Memtest machen.

 

[fiesta_xr2i]

Ich habe noch nie einen Memtest durchgeführt. Ist diese Option direkt über die Shell aufrufbar oder wird ein Programm benötigt?
Könntest du mir noch angeben, wie ich den Smart Status abfragen kann? Ich versuchte den Befehl smartctl -a/dev/DISKNAME
Es gibt ja einen short und long Smart-Test. Könntest du mir ebenfalls die Befehle angeben?

 

[mkninc]

Memtest findest du hier : http://memtest.org

Die Devicenamen der Festplatten fangen wahrscheinlich mit /dev/da0 an. Unter "Storage->View disks" kann man die Devicenamen aller Festplatten sehen.
Die SMART Werte kann man dann mit z.B. "smartctl -a /dev/da0" abfragen.

 

[fiesta_xr2i]

Vielen Dank für die Info. Beim memtest gibt es insgesamt verschiedene Dateien zum Downloaden. Für mich wäre es ab praktischsten, wenn ich einen das Programm von einem USB-Stick booten könnte. Dabei stellt sich mir die Frage, welche Datei ich dafür benötigte:
- Download - Pre-Compiled Bootable ISO
- Download - Pre-Compiled Bootable Binary
- Download - Auto-installer for USB Key (Win 9x/2k/xp/7 ==> verwende aber WIN10

Als alternative könnte ich auch eine Bootable CD verwenden.

Bereits im Voraus vielen Dank

Anbei noch meine SMART Werte im Text-file.

 

[fiesta_xr2i]

Hallo Zusammen

In der Zwischenzeit hat sich einiges bei mir getan. Habe den Ram mit dem Memtest v8.1 getestet. Dabei fand ich heraus, dass der Ram mehrere Fehler erzeugte. Hatte bereits rund 50 Fehler nach nicht einmal zwei Testdurchgängen.
Anschliessend habe ich den Ram ersetzt, nochmals Memtest ausgeführt und siehe da sämtliche Fehler waren weg. Anschliessend führte ich scrubs bei sämtlichen Pools durch und alle scrubs wurden fehlerfrei durchgeführt.
Vielen Dank für eure Tipps und Hilfe - Problem gelöst.