Verschlüsseltes Backup auf NAS machen?

Hallo Forum,

letztens ist ein wichtiges Datengrab (:=Daten die ich ev irgendwann nochmal ansehen könnte, die aber aktuell nciht wichtig sind) abgeraucht, weil die externe USB Platte kaputt gegangen ist. Ich möchte nun das Datengrab auf einem NAS mit Raid 1 (Spiegelung) errichten. Das Datengrab muß verschlüsselt sein. Ich füge nur alle paar Wochen etwas dem Datengrab hinzu, die Platten sind also fast immer ausgeschaltet.

1. Ich habe gelesen das die meisten Raid 1 Systeme eine Datei von beiden Platten lesen und so die Geschwindigkeit erhöhen. (Ein Teil der Datei wird von der einen Platte geholt, der andere Teil von der anderen Platte.) Jedoch das es von der Sicherheit her gesehen besser wäre wenn die Datei 2* komplett von beiden Platten geholt und dann verglichen wird, um defekte Sektoren zu ermitteln. Ist das eine Einstellung des Raid 1 Modus, oder muß ich das annehmen was mir der Hersteller liefert?

2. Die billigen NAS Systeme haben keine Verschlüsselung. Im Internet steht das man die Truecrypt Volumen ins NAS legen könnte, was jedoch nicht performant wäre. Mein Idee wäre statt einem NAS ein NDAS zu nehmen. Ein NDAS System soll am Desktop Computer wie ein lokales Laufwerk erscheinen: Es muß ein spezieller Treiber installiert werden der das lokale Laufwerk vorgaukelt. Hat schonmal jemand von euch eine komplette Partition in einem NDAS System mit Truecrypt verschlüsselt? Oder allgemein Erfahrung mit einem NDAS System gemacht?

Vielen Dank

Peter

SeppJ

abcd schrieb:

1. Ich habe gelesen das die meisten Raid 1 Systeme eine Datei von beiden Platten lesen und so die Geschwindigkeit erhöhen. (Ein Teil der Datei wird von der einen Platte geholt, der andere Teil von der anderen Platte.) Jedoch das es von der Sicherheit her gesehen besser wäre wenn die Datei 2* komplett von beiden Platten geholt und dann verglichen wird, um defekte Sektoren zu ermitteln. Ist das eine Einstellung des Raid 1 Modus, oder muß ich das annehmen was mir der Hersteller liefert?

Und woher weißt du dann, welche der beiden Festplatten recht hat? Bitfehler sind sowieso etwas, das praktisch nicht vorkommt. Entweder ist ein Sektor (oder gleich die ganze Platte) hinüber oder eben nicht. Aber ein falsches Leseergebnis wirst du nie bekommen. Ein Raid 1 schützt dich auch genau vor dieser Art von zu erwartenden Fehlern.

2. Die billigen NAS Systeme haben keine Verschlüsselung. Im Internet steht das man die Truecrypt Volumen ins NAS legen könnte, was jedoch nicht performant wäre. Mein Idee wäre statt einem NAS ein NDAS zu nehmen. Ein NDAS System soll am Desktop Computer wie ein lokales Laufwerk erscheinen: Es muß ein spezieller Treiber installiert werden der das lokale Laufwerk vorgaukelt. Hat schonmal jemand von euch eine komplette Partition in einem NDAS System mit Truecrypt verschlüsselt? Oder allgemein Erfahrung mit einem NDAS System gemacht?

Wen interessiert die Latenz der Backupplatte? Du willst da ja nicht drauf arbeiten, du willst doch sicherlich bloß alle paar Tage mal über Nacht deine Daten drauf schieben.

Das letzte Mal, dass ich ein verschlüsseltes Backup eingerichtet habe, ist eine Weile her, daher gebe ich meine Erfahrungen damit mal nicht weiter, denn sie wären garantiert veraltet. Ich würde mich aber nie auf die Verschlüsselung im Controller eines kommerziellen Gerätes verlassen, sondern immer eine eigene Softwarelösung wählen.

Columbo

Und woher weißt du dann, welche der beiden Festplatten recht hat?

Ihm ging es darum, Fehler zu ermitteln, nicht diese zu korrigieren. Wobei auch das schon paranoid ist.

Ich habe gerade beim Aufräumen einen alten USB Stick gefunden und die Daten herunter kopiert. Es waren dort Musikvideos drauf. Die Avi Dateien konnte ich mit Fragmenten abspielen. Bei den Mp4 Dateien waren alle kaputt: Nach einer kurzen Abspielzeit hat es mitten im Video aufgehört. Hier sind als Sektoren katt gegangen.

Ihr sagt also bei Spindel Festplatten kann das nicht vorkommen, weil die Redundanz/Autokorrektur Maßnahmen so weit ausgereift sind das der Verlust von einzelnen Sektoren praktisch nicht zu Datenverlust führen kann?

SeppJ

abcd schrieb:

Ihr sagt also bei Spindel Festplatten kann das nicht vorkommen, weil die Redundanz/Autokorrektur Maßnahmen so weit ausgereift sind das der Verlust von einzelnen Sektoren praktisch nicht zu Datenverlust führen kann?

Nein, das sagte ich nicht. Ich sagte, dass die Platte selbst erkennt, wenn die Daten fehlerhaft sind. Dein USB-Stick wahrscheinlich auch. Die Daten sind natürlich trotzdem futsch, aber er wird dir nichts vorlügen. Und der Raidcontroller kriegt entsprechend auch mit, wenn auf einer Platte ein Lesefehler auftrat.

nman

SeppJ schrieb:

Ich sagte, dass die Platte selbst erkennt, wenn die Daten fehlerhaft sind.

Das hilft doch nicht bei Bitrot, sondern nur bei (wie du schon sagtest) komplett unlesbaren Sektoren. Das ist ein anderes Problem.

Und der Raidcontroller kriegt entsprechend auch mit, wenn auf einer Platte ein Lesefehler auftrat.

Auch nur dann, wenn du ihn regelmäßig scrubben lässt.

In allen Fällen sind die Daten weg, wenn du keine Checksummen hast.

Also der RAID Controller überprüft automatisch die Smart Werte der Festplatte. Aus dem Raid Wiki: In der Regel erkennen die RAID-Implementierungen nur den Gesamtausfall eines Mediums beziehungsweise Fehler, die vom Medium signalisiert werden (siehe z. B. SMART). Wenn dann im NAS ein rote Lampe angeht udn ich nun weiß das ich die Platten checken muß, dann reicht mir RAID 1 vollkommen aus.

Zur Performance: Es gibt Forenthreads im Internet wo sich über Truecrypt auf dem NAS unterhalten wird. Da steht manchmal das das Volumen komplett neu geschrieben wird wenn eine Änderung vorgenommen wird. Was bei 100 GB Volumen nicht akzeptabel ist. Vermutlich sind das Volumen mit variabler Größe? Und ein Volumen das fix 100GB groß ist würde dann schneller zu schreiben gehen?

Ich habe keine professionalle Backup Lösnug. Ich habe immer nur ein paar e-Rechnungen, Pdfs und Dokumente die ich mal erstellt habe die nun archiviert werden müssen. Die schreibe ich manuell in den Dateibaum des Datengrabes.

Network Direct Attached Storage (NDAS) scheint nicht weit verbreitet zu sein. Ich habe nicht viel gefunden. Die Firma IOCELL scheint auch nicht mehr am Markt zu sein (HP nicht erreichbar) bzw IOCELL entwickelt NDAS nicht mehr weiter.

nman

abcd schrieb:

Also der RAID Controller überprüft automatisch die Smart Werte der Festplatte.

Nein, die meisten RAID-Controller machen das eher nicht.

Aus dem Raid Wiki: In der Regel erkennen die RAID-Implementierungen nur den Gesamtausfall eines Mediums beziehungsweise Fehler, die vom Medium signalisiert werden (siehe z. B. SMART).

Das heißt nur, dass RAID-Controller in der Regel nicht mehr machen als das. Im Normalfall ignorieren RAID-Controller die SMART-Werte eher. Was du machst, um Diskfehler abseits von Totalausfällen zu bemerken: Du aktivierst Scrubbing und wartest darauf, ob der RAID-Controller Fehler findet und Disks aus dem Verbund wirft.

Ich habe keine Ahnung von Truecrypt, ich würde aber einfach direkt auf der NAS-Einheit dmcrypt oä. verwenden. Dafür wirst du vmtl. kein fertiges NAS verwenden können, sondern dir OpenMediaVault oä. auf einem Mini-PC installieren müssen.

SeppJ

nman schrieb:

SeppJ schrieb:

Ich sagte, dass die Platte selbst erkennt, wenn die Daten fehlerhaft sind.

Das hilft doch nicht bei Bitrot, sondern nur bei (wie du schon sagtest) komplett unlesbaren Sektoren. Das ist ein anderes Problem.

Meine Hauptaussage ist, dass Bit Rot bei Festplatten kein Problem ist. Die Wahrscheinlichkeit, dass dies überhaupt auftritt und dazu auch noch in einer Weise, dass man den Fehler trotz aller Checksummen nicht mitbekommt, ist verschwindend gering. Der Threadersteller verschwendet seine Zeit mit dieser Fragestellung. Viel eher geht die restliche Mechanik flöten, als dass sich irgendwo unbemerkt ein Bit verdreht.

nman

SeppJ schrieb:

Meine Hauptaussage ist, dass Bit Rot bei Festplatten kein Problem ist.

Das stimmt leider nicht. Ich habe zwei Fotografen im Bekanntenkreis, die große Fotosammlungen manuell auf mehreren Festplatten abgelegt haben, darauf lange Zeit nicht zugegriffen haben und jetzt bei einzelnen Bildern aus der Sammlung unterschiedliche Checksummen zwischen den Festplatten haben.

Ich habe zuhause auch versehentlich mal einen Ordner mit Filmen auf einer externen Festplatte kopiert, statt ihn zu verschieben und einer der Filme hatte eine andere MD5-Summe. (Und nein, in beiden Fällen wurde darauf nicht schreibend zugegriffen, auch nicht auf irgendwelche wie auch immer gearteten Metadaten.)

Die Wahrscheinlichkeit, dass dies überhaupt auftritt und dazu auch noch in einer Weise, dass man den Fehler trotz aller Checksummen nicht mitbekommt, ist verschwindend gering.

Ja, für ein einzelnes File schon. Für 3TB Daten allerdings nicht mehr.

Der Threadersteller verschwendet seine Zeit mit dieser Fragestellung.

Ack.

Viel eher geht die restliche Mechanik flöten, als dass sich irgendwo unbemerkt ein Bit verdreht.

Ack.

Was aber leider nicht heißt, dass man Bitrot nicht auch schon als Normalsterblicher beobachten kann. (Auch wenn einzelne kaputte Bytes in Film- und Fotosammlungen relativ uninteressant sind.)

edit: Wollte nicht übertreiben: "mehrere" -> "zwei".

SeppJ

nman schrieb:

SeppJ schrieb:

Meine Hauptaussage ist, dass Bit Rot bei Festplatten kein Problem ist.

Das stimmt leider nicht. Ich habe zwei Fotografen im Bekanntenkreis, die große Fotosammlungen manuell auf mehreren Festplatten abgelegt haben, darauf lange Zeit nicht zugegriffen haben und jetzt bei einzelnen Bildern aus der Sammlung unterschiedliche Checksummen zwischen den Festplatten haben.

Das dachte ich mir schon, dass du mit dem Argument kommst. Es geht hier doch nicht um die Tauglichkeit von Festplatten als Langzeitarchiv, sondern darum, ob bei einer Platte, die in Betrieb ist (wie vom TE beschrieben), dieses Problem auftreten kann. Und das ist eben doch sehr, sehr unwahrscheinlich.

SG1

Datengrab klingt schon sehr nach Langzeitarchiv. IMHO.

Also wenn ich Daten im Terabyte Bereich lagere muß ich es hinnehmen das dort Änderungen passieren? Die Festplatte ist dann nicht im Sinne des "Raid 1" kaputt. Wenn ich Änderungen komplett ausschließn will, dann brauche ich ein Raid mit Fehlerkorrektur und das von nman benannte Scrubbing um die Fehler zu finden?

Ich habe mir einen Netgear NAS ausgeliehen und mit Truecrypt über Nacht ein 200GB Volumen als File angelegt. Ein Terabyte Volumen hätte 30 Stunden zum Anlegen gebraucht. Ich habe zuerst einen 2GB Ordner mit Mp3s in das TC-Volumen gelegt und einmal neben das Volumen (also ohne TC). In beiden Fällen wurden mit einem Gigabit Network 140 Sekunden benötigt. Dann habe ich einen Anwendungsordner mit 3000 Dateien und 1GB Größe verschoben und da war das Schreiben in das TC-Volumen sogar in Sekunden fertig, das Volumen ließ sich dann jedoch für 20 Sekunden dismounten. Ich denke da ist irgendein Cache im Hintergrund. Auf jeden Fall ist der Geschwindikeitsunterschied nicht bemerkbar und für meinen Fall wirklich ausreichend.

Was passiert nun wenn in einem großen TC-Volumen ein Bit kippt:
*What will happen when a part of a TrueCrypt volume becomes corrupted?

In encrypted data, one corrupted bit usually corrupts the whole ciphertext block in which it occurred. The ciphertext block size used by TrueCrypt is 16 bytes (i.e., 128 bits). The mode of operation used by TrueCrypt ensures that if data corruption occurs within a block, the remaining blocks are not affected. See also the question 'What do I do when the encrypted filesystem on my TrueCrypt volume is corrupted?*
Es wird also nur ein 16 Bytes Block unbrauchbar.

Jetzt wäre es optional in das Volumen ein Dateisystem zu schreiben das das Kippen einzelner Blöcke abfängt. So eine Art Hamming Code der alle 1000 Blöcke einen gekippten Block abfangen kann. Bei TC kann ich leider nur Fat und NTFS formatieren. Zu NTFS+Fehlerkorrektur finde ich im Internet nur das sie stattfindet und von Version zu Version verbessert wurde, jedoch nicht konkret die Leistungsfähigkeit.

Wenn ich Zeit habe werde ich mit einem Hex Editor im Volumen mal hier und da ein paar Bytes verändern. Mal sehen ob NTFS das repariert oder ob sich die Checksummen der gespeicherten Dateien dann unterscheiden.

Scrubbing: Bei den billigen NAS Systemen < 100 EUR steht nichts von Scrubbing. Bei 1000 Euro Systemen wird Scrubbing angeboten, so viel wollte ich aber nicht ausgeben. Heute Abend muß ich dazu mal mehr im Internet suchen.

Datengrab heißt das ich alle paar Tage/Wochen neue Dateien hinzufüge. Das die Festplatten aber 99% der Zeit ausgeschaltet sind.

hustbaer

@SeppJ
Was soll es bringen wenn die Platten laufen?
Und... guck dir mal die Zahlen an die die HDD Hersteller veröffentlichen. Unrecoverable Read Error Rate und so.

@abcd
Wenn du ne gute NAS willst, dann kauf dir nen billigen Server!
Nen Server mit Xeon und ECC RAM bekommst du für unter €400 (z.B. den T20 von DELL). Bzw. mit Pentium und ECC RAM sogar schon für unter €300. Der kann 10x mehr als ne €700 NAS.
Für €100 kann ich dir aber leider nix empfehlen was Scrubbing könnte.
Minimum wird wohl eher so im Bereich €200~€250 sein, wenn man auf ECC verzichtet und sich nen superbilligsparmeister-PC holt.

Der NAS den ich mir gerade von meiner Firma ausgeliehen habe (Netgear ReadyNAS 102 RN10200) unterstützt Scrubbing:
https://geizhals.de/netgear-readynas-102-rn10200-rn10200-100eus-a916218.html?hloc=at&hloc=de
Datenblatt:
http://www.downloads.netgear.com/files/GDC/datasheet/de/RN100.pdf

Die Buffalo LinkStation 421e (LS421DE-EU) für ~82 Eur scannt das Raid auch regelmäßig auf Fehler:
https://geizhals.de/buffalo-linkstation-421e-ls421de-eu-a945052.html?hloc=at&hloc=de
http://manual.buffalo.jp/buf-doc/35020812-04_DE.pdf

Bei den teueren NAS Systemen steht auch nicht immer Scrubbing sondern irgendwas mit Partol. Ich denke es sind unterschiedliche Namen für die gleiche Fehlerkontrolle?

hustbaer

@abcd
Aber was machen die dann wenn sie beim Scrubbing nen Fehler gefunden haben? Weinen?
Oder können sie den auch irgendwie reparieren? Würde mich sehr wundern.

Wenn man sich selbst nen Server hin stellt kann man halt ZFS bzw. ReFS verwenden. Die haben dann Parity-Streams, und mittels derer können sie die gefundenen Fehler dann reparieren.

https://en.wikipedia.org/wiki/RAID#URE
Unrecoverable read errors (URE) present as sector read failures, also known as latent sector errors (LSE). The associated media assessment measure, unrecoverable bit error (UBE) rate, is typically guaranteed to be less than one bit in 10^15 for enterprise-class drives (SCSI, FC, SAS or SATA), and less than one bit in 10^14 for desktop-class drives

Wenn man alle 10^14 Bits ein Lesefehler hat, dann würde er alle 10^14/(10244*8) = 11 Terabyte auftreten. Wenn ich eine 2 TB Platte also 6 Mal beschreibe, dann sollte im Consumer Bereich im Mittel irgendwo ein Bit gekippt sein. Jetzt die Platte wegschmeissen zu müssen wäre schlecht. Ich würde die Datei neu schreiben und nur wenn mehr Fehler auftreten die Platte austauschen. Raid ließt kein NTFS, der Fehler wird eine Ebene darunter schon beim Scrubben/Scannen/Patrol bemerkt. Sonst gäbe es ja die Smart Auswertung auch nicht.

Jetzt löse ich das Raid auf und repariere mit chkdsk die korrupte Platte und hänge sie danach wieder in das Raid. Das geht nicht, weil Raid so nicht funktioniert? Dann muß ich die korrupte Platte raus nehmen und neu reinhängen und von der anderen Platte komplett neu beschreiben lassen aka Raid neu erstellen.

Ich will für Dateien die ich irgendwann mal vielleicht noch brauche keine 1000 Euro ausgeben. ~100 Euro + 2*100 Euro für die beiden Platten müssen reichen.

nman

SeppJ: Siehe hustbaer.

abcd schrieb:

~100 Euro + 2*100 Euro für die beiden Platten müssen reichen.

Mach daraus ~220€ + 2*100€ für Festplatten und du kannst dir von Amazon einen HP Microserver mit 4GB ECC-RAM kaufen und darauf NAS4Free installieren und ZFS verwenden.

abcd schrieb:

Ich würde die Datei neu schreiben und nur wenn mehr Fehler auftreten die Platte austauschen.

Wenn du den Fehler bemerkst, ja. Das Scrubben sagt dir aber nicht "Datei X ist vielleicht kaputt", das RAID weiß ja nichts von Dateien, das kennt nur Blöcke. Ergo ZFS oä.

Wenn du dich gerade erst ganz frisch in das Thema einliest, machst du dir übrigens wahrscheinlich zu viele Sorgen. Um welche Daten geht es denn überhaupt?

Sonst gäbe es ja die Smart Auswertung auch nicht.

Es gibt keine Smart-Auswertung. Wenn du an Smart-Daten interessiert bist, musst du sie selbst auslesen. Was soll dein Raid-Controller spannendes mit Smart-Daten machen? Und mit welchen?

Jetzt löse ich das Raid auf und repariere mit chkdsk die korrupte Platte

Geht nicht, chkdsk repariert Dateisysteme, keine Festplatten.

Dann muß ich die korrupte Platte raus nehmen und neu reinhängen und von der anderen Platte komplett neu beschreiben lassen aka Raid neu erstellen.

Woher weißt du denn ohne Checksumme, welche der beiden Platten die kaputte ist?

Achtung, komplett kaputte Sektoren sind etwas ganz anderes als Bitrot, du würfelst da gerade viel durcheinander. Wenn dir gerade nicht klar ist, worum es wobei geht, machst du dir zu viele Sorgen. Du wirst dich vmtl. nicht innerhalb von zwei Tagen in das Thema einlesen können.