Verschlüsseltes Backup auf NAS machen?

Ich muß Rechnungen die ich als Selbstständiger schreibe lange aufbewahren. Und natürlich alte SW-Projekte und den Schriftverkehr.

Deine Idee gefällt mir sehr gut:
http://www.heise.de/preisvergleich/hp-proliant-microserver-gen8-819185-421-a1322637.html

Für 205 Euro + die Platten. Dann ein bißchen in OpenMediaVault einlesen. Dafür habe ich dann die Daten unter Kontrolle und könnte vielleicht sogar aus alten Platten ein Array zum Probieren&Testen zusammenstecken, weil ich hier 5 Sata Anschlüsse habe.
http://www.bastis-blog.com/2015/07/nas-einrichten-und-konfigurieren-mit-debian-und-openmediavault/
http://www.och-group.de/2013/05/15/hp-proliant-n40l-microserver-mit-openmediavault-und-debian-installieren/

Vor 10 Jahren hast du mir einen Brother Laser Drucker empfohlen und der steht hier immer noch auf dem Tisch*g*

hustbaer

SeppJ schrieb:

Aber der Threadersteller hat Angst, dass er diese Fehler eventuell nicht bemerken könnte. Das ist völlig unrealistisch.

Naja ne, eben auch nicht.
Deswegen würde ich gerne erwähnten Artikel wiederfinden - bisher aber kein Glück. Da stand nämlich 'was zum Thema "silent data errors" drinnen. Also Daten aus der Praxis.

Meine Bemerkung bezüglich "URE" ist aber natürlich trotzdem nicht passend

hustbaer

Ist zwar nicht der Artikel den ich gesucht habe, aber auch ganz OK:
http://queue.acm.org/detail.cfm?id=1866298

Das viel zitierte CERN Paper:
http://indico.cern.ch/event/13797/session/0/contribution/3/attachments/115080/163419/Data_integrity_v3.pdf

Und natürlich Wikipedia:
https://en.wikipedia.org/wiki/Data_corruption#SILENT

SeppJ

Also Bestätigung, dass diese Art von Fehler sehr selten auftritt und VIEL eher irgendetwas anderes kaputt geht? Es ist Zeitverschwendung sich über diese Fehler den Kopf zu zerbrechen, wenn die Chance, dass etwas irreparabel und mit großem Knall kaputt geht, so ungleich größer ist^*. Der Threadersteller sollte sich Gedanken machen, ob er mit einem mechanischen oder elektronischen Totalausfall einer Platte (oder eines Teils davon) leben kann, nicht, ob ihm alle 100 TB mal ein falsches Bit untergejubelt werden könnte (was ihm dem Bericht nach genau so gut durch Störungen im RAM/CPU passieren kann).

^*: Das mag anders aussehen, wenn man Datenmengen im Stil des CERNs oder Amazons verarbeitet und sich gegen die häufig auftretenden Ausfallszenarien bereits abgesichert hat. Priorität sollte aber zuerst einmal sein, sich gegen diese abzusichern.

nman

SeppJ: Ich schätze deine Meinung sehr, aber ich weiß nicht genau, worauf du hier hinauswillst. Dass der OP sich über andere Sachen Gedanken machen sollte, habe ich doch selbst gesagt. Ist nur ohne genaue Beschreibung der Daten und der Erfahrung des OP schwer einzuschätzen, was das Hauptproblem ist.

Deine Behauptung war IIRC "Bitrot ist mit Festplatten kein Problem" und das stimmt nicht. Du musst auch nicht das CERN sein, damit Fehlerraten in dieser Größenordnung ein Problem werden können. Ganz normaler Wissenschaftsbetrieb reicht aus. Oder Datenbank-Backups von Unternehmen, die wichtige Daten produzieren. (Ja, teilweise auch zur langfristigen Archivierung, aber durchaus nicht nur.)

edit: Daten zu diesem Thema produzieren CERN und Amazon, weil sie die Infrastruktur und das Interesse haben, das Problem an sich zu untersuchen. Das heißt nicht, dass nur CERN und Amazon betroffen sind. Ich produziere auch keine epidemiologischen Daten zu verschiedenen Schnupfen-Arten, habe trotzdem aber regelmäßig Schnupfen.

Klar kannst du jetzt sagen "normale Leute haben nur kleine Office-Files und große unwichtige Mediensammlungen", aber ich hatte schon mit einigen Situationen zu tun, wo ich als Kunden normale Leute hatte, die eben das Pech hatten, bei Versicherungen, als Ärzte oder Rechtsanwälte oder eben Wissenschafter zu arbeiten.

Wir sprechen doch auch nicht davon, dass nicht andere Sachen kaputtgehen könnten, aber nur weil wir beide zuhause keine Daten bzw. Datenmengen haben, die davon betroffen wären, heißt das doch nicht dass Bit Rot kein Problem ist.

nman

hustbaer: Sorry, ich archiviere nur akademische Papers, die für eigenes Forschungszeug interessant sein könnten oder solche, die ich als Referenz verwenden möchte bzw. noch in meiner TOREAD-Queue habe.

abcd schrieb:

Ich muß Rechnungen die ich als Selbstständiger schreibe lange aufbewahren. Und natürlich alte SW-Projekte und den Schriftverkehr.

Dann wird Bit Rot vmtl. kein Problem sein. Wenn du irgendetwas nur lange archivieren und selten lesen musst, aber gerne auf Nummer sicher gehen würdest, kannst du es ja in ein Rar-Archiv mit ausreichend Recovery-Records packen oä.

Vor 10 Jahren hast du mir einen Brother Laser Drucker empfohlen und der steht hier immer noch auf dem Tisch*g*

Freut mich. (Habe meinen auch noch immer in Verwendung.)

Dann lass mich dir noch zwei Empfehlungen geben:

Bevor du deine Festplatten in Betrieb nimmst, mach einen ausgiebigen Burn-In-Test. Hier wird eine brauchbare Variante beschrieben (schreibendes badblocks, nicht nur lesendes): https://forums.freenas.org/index.php?threads/how-to-hard-drive-burn-in-testing.21451/
Aktuell kaufe ich HGST-Platten und fahre damit recht gut.

Falls du HP+OMV nimmst (kann ich an sich empfehlen): Du wirst vmtl. noch eine Micro-SD-Karte oder einen USB-Stick brauchen für die OMV-Systempartition. Und du solltest im BIOS den Hardware-RAID-Controller ausschalten (Controller auf AHCI-Modus umschalten) und checken ob die Write-Caches aktiviert sind.

Ich habe den Server, die SD Karte (für das Betriebssystem) und die Platten gekauft und bin jetzt am Rumexperiementieren. OpenMediaVaul und Zfs Plugin sind drauf. Jetzt wird gerade zuhause mit Zfs ein Raid Mirror Volumen mit beiden Platten erstellt. Allerdings unverschlüsselt. Das mit der Verschlüsselung scheint nicht so einfach zu sein bzw nicht generisch vorgesehen sein. Wenn ich dmcrypt verwenden möchte, dann müsste ich das Zfs Volumen nochmal auflössen und Dmcrypt dazwischen schieben. Ich habe im OMV Forum gefragt, für diese Lösung gibt es noch kein Tutorial. Ich habe jetzt von anderen *nix Betriebssystemen Anleitungen gefunden. Mal sehen wie man sie anwenden kann.

nman

OpenMediaVault mit ZFS habe ich noch nie verwendet, habe ZFS bis dato immer nur auf FreeBSD-basierten verwendet. Schau dir am besten mal die LUKS-Doku von Arch oä. an, die sollte alles wichtige erklären.

Installationsanleitung/Erfahrungen

Die verbaute Hardware ist:
-- HP ProLiant MicroServer Gen8, Celeron G1610T 2*2.3GHz, 4GB RAM für 205 Euro
-- 2*2 TB Hitachi Ultrastar 7K3000 HUA723020ALA641 für 2*60 Euro
-- 32 GB MicroSD für 10 Euro

Installation:
Das OpenMediaVault ISO auf ein USB Stick schreiben und damit den MicroServer starten. Es ist eine normale Debian Installation mit wenigen Konfigurationsmöglichkeiten. Die Datenplatten waren dabei nicht eingehängt. Problem: Debian startet beim nächsten Neustart nicht. Laut Internet Recherche soll man sich die "Boot repair disk" herunter laden und es automatisch fixen lassen. Ich denke Grub wurde nochmal installiert, möglicherweise auf dem MBR von einer der Datenplatten. Für Verschlüsselung und ZFS muß das OMV Extra Plugin installiert werden. Nach der Installation gibt es ein neues "OMV Extra" Menu und hier kann dann LUKS und ZFS nachinstalliert werden.

Konfiguration:
Ich habe zuerst die Festplatten einzeln über die Weboberfläche verschlüsseln lassen und danach mit ZFS ein Mirror Raid erstellt. Angeblich soll es auch anders herum gehen, also zuerst mit ZFS den Mirror erstellen und oben drauf Luks. Außerdem habe ich 2 externe baugleiche USB Platten angeschlossen und auf die gleiche Weise zu einem verschlüsseltem ZFS Mirror gekoppelt. Unannehmlichkeit: Nach dem Starten des MicroServers muß ich nun das Passwort 4* in der OMV Weboberfläche eingeben (Copy&Paste) und danach die ZFS Pools importieren lassen. Weil ich einmal bei einem Experiment den MicroSD Systemdatenträger zerschossen habe hat diese ZFS/LUKS Konfiguration sogar eine Neuinstallation von OMV überlebt.
Außerdem gibt es ein OMV-Plugin mit dem man den Zugriff auf die Systempartition und SWAP stark reduzieren kann. (MicroSD Lebensdauer erhöhen.)

OMV läßt sich sehr gut über die Oberfläche bedienen, Shellzugriff ist vorhanden, war bisher aber weder bei der Installation noch der Konfiguration notwendig. Die Option mit dem ZFS Scrubben habe ich gefunden aber noch nicht getestet. Es läuft. Danke nman

hustbaer

Wie tut denn das Ding (ProLiant MicroServer) von der Lautstärke her?

Es ist ein Grundrauschen mit dem ich im Schlafzimmer 2m neben dem Bett gut klar komme. Bei der Badblocks Überprüfung der Festplatten war alles noch leise, aber Dateien von den externen USB Platten auf das ZFS Raid verschieben war dann sehr laut.

Nachtrag: Man soll bei der Installation von OMV die Datenfestplatten aushängen, weil diese sonst für die Installation verwendet würden. (Und nicht die MicroSD)

Das man externe Usb Festplatten über ZFS zu einem Mirror zusammen schalten war das Goodie überhaupt. Ich habe bisher immer nach einer Möglichkeit gesucht externe USB Platten zu einem Mirror zusammen zu fügen. Mein nächstes Experiment wäre eine VM mit Linux wo zwei USB Platten über ZFS gespiegelt sind. Mein Host OS ist Windows, ich würde dann über Samba auf den Mirror zugreifen. Ich habe hier mehrere ungenutzte externe USB Platten rumliegen...

nman

hustbaer schrieb:

Wie tut denn das Ding (ProLiant MicroServer) von der Lautstärke her?

Ich würde ihn als büroleise aber nicht wohnzimmerleise bezeichnen. Im Büro mit Lüftung, Laptops und gedämpften Telefongeräuschen höre ich die Kiste eigentlich nicht. Nur wenn der Backup-Cronjob anspringt, die Platten rattern und der CPU-Lüfter hochdreht.

abcd: Sehr fein, freut mich dass du zufrieden bist.

SideWinder

Bevor ich 300€ und viel Zeit aus dem Fenster schmeiße, backuppe ich meine Daten lieber bei 1-2 Cloud-Anbietern wie https://code42.com/crashplan . Die haben sich all die Gedanken schon gemacht und ich muss mich um nichts kümmern. Die Daten sind zusätzlich auch noch gegen Diebstahl und Katastrophen (Blitzeinschlag, Brand, Wasser, Vulkan und/oder Nuklearangriff) geschützt.

just my 2 cents.

(wenn euch ein Restore von mehreren TB aus dem Netz zu lange dauert, dann kann hier eben eine lokale Otto-Normalo-Platte als Backup dienen und nur die unrecoverable files hol ich mir aus dem Netz bzw. im Diebstahl-Fall eben alle)

MfG SideWinder

5$/Monat für unbegrenzten Speicher ist sehr verlockend. Der Flaschenhals wird wohl der UP-Link beim Internet Provider sein. Ich habe einen Uplink von 100Kb/s. Ein Terabyte Upload würde dann 116 Tage benötigen. Bei mir sind es auch VMs die ich für Kunden einrichte und dann speichere. Mit dem MicroServer bin ich sehr zufrieden.

@Sidewinder: Wenn du den Anbieter nutzt, wie läuft das mit der Verschlüsselung?

abcd schrieb:

Unannehmlichkeit: Nach dem Starten des MicroServers muß ich nun das Passwort 4* in der OMV Weboberfläche eingeben (Copy&Paste) und danach die ZFS Pools importieren lassen.

Dagegen hilft supspend to disk.

nman

SideWinder schrieb:

Bevor ich 300€ und viel Zeit aus dem Fenster schmeiße, backuppe ich meine Daten lieber bei 1-2 Cloud-Anbietern wie https://code42.com/crashplan .

Es ist praktisch, ein lokales NAS zu haben, wo man mehr Daten liegen haben kann, als man auf Arbeitsrechnern und Laptops verteilen möchte. Das schließt doch Offsite-Backups nicht aus.

Ich hatte privat auch lange Zeit ein paar externe Festplatten, mit denen ich Disk Jockey gespielt habe. Ist mir auf Dauer aber zu mühsam geworden und dass jetzt keine Kabel, Netzteile und Adapter mehr herumliegen, ist auch sehr angenehm. Aktiv irgendetwas tun zu müssen damit ein Backup anspringt ist Mist.

SideWinder

abcd schrieb:

5$/Monat für unbegrenzten Speicher ist sehr verlockend. Der Flaschenhals wird wohl der UP-Link beim Internet Provider sein. Ich habe einen Uplink von 100Kb/s. Ein Terabyte Upload würde dann 116 Tage benötigen. Bei mir sind es auch VMs die ich für Kunden einrichte und dann speichere. Mit dem MicroServer bin ich sehr zufrieden.

Der Flaschenhals ist leider der Uplink von deren Servern. Ich habe afaik 24MBit/s Upload und habe trotzdem ein gutes Monat für 2 TB benötigt. War's aber für die Initialzündung imho wert.

MfG SideWinder