Synchronisierung



  • Hallo,

    ich bin auf der Suche nach einen Sync-Tool, dass nur die Änderungen einer Datei an einen anderen Rechner überträgt. Auf dem Zielrechner soll die Datei dann entsprechend aktualisiert werden. Dabei ist die Datei mehrere GB groß.

    Ich sehe da als einzige praktikable Möglichkeit ein Monitoring der Schreibvorgänge auf die Datei.

    Oder übersehe ich was?

    Gibt es so ein Tool?

    jenz

    Nachtrag:
    Es soll eine lokale Lösung sein. Kann auch gerne mit Filezugriff funktionieren. Client/Server wäre aber cooler.



  • Dropbox.



  • Danke audacia, aber ich glaube, Dropbox kann ich mir nicht lokal einrichten.

    Und so weit ich das sehe macht Dropbox eben auch einen Filevergleich und überträgt dann die Änderungen.

    https://www.dropbox.com/help/8/en

    Vielleicht hätte ich schreiben sollen, dass die Datei 80GB groß ist, da dauert auch ein Vergleich schon recht lang.

    jenz



  • Du kannst auf System Ebene nur abfangen ob sich eine Datei geändert hat - nicht was sich in der Datei geändert hat.

    Du müsstest das in der App abfangen die in die Datei schreibt.

    Wie genau erstellst du die 80GB Datei denn?

    uU gehen ja solche Tricks wie: wenn immer nur angehängt wird an die Datei kann man sich das Byte Offset merken, etc.



  • Es sind VDI-Files von VirtualBoxen.

    FileMon (jetzt ProcessMonitor) macht sowas, glaube ich, also direkt Schreibzugriffe mitloggen.
    Sowas müsste also schon möglich sein, aber ich glaube nicht, dass man das mal eben so dahin programmiert.

    Aber vielleicht bietet VirtualBox ne Möglichkeit an, das wäre was.

    Ich suche da mal.

    Mir gehts also darum ne VDI zu clonen.

    jenz



  • jenz schrieb:

    Mir gehts also darum ne VDI zu clonen.

    Wenn du das für etwas anderes als für reine Backup-Zwecke verwenden möchtest, kann das böse enden.

    Jede vdi-Datei hat nämlich eine ID und VirtualBox kommt nicht damit klar, wenn zwei Image-Files dieselbe ID haben. Deswegen muss man zum Kopieren vboxmanage clonehd verwenden, wenn die Chance besteht, dass man die kopierte vdi-Datei irgendwann einmal in dieselbe VirtualBox-Installation laden möchte wie die alte vdi.

    Zu deinem Problem: Eine Möglichkeit wäre drbd und ein RAW-Image in VirtualBox. drbd synchronisiert alle Änderungen blockweise und damit sehr effizient. drbd ist nicht ganz trivial einzurichten, aber ist die effizienteste (freie) Lösung, die mir bekannt ist.

    Ansonsten wär das einfachste wohl sowas wie rsync --inplace. Das überträgt auch nur die geänderten Blöcke übers Netzwerk. Allerdings muss beim Sender und beim Empfänger jeweils das komplette Image von der Platte gelesen werden, was das ganze schon wieder sehr lahm werden lässt.



  • Sie dir mal rdiff an. Irgendwo dürfte auch ein Windows-Kompilat rumschwirren



  • Christoph schrieb:

    jenz schrieb:

    Mir gehts also darum ne VDI zu clonen.

    Wenn du das für etwas anderes als für reine Backup-Zwecke verwenden möchtest, kann das böse enden.

    Ja, das ist mir bekannt.

    Christoph schrieb:

    Zu deinem Problem: Eine Möglichkeit wäre drbd und ein RAW-Image in VirtualBox. drbd synchronisiert alle Änderungen blockweise und damit sehr effizient. drbd ist nicht ganz trivial einzurichten, aber ist die effizienteste (freie) Lösung, die mir bekannt ist.

    Ansonsten wär das einfachste wohl sowas wie rsync --inplace. Das überträgt auch nur die geänderten Blöcke übers Netzwerk. Allerdings muss beim Sender und beim Empfänger jeweils das komplette Image von der Platte gelesen werden, was das ganze schon wieder sehr lahm werden lässt.

    Ja, drdb sieht sehr gut aus. Leider leider habe ich natürlich vergessen, dass ich das für Windows suche.

    rsync habe ich mir schon angesehen.
    Aber wie du schon schreibst macht das eben auch "nur" einen diff.

    jenz



  • Kann man VirtualBox nicht dazu bringen nur X GB große Dateien anzulegen?

    Bei VMWare kann ich sagen, dass er das Volume in 2GB Chunks splitten soll.
    Das würde Backups hier natürlich enorm erleichtern.



  • Die Möglichkeit von Chunks habe ich jetzt nicht gefunden.

    Aber wahrscheinlich reicht es mir, wenn ich einfach gelegentlich einen Snapshot mache. Dann wird die aktuelle VDI nicht mehr verändert, sondern eine "Diff-VDI" angelegt. Die kann man wieder Snapshotten und so weiter.

    Dann bräuchte ich nicht immer die großen VDIs kopieren.

    Das gefällt mir schon mal.

    Aber trotzdem wundert es mich, dass es eine solche Backuplösung nicht gibt.



  • jenz schrieb:

    Aber wahrscheinlich reicht es mir, wenn ich einfach gelegentlich einen Snapshot mache. Dann wird die aktuelle VDI nicht mehr verändert, sondern eine "Diff-VDI" angelegt. Die kann man wieder Snapshotten und so weiter.

    Dadurch wird aber die VM nach und nach langsamer, wenn jeder neue Snapshot die neuen Änderungen in eine neue Datei speichert.

    @zwutz: rdiff hat genau dasselbe Problem wie rsync: Es muss die Datei komplett lesen, um die Änderungen zu finden.



  • @Christoph:
    Ja, aber ich bekomme erst mal in akzeptabler Zeit BackUps.

    Natürlich hätte ich gerne noch ne andere Lösung.

    jenz


Log in to reply