Welchen Archivtyp verwendet ihr?
-
Der aus dem Westen ... schrieb:
knivil schrieb:
Komprimierung ist nicht generell verlustbehaftet. Es gibt verlustbehaftete Komprimierung und verlustfreie.
Ist mir auch klar (sonst könnte ich mich kaum einen Programmierer schimpfen). Allerdings sind da nicht nur Bilder, sondern auch noch andere Sachen bei (darunter auch einiges an Audio- und Videodateien, auch ein Werbevideo meiner Firma mit ziemlich hoher Qualität), und hier wäre ein Qualitätsverlust ... sagen wir mal, mein Kopf würde auch mit plastischer Chirurgie nie mehr auf den Körper passen.
Noch mal: Es kann nur dann verlustbehaftet komprimiert werden, wenn bekannt ist, was die Verluste für Auswirkungen haben. Eine Zip-Datei kannst du z.B. nicht verlustbehaftet komprimieren, weil bei einer Veränderung in der Bibliothek die Datei plötzlich inkorrekt würde. Verlustbehaftet sind nur Kompressionen für bestimmte Formate wie Video und Audio und da auch nicht alles. Allgemeine Kompressionen sind nie verlustbehaftet. Wenn es dir nur um eventuelle Übertragungsfehler geht, kann ich dir nicht weiterhelfen.
Kannst du uns ungefähr sagen, um was für Dateien es sich handelt (natürlich prozentual von der Größe her)? Text? Bilder? Videos? Archive? Binaries?
-
Meistens .zip, da es unter den meisten Plattformen funktioniert. .rar steht auf meiner Hass-Format Liste ganz oben, weil es unter Mac OS nicht von Haus aus unterstützt wird.
-
wxSkip schrieb:
Noch mal: Es kann nur dann verlustbehaftet komprimiert werden, wenn bekannt ist, was die Verluste für Auswirkungen haben. Eine Zip-Datei kannst du z.B. nicht verlustbehaftet komprimieren, weil bei einer Veränderung in der Bibliothek die Datei plötzlich inkorrekt würde. Verlustbehaftet sind nur Kompressionen für bestimmte Formate wie Video und Audio und da auch nicht alles. Allgemeine Kompressionen sind nie verlustbehaftet. Wenn es dir nur um eventuelle Übertragungsfehler geht, kann ich dir nicht weiterhelfen.
Gut zu wissen. Und wieder was gelernt.
wxSkip schrieb:
Kannst du uns ungefähr sagen, um was für Dateien es sich handelt (natürlich prozentual von der Größe her)? Text? Bilder? Videos? Archive? Binaries?
Zu viel, würde ich meinen. Ein paar CD-Images, ein Haufen Windows- und Linux-Executables, ein paar zehntausend Bilder, etliche Skripte, noch mehr Texte (reine Textdateien ohne Formatierung, meistens mit gedit, notepad oder vim geschrieben), ein paar Treiber, noch ein paar Videos, etliche Audiodateien (von denen ich bewusst weiß - zum Sortieren komme ich derzeit einfach nicht, wird man an meiner Abwesenheit im Forum unter der Woche gemerkt haben) ... zum Teil richtig wichtiges Zeugs eben, und das blockiert meine Partitionen. Wenn's nur Logging-Dateien oder SQL-Datenbanken wären, die kann man relativ leicht verlustfrei komprimieren, soweit ich weiß (78% Deflation) ... würde insgesamt 100 GB machen.
@PI: Selber schuld, wenn du Macs verwendest.
-
314159265358979 schrieb:
.rar steht auf meiner Hass-Format Liste ganz oben, weil es unter Mac OS nicht von Haus aus unterstützt wird.
Nicht nur das: Das rar-Programm unter meinem Ubuntu ("RAR 4.00 beta 3") ist kaputt, sobald es UTF8-Dateinamen oder -Ordnernamen zu sehen bekommt, die asiatische Zeichen enthalten. Dann passieren so lustige Dinge wie, manche Ordner werden ins Archiv gepackt, andere werden stillschweigend ausgelassen.
Für Kompatibilität dürfte unter Linux-Systemen wohl wirklich tar das sicherste Format sein. Wenn es komprimiert wird, wird es natürlich ein bisschen inkompatibler, aber tar.gz, etc. sollten auch noch gehen.
Verlustfrei komprimierbare Daten haben aber oft auch die Eigenschaft, dass sie unkomprimiert nur wenige Gigabyte in Anspruch nehmen. Das, was tausende Gigabytes oder mehr in Anspruch nimmt, sind bei einem Privatanwender wohl meistens Fotos und Filme, nehme ich an, da erübrigt sich verlustfreie Komprimierung sowieso.
Mein Rat wär daher für kleines Geld eine 2TB-Platte zu kaufen und nicht weiter über verlustfreie Komprimierung nachzudenken. Ob ein Ordner nun 10GB oder 2GB belegt, ist bei genügend großer Festplatte gar nicht mehr so wichtig.
Was Komprimierung (bzw. Archivierung) reduzieren kann, ist aber die Dateianzahl. Das kann durchaus relevant sein, wenn du z.B. einen Ordner mit 100000 Dateien oder mehr hast, die sich nie ändern. Wenn du den ganzen Ordner durch ein äquivalentes tar-Archiv ersetzt, ist das fürs Dateisystem viel schonender und beim Kopieren auch viel effizienter.
edit: Was ich noch erwähnen wollte, war squashfs. Der gewaltige Vorteil daran ist, dass man das Archiv mounten kann und der Zugriff auf einzelne Dateien nur sehr wenig langsamer ist als unkomprimiert. Außerdem komprimiert squashfs multithreaded, es profitiert also von aktuellen CPUs. squashfs ist im offiziellen Linux-Kernel enthalten, insofern sollte die Kompatibilität einigermaßen sichergestellt sein. Allerdings wurde die Kompatibilität bisher bei größeren Versionssprüngen wohl nicht aufrecht erhalten, deswegen ist mir bisher squashfs als Archiv zu riskant.
-
Der aus dem Westen ... schrieb:
earli schrieb:
BTW: Gibts eigentlich keine Fotos von dir online?
Ich vermute, wenn du keine von ihm findest, wird das seine Gründe haben ... verdammt, mein Onkel hatte recht. Facebook gewöhnt uns daran, die Informationen anderer sofort abrufen zu wollen.
Ich sag mal so, natürlich gibt es Fotos von mir. Aber die findet man nicht, wenn man meinen bürgerlichen Namen nicht kennt.
-
bitte löschen (diesen Beitrag)
-
Christoph schrieb:
Für Kompatibilität dürfte unter Linux-Systemen wohl wirklich tar das sicherste Format sein. Wenn es komprimiert wird, wird es natürlich ein bisschen inkompatibler, aber tar.gz, etc. sollten auch noch gehen.
tar macht ja auch nichts anderes, als Dateien aneinander hängen und zwischendurch ein paar Metadaten. So, wie man das früher auf ein Magnetband gemacht hat. tar steht ja für Tape ARchiver.
Verlustfrei komprimierbare Daten haben aber oft auch die Eigenschaft, dass sie unkomprimiert nur wenige Gigabyte in Anspruch nehmen. Das, was tausende Gigabytes oder mehr in Anspruch nimmt, sind bei einem Privatanwender wohl meistens Fotos und Filme, nehme ich an, da erübrigt sich verlustfreie Komprimierung sowieso.
Nein, deine Fotos und Videos sind zum Glück schon verlustbehaftet komprimiert. Sonst wären sie noch viel größer.
Ein einziges Foto von 4000x3000 Pixeln (24 Bit Farbe) wäre sonst 34,3 Gigabyte groß.
Eine Stunde HD-Video mit 1080p (24 Bit Farbe, 25 Bilder pro Sekunde) wäre 521,4 Terabyte groß.
-
earli schrieb:
Ein einziges Foto von 4000x3000 Pixeln (24 Bit Farbe) wäre sonst 34,3 Gigabyte groß.
Eine Stunde HD-Video mit 1080p (24 Bit Farbe, 25 Bilder pro Sekunde) wäre 521,4 Terabyte groß.
Du bist um eine Einheit zu groß, beim ersten bestimmt, beim zweiten keine Lust mehr nachzurechnen.
-
earli schrieb:
Der aus dem Westen ... schrieb:
earli schrieb:
BTW: Gibts eigentlich keine Fotos von dir online?
Ich vermute, wenn du keine von ihm findest, wird das seine Gründe haben ... verdammt, mein Onkel hatte recht. Facebook gewöhnt uns daran, die Informationen anderer sofort abrufen zu wollen.
Ich sag mal so, natürlich gibt es Fotos von mir. Aber die findet man nicht, wenn man meinen bürgerlichen Namen nicht kennt.
Dann muss ich nochmal suchen. Deinen bürgerlichen Namen hat man in ca. einer Minute raus. Ich dachte halt, dass jeder Politiker heutzutage ein Bild von sich in vertrauenserweckender Siegerpose haben muss
-
earli schrieb:
Christoph schrieb:
Für Kompatibilität dürfte unter Linux-Systemen wohl wirklich tar das sicherste Format sein. Wenn es komprimiert wird, wird es natürlich ein bisschen inkompatibler, aber tar.gz, etc. sollten auch noch gehen.
tar macht ja auch nichts anderes, als Dateien aneinander hängen und zwischendurch ein paar Metadaten. So, wie man das früher auf ein Magnetband gemacht hat. tar steht ja für Tape ARchiver.
Ja, genau deswegen ist es so zukunftssicher. Wobei gnu tar ja schon noch ein paar Dinge mehr macht, sonst könnte es keine symlinks etc. speichern. Aber das ist auch ganz simpel in der Datei abgelegt.
earli schrieb:
Verlustfrei komprimierbare Daten haben aber oft auch die Eigenschaft, dass sie unkomprimiert nur wenige Gigabyte in Anspruch nehmen. Das, was tausende Gigabytes oder mehr in Anspruch nimmt, sind bei einem Privatanwender wohl meistens Fotos und Filme, nehme ich an, da erübrigt sich verlustfreie Komprimierung sowieso.
Nein, deine Fotos und Videos sind zum Glück schon verlustbehaftet komprimiert. Sonst wären sie noch viel größer.
Warum "nein"? Fotos und Videos sind natürlich meistens verlustbehaftet komprimiert, aber darum geht es in diesem Thread doch gar nicht. Fotos und Videos werden normalerweise vom Encoder nach (oder während) dem verlustbehafteten Komprimieren nochmal verlustfrei komprimiert, um keine Bits zu verschenken. Deswegen bringt eine weitere verlustfreie Komprimierung praktisch nichts mehr.
-
Ich würde vermutlich 7zip mit LZMA2 nehmen. Die Tests sehen gut aus, es wird Multicore-Kompression unterstützt, Kompatibilität ist durch die Open-Source-Verfügbarkeit gewährt und außerdem kann man (zumindest unter Windows) selbst entpackende Archive erstellen (die nur ca. 100KB größer sind). Wenn du die Ordner mit JPEG- und anderen komprimierten Dateien ausschließen könntest, wäre die Zeitersparnis vermutlich ziemlich groß.