<![CDATA[Dateien, größer als RAM laden]]>Ich wollte mal wissen, wie es z.B. Packprogramme wie Winrar schaffen,
Dateien zu lesen, die größer sind als mein Arbeitsspeicher.

Denn, wenn ich eine Datei lesen möchte, lade ich sie immer in den Heap.
Auch Texteditoren benutzen soweit ich weiß dieses Verfahren...
Allerdings ist dann bei mir bei ca. 2,5 GB Schluss!

Aber wenn ich eine 100 GB .rar Datei mit Winrar, 7zip, etc. lade,
ändert sich fast nichts an meinem Arbeitsspeicher.

Wie kann ich so etwas in meinen Programmen umsetzen? (Spezielles Verfahren 😕 )

]]>https://www.c-plusplus.net/forum/topic/294863/dateien-größer-als-ram-ladenRSS for NodeSat, 15 Aug 2026 17:20:03 GMTWed, 02 Nov 2011 17:37:57 GMT60<![CDATA[Reply to Dateien, größer als RAM laden on Wed, 02 Nov 2011 17:37:57 GMT]]>Ich wollte mal wissen, wie es z.B. Packprogramme wie Winrar schaffen,
Dateien zu lesen, die größer sind als mein Arbeitsspeicher.

Denn, wenn ich eine Datei lesen möchte, lade ich sie immer in den Heap.
Auch Texteditoren benutzen soweit ich weiß dieses Verfahren...
Allerdings ist dann bei mir bei ca. 2,5 GB Schluss!

Aber wenn ich eine 100 GB .rar Datei mit Winrar, 7zip, etc. lade,
ändert sich fast nichts an meinem Arbeitsspeicher.

Wie kann ich so etwas in meinen Programmen umsetzen? (Spezielles Verfahren 😕 )

]]>https://www.c-plusplus.net/forum/post/2139461https://www.c-plusplus.net/forum/post/2139461Wed, 02 Nov 2011 17:37:57 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Wed, 02 Nov 2011 17:42:04 GMT]]>Geheimtrick, nicht weitersagen: Die brauchen nicht alles auf einmal.

]]>https://www.c-plusplus.net/forum/post/2139463https://www.c-plusplus.net/forum/post/2139463Wed, 02 Nov 2011 17:42:04 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Wed, 02 Nov 2011 21:14:52 GMT]]>Wie SeppJ schon erwaehnt hat. Die lesen die Dateien blockweise aus - also die brauchen nicht alles auf einmal. Das nennt man "memory mapped file" (wenn du danach googlest solltest du genuegend infos finden).
Die Standardbibliothek unterstuetzt das leider nicht, aber boost (Qt auch). Oder du benutzt halt die nativen API-Funktionen, in der WinAPI heisst die "CreateFileMapping", glaub ich - unter Unix-Systeme mmap.

]]>https://www.c-plusplus.net/forum/post/2139570https://www.c-plusplus.net/forum/post/2139570Wed, 02 Nov 2011 21:14:52 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Wed, 02 Nov 2011 21:25:24 GMT]]>Dafür braucht es auch keine file mappings, das gäbe bei einem 32-Bit-Prozess genauso Probleme.
Es reicht, die Daten einzulesen, die du gerade brauchst. Bei einem Archiv also zunächst nur die Metadaten.

]]>https://www.c-plusplus.net/forum/post/2139576https://www.c-plusplus.net/forum/post/2139576Wed, 02 Nov 2011 21:25:24 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Wed, 02 Nov 2011 22:02:27 GMT]]>(Kein Mecker, sondern nur Ergänzung:)

Athar schrieb:

Dafür braucht es auch keine file mappings,

So ist es. Prinzipiell kann man sich (sogar recht kleine und einfache) Klassen bauen, die die file mappings simulieren. Die vom Betriebssystem zu nehmen, ist aber ungleich schlauer, weil das BS s sauviel zusätzlich weiß, was ich nicht wissen kann.

Betrifft aber normale Packer gar nicht. Die packen einfach streams und haben ein Gedächtnis von soundsoviel Speicher, um besser vorhersagen zu können. Manche laden auch immer nacheinander Blöcke von soundsoviel Speicher und packen die unabhängig von der Vorgeschichte. Die sind auch nicht messbar schlechter. Aber keiner muß die gesamte Datei sehen können. Immer nur ein Stückchen reicht.

]]>https://www.c-plusplus.net/forum/post/2139588https://www.c-plusplus.net/forum/post/2139588Wed, 02 Nov 2011 22:02:27 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Wed, 02 Nov 2011 22:49:49 GMT]]>Danke!

]]>https://www.c-plusplus.net/forum/post/2139617https://www.c-plusplus.net/forum/post/2139617Wed, 02 Nov 2011 22:49:49 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Thu, 03 Nov 2011 05:19:13 GMT]]>Wieso kommt man nicht selber auf sowas? Überhaupt keine Kreativität?

]]>https://www.c-plusplus.net/forum/post/2139662https://www.c-plusplus.net/forum/post/2139662Thu, 03 Nov 2011 05:19:13 GMT<![CDATA[Reply to Dateien, größer als RAM laden on Thu, 03 Nov 2011 14:06:12 GMT]]>Athar schrieb:

Dafür braucht es auch keine file mappings, das gäbe bei einem 32-Bit-Prozess genauso Probleme.

Welche? Die wuerden mich interessieren. 🙂 Probleme wuerde es wohl nur geben, wenn du mehr als 4 GB auf einmal mappen wuerdest. Ansonsten kann man auch mit einer 32bit Anwendung Dateien ueber 4GB mittels Memory Mapping lesen und schreiben.

volkard schrieb:

(Kein Mecker, sondern nur Ergänzung:)

Athar schrieb:

Dafür braucht es auch keine file mappings,

So ist es. Prinzipiell kann man sich (sogar recht kleine und einfache) Klassen bauen, die die file mappings simulieren. Die vom Betriebssystem zu nehmen, ist aber ungleich schlauer, weil das BS s sauviel zusätzlich weiß, was ich nicht wissen kann.

Betrifft aber normale Packer gar nicht. Die packen einfach streams und haben ein Gedächtnis von soundsoviel Speicher, um besser vorhersagen zu können. Manche laden auch immer nacheinander Blöcke von soundsoviel Speicher und packen die unabhängig von der Vorgeschichte. Die sind auch nicht messbar schlechter. Aber keiner muß die gesamte Datei sehen können. Immer nur ein Stückchen reicht.

Schon ja, man muss memory mapping ja nicht direkt verwenden. Es gibt sicherlich Klassen, die den memory mapping vorgang abstrahieren - aber auf "herkoemmlichem" Wege (z.B. mit der Standardbibliothek) wird die Datei immer zuerst komplett in die RAM gelesen.

]]>https://www.c-plusplus.net/forum/post/2139827https://www.c-plusplus.net/forum/post/2139827Thu, 03 Nov 2011 14:06:12 GMT