<![CDATA[std::deque real_max_size &lt;&lt;&lt; max_size]]>Hi,

ich bin auf der Suche nach einer Datenstruktur, welche eine sehr große Menge an Daten beinhalten kann (ca. 10 GB).
Der std::vector steigt relativ schnell aus, da er ja den Speicher am Stück reservieren muss.

Frage 1: Warum kann das aufgrund von Fragmentierung passieren? Bei einem 64 Bit System müsste doch immer "irgendwo" noch ein genügend großer virtuelle Speicherbereich frei sein.

Danach habe ich mir die std::deque angeguckt. Diese verwaltet die Daten in Chunks.
Doch auch die steigt bei der gleichen Größe (ca. 1 GB) aus.

Frage 2: Wie kann das sein? Das System ist ein 64 Bit Windows 10 mit 12 GB Ram.
Wenn ich manuell mehre Chunks reserviere, dann kann ich locker die 10 GB erreichen.

#include <iostream>
#include <vector>
#include <deque>

int main(int argc, char *argv[])
{
    const std::size_t mb = 1000 * 1000;
    std::size_t i = 1;
    try {
        for (; i < 1000000; i *= 10) {
            std::deque<char> a;
            a.resize(i * mb);
            std::cout << a.size() / mb << " MB " << std::endl;
        }
    } catch(...) {
        std::cout << "bad alloc at " << i << " MB" << std::endl;
    }
}
]]>https://www.c-plusplus.net/forum/topic/338821/std-deque-real_max_size-lt-lt-lt-max_sizeRSS for NodeMon, 13 Apr 2026 02:52:40 GMTWed, 13 Jul 2016 09:02:55 GMT60<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 09:02:55 GMT]]>Hi,

ich bin auf der Suche nach einer Datenstruktur, welche eine sehr große Menge an Daten beinhalten kann (ca. 10 GB).
Der std::vector steigt relativ schnell aus, da er ja den Speicher am Stück reservieren muss.

Frage 1: Warum kann das aufgrund von Fragmentierung passieren? Bei einem 64 Bit System müsste doch immer "irgendwo" noch ein genügend großer virtuelle Speicherbereich frei sein.

Danach habe ich mir die std::deque angeguckt. Diese verwaltet die Daten in Chunks.
Doch auch die steigt bei der gleichen Größe (ca. 1 GB) aus.

Frage 2: Wie kann das sein? Das System ist ein 64 Bit Windows 10 mit 12 GB Ram.
Wenn ich manuell mehre Chunks reserviere, dann kann ich locker die 10 GB erreichen.

#include <iostream>
#include <vector>
#include <deque>

int main(int argc, char *argv[])
{
    const std::size_t mb = 1000 * 1000;
    std::size_t i = 1;
    try {
        for (; i < 1000000; i *= 10) {
            std::deque<char> a;
            a.resize(i * mb);
            std::cout << a.size() / mb << " MB " << std::endl;
        }
    } catch(...) {
        std::cout << "bad alloc at " << i << " MB" << std::endl;
    }
}
]]>https://www.c-plusplus.net/forum/post/2502122https://www.c-plusplus.net/forum/post/2502122Wed, 13 Jul 2016 09:02:55 GMT<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 09:43:10 GMT]]>Du erzeugst auch ein 64 Bit Programm?

max_size schrieb:

Der std::vector steigt relativ schnell aus, da er ja den Speicher am Stück reservieren muss.

Kann ich nicht nachvollziehen und halte ich für ein Gerücht.

]]>https://www.c-plusplus.net/forum/post/2502131https://www.c-plusplus.net/forum/post/2502131Wed, 13 Jul 2016 09:43:10 GMT<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 13:21:42 GMT]]>std::deque hat zumindest in "meiner" Dinkumware und STLport Implementation einen riesigen Overhead pro Chunk. In den o.g. Implementationen ist jeder Chunk 16 Byte oder 1 Element (für Datentypen mit einer Größe > 16 Byte) groß, das ist für große Datenmengen völlig unbrauchbar.
Leider kann man die Blockgröße für std::deque nicht festlegen und damit den Overhead reduzieren.

]]>https://www.c-plusplus.net/forum/post/2502155https://www.c-plusplus.net/forum/post/2502155Wed, 13 Jul 2016 13:21:42 GMT<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 17:15:49 GMT]]>Unter Windows, d.h. im Visual Studio, muss man den Linker Parameter für große Addressen aktivieren, sonst kann/darf der Prozess maximal 2 oder 3 GB haben.

]]>https://www.c-plusplus.net/forum/post/2502203https://www.c-plusplus.net/forum/post/2502203Wed, 13 Jul 2016 17:15:49 GMT<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 18:21:55 GMT]]>Skym0sh0 schrieb:

Unter Windows, d.h. im Visual Studio, muss man den Linker Parameter für große Addressen aktivieren, sonst kann/darf der Prozess maximal 2 oder 3 GB haben.

Du sprichst jetzt davon, einem 32Bit Programm mehr als 2 GB zu erlauben?

]]>https://www.c-plusplus.net/forum/post/2502226https://www.c-plusplus.net/forum/post/2502226Wed, 13 Jul 2016 18:21:55 GMT<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 18:24:59 GMT]]>Versuch doch mal, einen std::vector mit 10GB reservierter Größe zu erzeugen.
Unter 64bit sollte das bei den meisten Systemen gut funktionieren, da der virtuelle Speicher erst auf physikalischen Speicher abgebildet wird, wenn auf den Speicher auch zugegriffen wird.

]]>https://www.c-plusplus.net/forum/post/2502227https://www.c-plusplus.net/forum/post/2502227Wed, 13 Jul 2016 18:24:59 GMT<![CDATA[Reply to std::deque real_max_size &lt;&lt;&lt; max_size on Wed, 13 Jul 2016 21:17:19 GMT]]>Das Problem ist sicher dass er ne 32 Bit .exe baut.
Da passt 1 GB ziemlich gut mit meinen Erfahrungen zusammen. Für nen 64 Bit Prozess wäre es lächerlich.

]]>https://www.c-plusplus.net/forum/post/2502254https://www.c-plusplus.net/forum/post/2502254Wed, 13 Jul 2016 21:17:19 GMT