<![CDATA[Daten performant in Dateien speichern und auslesen]]>Hallo Leute

Ich habe eine größere Menge an Daten, die während eines Optimierungsprozesses anfallen und öfter gebraucht werden.

Derzeit kann ich Daten noch im Speicher halten. Aber in Zukunft kommen mehr und mehr Daten dazu, die die Größe meines Arbeitsspeichers von 4GB bei weitem überschreiten.

Es handelt sich dabei um float-Zahlenreihen mit ca. 3000 Elementen.

Diese müssten mit einem Identifier versehen werden und dann in Dateien derart gespeichert werden, dass sie performant ausgelesen werden können. Und zwar so performant, dass sich es nicht lohnt, die Datenreihe live zu berechnen.
Die Komplexität der Berechnungen liegt im Bereich der Grundrechenarten.

Diese werden in Baumstrukturen benötigt, die hochperformant arbeiten. D.h. eine live-Berechnung treibt die Laufzeit zum aktuellen Zeitpunkt enorm in die Höhe.

Anmerkungen:
- Die Datenreihen haben immer die gleiche Länge! D.h. man könnte in der Datei konstante Sprünge machen.
- Die Datei könnte permanent offen gehalten werden!

Wie performant können Dateioperationen sein?
Wie würde man das speichern? binär?

System: 64Bit Gentoo-Linux, eclipse @ g++, STL, Boost

]]>https://www.c-plusplus.net/forum/topic/252766/daten-performant-in-dateien-speichern-und-auslesenRSS for NodeMon, 14 Sep 2026 05:44:05 GMTSat, 24 Oct 2009 06:38:38 GMT60<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 06:42:11 GMT]]>Hallo Leute

Ich habe eine größere Menge an Daten, die während eines Optimierungsprozesses anfallen und öfter gebraucht werden.

Derzeit kann ich Daten noch im Speicher halten. Aber in Zukunft kommen mehr und mehr Daten dazu, die die Größe meines Arbeitsspeichers von 4GB bei weitem überschreiten.

Es handelt sich dabei um float-Zahlenreihen mit ca. 3000 Elementen.

Diese müssten mit einem Identifier versehen werden und dann in Dateien derart gespeichert werden, dass sie performant ausgelesen werden können. Und zwar so performant, dass sich es nicht lohnt, die Datenreihe live zu berechnen.
Die Komplexität der Berechnungen liegt im Bereich der Grundrechenarten.

Diese werden in Baumstrukturen benötigt, die hochperformant arbeiten. D.h. eine live-Berechnung treibt die Laufzeit zum aktuellen Zeitpunkt enorm in die Höhe.

Anmerkungen:
- Die Datenreihen haben immer die gleiche Länge! D.h. man könnte in der Datei konstante Sprünge machen.
- Die Datei könnte permanent offen gehalten werden!

Wie performant können Dateioperationen sein?
Wie würde man das speichern? binär?

System: 64Bit Gentoo-Linux, eclipse @ g++, STL, Boost

]]>https://www.c-plusplus.net/forum/post/1797342https://www.c-plusplus.net/forum/post/1797342Sat, 24 Oct 2009 06:42:11 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 06:50:28 GMT]]>It0101 schrieb:

Derzeit kann ich Daten noch im Speicher halten. Aber in Zukunft kommen mehr und mehr Daten dazu, die die Größe meines Arbeitsspeichers von 4GB bei weitem überschreiten.

...

System: 64Bit

Kauf dir mehr RAM

]]>https://www.c-plusplus.net/forum/post/1797343https://www.c-plusplus.net/forum/post/1797343Sat, 24 Oct 2009 06:50:28 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 06:58:40 GMT]]>Das wird nicht reichen... ich habe schon überlegt, ob ich auf 8GB aufrüste, aber das bringt mich nicht wirklich weiter.

Im Endeffekt heißt es ohnehin:

- Live berechnen ( kostet Rechenzeit )
oder
- anderswo speichern

]]>https://www.c-plusplus.net/forum/post/1797344https://www.c-plusplus.net/forum/post/1797344Sat, 24 Oct 2009 06:58:40 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 07:00:10 GMT]]>http://en.wikipedia.org/wiki/Memory-mapped_file

]]>https://www.c-plusplus.net/forum/post/1797345https://www.c-plusplus.net/forum/post/1797345Sat, 24 Oct 2009 07:00:10 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 07:27:16 GMT]]>ok... ich guck mal ob es da ne reine POSIX-Lösung gibt... wenn es Sinn macht, versuche ich boost zu vermeiden.

]]>https://www.c-plusplus.net/forum/post/1797348https://www.c-plusplus.net/forum/post/1797348Sat, 24 Oct 2009 07:27:16 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 07:35:10 GMT]]>It0101 schrieb:

Und zwar so performant, dass sich es nicht lohnt, die Datenreihe live zu berechnen.
Die Komplexität der Berechnungen liegt im Bereich der Grundrechenarten.

Hört sich so an, als ob von Platte laden auch nicht schneller ist.

]]>https://www.c-plusplus.net/forum/post/1797351https://www.c-plusplus.net/forum/post/1797351Sat, 24 Oct 2009 07:35:10 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 07:37:50 GMT]]>das müsste ich dann anhand von Performance-Messungen rausfinden 😉

]]>https://www.c-plusplus.net/forum/post/1797352https://www.c-plusplus.net/forum/post/1797352Sat, 24 Oct 2009 07:37:50 GMT<![CDATA[Reply to Daten performant in Dateien speichern und auslesen on Sat, 24 Oct 2009 07:39:53 GMT]]>Das höchste der Gefühle dürfte das hier sein:

http://aktien-portal.at/indikatoren.html?sm=cci

Also gleitende Durchschnitte, bissel Addieren und Multiplizieren...
Aber dennoch würde ich das für spezielle Berechnungen evtl. mal testen.

]]>https://www.c-plusplus.net/forum/post/1797353https://www.c-plusplus.net/forum/post/1797353Sat, 24 Oct 2009 07:39:53 GMT