<![CDATA[Stream extrem langsam?]]>ich habe ein kleines funprogramm geschrieben, welches ein bitmap komplett in html darstellt:

#include <windows.h>
#include <iostream> 
#include <fstream>  // ifstream 
#include <sstream>  // i/ostringstream

#include "SDL/SDL.h"

int main(int argc, char *argv[])
{
	using namespace std; 
    stringstream htmlText;
	cout << "Select a bitmap to convert (32bit)" << endl;
	char szFileName[MAX_PATH] = "";
	OPENFILENAME ofn;
	ZeroMemory(&ofn, sizeof(ofn));
	ofn.lStructSize = sizeof(ofn); // SEE NOTE BELOW
	ofn.hwndOwner = 0;
	ofn.lpstrFilter = "Bitmaps (*.bmp)\0*.bmp\0";
	ofn.lpstrFile = szFileName;
	ofn.nMaxFile = MAX_PATH;
	ofn.Flags = OFN_EXPLORER | OFN_FILEMUSTEXIST | OFN_HIDEREADONLY;
	ofn.lpstrDefExt = "bmp";
	if(GetOpenFileName(&ofn))
	{
		cout << "Select a destination" << endl;
		char szFileNameSave[MAX_PATH] = "";
		OPENFILENAME ofns;
		ZeroMemory(&ofns, sizeof(ofns));
		ofns.lStructSize = sizeof(ofns); // SEE NOTE BELOW
		ofns.hwndOwner = 0;
		ofns.lpstrFilter = "HTML-File (*.html)\0*.html\0";
		ofns.lpstrFile = szFileNameSave;
		ofns.nMaxFile = MAX_PATH;
		ofns.Flags = OFN_EXPLORER | OFN_HIDEREADONLY;
		ofns.lpstrDefExt = "html";
		if(GetSaveFileName(&ofns))
		{
			cout << "File will be saved to " << szFileNameSave << endl;
			cout << "Opening " << szFileName << endl;
			SDL_Surface *img = SDL_LoadBMP ( szFileName );
			if(img != NULL)
			{
				Uint32 *pixels = (Uint32*)img->pixels;
				htmlText << "<html>" << endl << "<body>" << endl << "<table width='" << img->w << "' height='" << img->h << "' border='0' cellpadding='0' cellspacing='0' style='table-layout:fixed' >" << endl;
				int numLines = img->h;
				int numCols = img->w;
				int lastPer = 0;
				int cPer;
				cout << "0" << "%" << endl;
				for(int i = 0; i < numLines; i++)
				{
					cPer = (100*i)/(numLines);
					if(cPer > lastPer)
					{	lastPer = cPer;
						cout << cPer << "% Done (" << (numCols*i) << " Pixels)" << endl;
					}
					htmlText << "<tr height='1'>" << endl;
					for(int j = 0; j < numCols; j++)
					{
						htmlText <<  "<td width='1' height='1' bgcolor='#" << hex << (int)pixels[(numCols*i) + j] << "'><img src='bg.gif'></td> " << endl;
					}
					htmlText << "</tr>" << endl;
				}
				htmlText << "</table> </body> </html>" << endl;
				ofstream file( szFileNameSave ); // Log-File öffnen 
				file << htmlText.rdbuf(); // alles rein
				cout << "100" << "%" << endl;
				cout << "Finished and saved to file!" << endl;
			}
			else
			{
				cout << "Unabled to open image: " << szFileName << endl;
			}
		}
		else
		{
			cout << "No destination Selected, exiting." <<endl;
		}

	}
	else
	{
		cout << "No file selected, exiting." << endl;
	}
	return 1;
}

jetzt habe ich aber das problem, dass das programm schon bei einem 320x240 pixel bild ca 20 minuten braucht, obwohl die html datei nur ca. 5 mb groß ist !?
wieso braucht der da so extrem lange? und wie gehts schneller? sollte ich das ganze mit nem string und append() machen?

edit und mir fällt grad auf, dass es gegen ende immer langsamer wird, warum ?

]]>https://www.c-plusplus.net/forum/topic/186762/stream-extrem-langsamRSS for NodeThu, 24 Sep 2026 11:41:32 GMTThu, 12 Jul 2007 08:28:32 GMT60<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:38:26 GMT]]>ich habe ein kleines funprogramm geschrieben, welches ein bitmap komplett in html darstellt:

#include <windows.h>
#include <iostream> 
#include <fstream>  // ifstream 
#include <sstream>  // i/ostringstream

#include "SDL/SDL.h"

int main(int argc, char *argv[])
{
	using namespace std; 
    stringstream htmlText;
	cout << "Select a bitmap to convert (32bit)" << endl;
	char szFileName[MAX_PATH] = "";
	OPENFILENAME ofn;
	ZeroMemory(&ofn, sizeof(ofn));
	ofn.lStructSize = sizeof(ofn); // SEE NOTE BELOW
	ofn.hwndOwner = 0;
	ofn.lpstrFilter = "Bitmaps (*.bmp)\0*.bmp\0";
	ofn.lpstrFile = szFileName;
	ofn.nMaxFile = MAX_PATH;
	ofn.Flags = OFN_EXPLORER | OFN_FILEMUSTEXIST | OFN_HIDEREADONLY;
	ofn.lpstrDefExt = "bmp";
	if(GetOpenFileName(&ofn))
	{
		cout << "Select a destination" << endl;
		char szFileNameSave[MAX_PATH] = "";
		OPENFILENAME ofns;
		ZeroMemory(&ofns, sizeof(ofns));
		ofns.lStructSize = sizeof(ofns); // SEE NOTE BELOW
		ofns.hwndOwner = 0;
		ofns.lpstrFilter = "HTML-File (*.html)\0*.html\0";
		ofns.lpstrFile = szFileNameSave;
		ofns.nMaxFile = MAX_PATH;
		ofns.Flags = OFN_EXPLORER | OFN_HIDEREADONLY;
		ofns.lpstrDefExt = "html";
		if(GetSaveFileName(&ofns))
		{
			cout << "File will be saved to " << szFileNameSave << endl;
			cout << "Opening " << szFileName << endl;
			SDL_Surface *img = SDL_LoadBMP ( szFileName );
			if(img != NULL)
			{
				Uint32 *pixels = (Uint32*)img->pixels;
				htmlText << "<html>" << endl << "<body>" << endl << "<table width='" << img->w << "' height='" << img->h << "' border='0' cellpadding='0' cellspacing='0' style='table-layout:fixed' >" << endl;
				int numLines = img->h;
				int numCols = img->w;
				int lastPer = 0;
				int cPer;
				cout << "0" << "%" << endl;
				for(int i = 0; i < numLines; i++)
				{
					cPer = (100*i)/(numLines);
					if(cPer > lastPer)
					{	lastPer = cPer;
						cout << cPer << "% Done (" << (numCols*i) << " Pixels)" << endl;
					}
					htmlText << "<tr height='1'>" << endl;
					for(int j = 0; j < numCols; j++)
					{
						htmlText <<  "<td width='1' height='1' bgcolor='#" << hex << (int)pixels[(numCols*i) + j] << "'><img src='bg.gif'></td> " << endl;
					}
					htmlText << "</tr>" << endl;
				}
				htmlText << "</table> </body> </html>" << endl;
				ofstream file( szFileNameSave ); // Log-File öffnen 
				file << htmlText.rdbuf(); // alles rein
				cout << "100" << "%" << endl;
				cout << "Finished and saved to file!" << endl;
			}
			else
			{
				cout << "Unabled to open image: " << szFileName << endl;
			}
		}
		else
		{
			cout << "No destination Selected, exiting." <<endl;
		}

	}
	else
	{
		cout << "No file selected, exiting." << endl;
	}
	return 1;
}

jetzt habe ich aber das problem, dass das programm schon bei einem 320x240 pixel bild ca 20 minuten braucht, obwohl die html datei nur ca. 5 mb groß ist !?
wieso braucht der da so extrem lange? und wie gehts schneller? sollte ich das ganze mit nem string und append() machen?

edit und mir fällt grad auf, dass es gegen ende immer langsamer wird, warum ?

]]>https://www.c-plusplus.net/forum/post/1323622https://www.c-plusplus.net/forum/post/1323622Thu, 12 Jul 2007 08:38:26 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:37:11 GMT]]>meinst du das "nur" jetzt ernst? 5 MB sind 5 Millionen Byte (plus ein bisschen), da dauert die Ausgabe doch etwas. beschleunigen könntest du das ein wenig, indem du den Stream selber entscheiden lässt, wann er seine Daten auf die Platte schreiben will (dazu mußt du die ganzen endl für die HTML-Ausgabe ersetzen durch '\n' )*.

* Es geht schneller, einmal 1kB Daten auf Platte zu schreiben als 1024 mal 1 Byte, darum hat der Stream einen Zwischenpuffer, in den er die Daten reinpackt, bis er ein ausreichend großes Paket zusammenbekommen hat.

PS: Was für einen Sinn soll es denn haben, ein Bitmap zu einer riesigen HTML-Tabelle umzuarbeiten? Wenn du Bilder im Netz übertragen willst, solltest du sie auch als Bilder übertragen (zur Not als JPEG oder GIF).

]]>https://www.c-plusplus.net/forum/post/1323626https://www.c-plusplus.net/forum/post/1323626Thu, 12 Jul 2007 08:37:11 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:41:09 GMT]]>CStoll schrieb:

beschleunigen könntest du das ein wenig, indem du den Stream selber entscheiden lässt, wann er seine Daten auf die Platte schreiben will

Ich bin mir nicht sicher, ob du gesehen hast, dass er zuerst alles in einen stringstream packt.

]]>https://www.c-plusplus.net/forum/post/1323632https://www.c-plusplus.net/forum/post/1323632Thu, 12 Jul 2007 08:41:09 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:50:35 GMT]]>CStoll schrieb:

meinst du das "nur" jetzt ernst? 5 MB sind 5 Millionen Byte (plus ein bisschen), da dauert die Ausgabe doch etwas. beschleunigen könntest du das ein wenig, indem du den Stream selber entscheiden lässt, wann er seine Daten auf die Platte schreiben will (dazu mußt du die ganzen endl für die HTML-Ausgabe ersetzen durch '\n' )*.

* Es geht schneller, einmal 1kB Daten auf Platte zu schreiben als 1024 mal 1 Byte, darum hat der Stream einen Zwischenpuffer, in den er die Daten reinpackt, bis er ein ausreichend großes Paket zusammenbekommen hat.

PS: Was für einen Sinn soll es denn haben, ein Bitmap zu einer riesigen HTML-Tabelle umzuarbeiten? Wenn du Bilder im Netz übertragen willst, solltest du sie auch als Bilder übertragen (zur Not als JPEG oder GIF).

sinn macht es keinen, ich hab nur letztens auf youtube gesehen, wie jemand mit html von hand bilder gemalt hat, und da dachte ich mir, sowas kann man auch automatisieren 😉
naja jedenfalls hat es im nachhinein dann doch nen sinn gehabt, das ist nähmlich ein toller browserbenchmark. Ich habe dadurch rausgefunden, das Opera und der IE tabellen um nen riesigen faktor schneller darstellen können als firefox

edit2: was meinst du mit "ausgabe" ? die 5 mb werden am ende in einem schritt geschrieben, und das dauert auch nur unwesentlich lange. was wirklich dauert ist die eingabe in den pufferstream!

edit3: und das mit dem "nur" meinte ich ernst.. 5 mb sind doch nun wirklich nicht viel... andere programme schaffen es in 20 minuten 5 gigabyte herumzuschieben

]]>https://www.c-plusplus.net/forum/post/1323636https://www.c-plusplus.net/forum/post/1323636Thu, 12 Jul 2007 08:50:35 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:48:46 GMT]]>MFK schrieb:

CStoll schrieb:

beschleunigen könntest du das ein wenig, indem du den Stream selber entscheiden lässt, wann er seine Daten auf die Platte schreiben will

Ich bin mir nicht sicher, ob du gesehen hast, dass er zuerst alles in einen stringstream packt.

Nein, das habe ich wohl übersehen 😉 OK, dann kannst du die Bemerkung mit dem endl vermutlich vergessen, aber dafür hast du ein anderes Problem: Der Stream verwendet selber auch nur string::push_back() bzw. string::append(), um seinen Puffer zu füllen - und dabei muß ständig neuer Speicher angefordert werden, während der String langsam wächst (und jedes Mal werden alle bisherigen Daten umkopiert, wenn das passiert).

]]>https://www.c-plusplus.net/forum/post/1323645https://www.c-plusplus.net/forum/post/1323645Thu, 12 Jul 2007 08:48:46 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:51:52 GMT]]>CStoll schrieb:

MFK schrieb:

CStoll schrieb:

beschleunigen könntest du das ein wenig, indem du den Stream selber entscheiden lässt, wann er seine Daten auf die Platte schreiben will

Ich bin mir nicht sicher, ob du gesehen hast, dass er zuerst alles in einen stringstream packt.

Nein, das habe ich wohl übersehen 😉 OK, dann kannst du die Bemerkung mit dem endl vermutlich vergessen, aber dafür hast du ein anderes Problem: Der Stream verwendet selber auch nur string::push_back() bzw. string::append(), um seinen Puffer zu füllen - und dabei muß ständig neuer Speicher angefordert werden, während der String langsam wächst (und jedes Mal werden alle bisherigen Daten umkopiert, wenn das passiert).

hm dann könnte man den benötigten platz vorher berechnen, aber wie kann ich dem stream vorher platz reservieren?

]]>https://www.c-plusplus.net/forum/post/1323649https://www.c-plusplus.net/forum/post/1323649Thu, 12 Jul 2007 08:51:52 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:53:52 GMT]]>mal abgesehen von allem, 30min fpr 5mb ist doch schon bischen arg lange..

]]>https://www.c-plusplus.net/forum/post/1323654https://www.c-plusplus.net/forum/post/1323654Thu, 12 Jul 2007 08:53:52 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:54:45 GMT]]>Könnte man hier nicht mit stringstream::rdbuf::setbuf dem Stringstream gleich so groß machen, dass das seltener passiert?

]]>https://www.c-plusplus.net/forum/post/1323656https://www.c-plusplus.net/forum/post/1323656Thu, 12 Jul 2007 08:54:45 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:55:38 GMT]]>Schreib doch direkt in die Datei

]]>https://www.c-plusplus.net/forum/post/1323658https://www.c-plusplus.net/forum/post/1323658Thu, 12 Jul 2007 08:55:38 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 08:56:44 GMT]]>Vermutlich gar nicht (außer durch einige üble Hacks, die ich hier nicht einmal erwähnen möchte), weil der Stream dir keinen Direktzugriff auf seinen unterliegenden String genehmigt. Wie ändert sich denn die Laufzeit, wenn du direkt in einen fstream schreibst (natürlich nachdem du die unnötigen endl's ausgewechselt hast)?

]]>https://www.c-plusplus.net/forum/post/1323659https://www.c-plusplus.net/forum/post/1323659Thu, 12 Jul 2007 08:56:44 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 09:01:03 GMT]]>Hast du mal als Gegentest die Ausgabe in den Stream weg gelassen? Also das du zwar weiterhin berechnest aber den Stream weg lässt.

for(int i = 0; i < numLines; i++)
                {
                    cPer = (100*i)/(numLines);
                    if(cPer > lastPer)
                    {    lastPer = cPer;
                        cout << cPer << "% Done (" << (numCols*i) << " Pixels)" << endl;
                    }
                    // htmlText << "<tr height='1'>" << endl;
                    for(int j = 0; j < numCols; j++)
                    {
                       // htmlText <<  "<td width='1' height='1' bgcolor='#" << hex << 
                         int dummy = (int)pixels[(numCols*i) + j];
                    }
                    // htmlText << "</tr>" << endl;
                }

Wie ist nun die Performance?

]]>https://www.c-plusplus.net/forum/post/1323664https://www.c-plusplus.net/forum/post/1323664Thu, 12 Jul 2007 09:01:03 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 09:21:41 GMT]]>CStoll schrieb:

Vermutlich gar nicht (außer durch einige üble Hacks, die ich hier nicht einmal erwähnen möchte), weil der Stream dir keinen Direktzugriff auf seinen unterliegenden String genehmigt. Wie ändert sich denn die Laufzeit, wenn du direkt in einen fstream schreibst (natürlich nachdem du die unnötigen endl's ausgewechselt hast)?

teste ich mal aus... dauert n paar minuten

edit:
so... hier die ergebnisse:

Alte methode:
Finished and saved to file!
19200 pixels written in 112692 milliseconds

nur ein dummy :
Finished and saved to file!
19200 pixels written in 61 milliseconds

und wenn ich direkt in die datei schreibe:
Finished and saved to file!
19200 pixels written in 641 milliseconds

!!

also direkt in die datei schreiben 😉

thx

edit2: na heiss:

Finished and saved to file!
480000 pixels written in 12550 milliseconds

480.000 pixel in 12 sekunden, statt 19.200 pixel in 2 minuten...die stream funktion sollte vielleicht n bissel überarbeitet werden (man könnte ja vielleicht versuchen den benötigten speicher vorherzusehen, statt linear immer gleich viel dranzuhängen)

]]>https://www.c-plusplus.net/forum/post/1323665https://www.c-plusplus.net/forum/post/1323665Thu, 12 Jul 2007 09:21:41 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 09:49:16 GMT]]>Aus diesem Grund wäre es vielleicht doch besser direkt rauszuschreiben. Dann werden die Sachen einfach auf die Platte geschoben und nicht noch umkopiert.

edit: argh, kommt davon, wenn man zwischendrin was anderes macht 🙂

]]>https://www.c-plusplus.net/forum/post/1323691https://www.c-plusplus.net/forum/post/1323691Thu, 12 Jul 2007 09:49:16 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 09:31:17 GMT]]>pixartist schrieb:

naja jedenfalls hat es im nachhinein dann doch nen sinn gehabt, das ist nähmlich ein toller browserbenchmark. Ich habe dadurch rausgefunden, das Opera und der IE tabellen um nen riesigen faktor schneller darstellen können als firefox

<img src='bg.gif'>

du packst in jede deiner tabellenzellen ein bild, wahrscheinlich 1x1 pixel groß? das macht firefox langsam, nicht die tabelle. schreib wenigstens die größe des bildes mit ins tag.

]]>https://www.c-plusplus.net/forum/post/1323695https://www.c-plusplus.net/forum/post/1323695Thu, 12 Jul 2007 09:31:17 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 09:34:07 GMT]]>pixartist schrieb:

480.000 pixel in 12 sekunden, statt 19.200 pixel in 2 minuten...die stream funktion sollte vielleicht n bissel überarbeitet werden (man könnte ja vielleicht versuchen den benötigten speicher vorherzusehen, statt linear immer gleich viel dranzuhängen)

Erstens: string's vergrößern ihren Speicher nicht linear, sondern idR exponentiell.

Zweitens: Woher soll der Stream ganz am Anfang wissen, wieviele Daten er letztendlich benötigen wird?

Drittens: Der Haupt-Engpass bei deinem Test wird wohl der Heap-Manager gewesen sein - 5MB kann der auch nicht so einfach aus dem Ärmel schütteln (und höchstwahrscheinlich kommst du da in Größenordnungen, wo Windows anfängt über Swapping nachzudenken).

]]>https://www.c-plusplus.net/forum/post/1323698https://www.c-plusplus.net/forum/post/1323698Thu, 12 Jul 2007 09:34:07 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 09:51:54 GMT]]>Eine andere möglichkeit wären vielleicht auch die (deprecated) strstreams. Da muß man den Buffer selbst managen und in Deinem Fall lässt sich die benötigte Größe ja recht gut vorher abschätzen. Das könnte auch ordentlich speed bringen. Am Schluß wird dann ein einziges mal rausgeschrieben.

]]>https://www.c-plusplus.net/forum/post/1323719https://www.c-plusplus.net/forum/post/1323719Thu, 12 Jul 2007 09:51:54 GMT<![CDATA[Reply to Stream extrem langsam? on Thu, 12 Jul 2007 10:12:00 GMT]]>Welche Stdlib-Implementierung verwendest du? Ist es die von Dinkumware?

]]>https://www.c-plusplus.net/forum/post/1323735https://www.c-plusplus.net/forum/post/1323735Thu, 12 Jul 2007 10:12:00 GMT