PostgreSQL Externe C-Funktion

[DirkB]

sataide schrieb:

Ich muss das Teilergebnis, also nach der splittung, in eine euklidische norm setzten (also (x1)^2+(x2)2+....(xn)^2 und das alles in die eine Wurzel setzten). Da würde doch x+x falsch sein oder?.

Da steht xx* was soviel ist wie x²

xx* wird schneller berechnet als pow(x,2) (wenn der Compiler nicht optimiert)

sataide schrieb:

Wo muss denn das free dann hin ?

frühestens, wenn du den Zeiger nicht mehr brauchst, spätestens bevor du ihn mit einem neuen Wert beschreibst.

*tokens = (char*)malloc(sizeof(char) * strlen(tmp+1));

// da in der nächsten Zeile *tokens überschrieben wird, muss hier ein free hin. aber dann ist auch das malloc sinnfrei
                   *tokens = strdup(tmp);

Du rufst in deiner while -Schleife zweimal split_string1 auf.
Und bei jedem Aufruf holst du Speicher für 1024 char -Pointer und noch für zwei Strings. ( strdup holt auch Speicher per malloc )

strtok verändert den Ursprungsstring.

Wann wird eigentlich str (in der while-Schleife) neu gesetzt?

Wie sieht so ein String aus, den du mit PG_GETARG_CSTRING(0); bekommst?

[Wutz]

Warum willst du eine bestehende (und offenbar wohl funktionierende) SQL-Funktion ersetzen? Wieviele Nanosekunden willst du vielleicht sparen?
Wie du schon vermutet hast, ist das alles Müll, was du da machst.
Obendrein erscheint mir die Doppelsplittung (nach " " und dann nach ",") zweifelhaft, warum nimmst du nicht einfach sofort eine Splittung nach "," vor?
Das Ganze geht auch einfacher mit sscanf, da brauchst du weder malloc/free noch strtok und kannst mit konstanten Strings arbeiten.

[sataide]

Erstmal Danke für die Interesse und die Hilfe

@Dirk
Also fangen wir mal von vorne an. Dass das Müll ist, ist klar . Ich mach nur während des Praxissemesters einen Test, ob die externe C-Funktion schneller ist als eine PL/pgSQL- Funktion.

Also so eine LineString sieht folgendermaßen aus:

'3.584731 60.739211,3.590472 60.738030,3.592740 60.736220'

Das Trim in der Aufruffunktion im PL/pgSQL ist deshalb da weil der String eigentlich so aussieht:

LINESTRING('3.584731 60.739211,3.590472 60.738030,3.592740 60.736220')

Wie du siehst muss ich ihn 2 mal splitten um an die Einzelpunkte zu kommen, damit ich konvertieren und berechnen kann. Einmal auf das Leerzeichen(' ') und einmal auf das Komma(',').

Ich hol mir ja die Strings aus einer Datenbank. Diese Spalte hat ca. 6 1/2 Millionen Strings bzw. Zeilen, die diese Strings enthalten. Meine Funktion soll halt durch jede Zeile durchgehen, Splitten, in ein Double konvertieren, und berechnen.
Und am Ende natürlich ausgeben und in die nächste Zeile springen und das selbe machen bis die Spalte durch ist.

@Wutz
Ich will sie ja nicht ersetzten , ich will die beiden miteinander vergleichen.
Ja die PL/pgSQL-Funktion funktioniert wunderbar und braucht für den gesamten Ablauf ca. 8 Minuten.
Davon 6 1/2 für die Funktion und 1 1/2 für den Leseprozess.
Jede einzelne Nanosekunde wäre ein Erfolg

[DirkB]

sataide schrieb:

Also so eine LineString sieht folgendermaßen aus:

'3.584731 60.739211,3.590472 60.738030,3.592740 60.736220'
Das Trim in der Aufruffunktion im PL/pgSQL ist deshalb da weil der String eigentlich so aussieht:
LINESTRING('3.584731 60.739211,3.590472 60.738030,3.592740 60.736220')

Und welche Werte willst du davon haben?
jeden (1,2,3,4,5,6)?
jeden ungeraden (1,3,5) ?
jeden geraden (2,4,6) ?
hat jede Zeile 3 Wertepaare?

[sataide]

1.Ich will jeden Wert davon haben weil ja eine Berechnung durchführen muss.
2.Nein, die Strings sind verschieden lang aber meistens haben sie zwischen 2-5 Werte Paaren.

[Wutz]

Den gesamten String in C verarbeiten:

int main(void)
{
  const char *s="LINESTRING('3.584731 60.739211,3.590472 60.738030,3.592740 60.736220')";
  int n=0;
  double d;
  s=strchr(s,'\'')+1;
  while( 1==sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) )
    printf("\n%f",d);
  return 0;
}

http://ideone.com/f9U1KJ

[DirkB]

Ich würde die 1 beim %*1[ ,] noch weglassen.
Das macht es etwas flexibler bezüglich der Anzahl der Trennzeichen

[sataide]

Wutz schrieb:

Den gesamten String in C verarbeiten:

int main(void)
{
  const char *s="LINESTRING('3.584731 60.739211,3.590472 60.738030,3.592740 60.736220')";
  int n=0;
  double d;
  s=strchr(s,'\'')+1;
  while( 1==sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) )
    printf("\n%f",d);
  return 0;
}

http://ideone.com/f9U1KJ

Wow vielen Dank. Damit komm ich meinem Ziel schon bedeutend näher. Wenn du mir noch zeigen würdest wie ich mit dem Ergebnis weiterarbeiten kann wäre ich echt sehr dankbar. Bzw könnte ich in der WHile-Schleife die ausgegeben Werte summieren und quadrieren ?

[DirkB]

Erweitere Zeile 9 nach deinem belieben, auch als Block. In d ist der aktuelle Wert gespeichert.

[Wutz]

Packe den ganzen Kram in eine Funktion, übergib den const char* und arbeite innerhalb von while die Werte ab und überlege dir, was die Funktion evtl. rückliefern soll(Final-Ergebnis...).
Sowas nennt man auch Programmdesign.

[sataide]

Sorry wenn ich doof frage aber warum const char?
Nach meiner Denkweise ist es in jeder Zeile ein anderer String und somit doch kein const char. Aber belehrt mich eines besseren, bin auch nur ein Neuling und bereit was zu lernen

@Wutz
Meinste so:

double return_of_spl_string(const char*s)
{
  int n=0;
  double d;
  s=strchr(s,'\'')+1;
  while( 1==sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) )
//...hier einfach pow,sum,sqrt anwenden ...
  return d;
}

[DirkB]

sataide schrieb:

Sorry wenn ich doof frage aber warum const char?
Nach meiner Denkweise ist es in jeder Zeile ein anderer String und somit doch kein const char. Aber belehrt mich eines besseren, bin auch nur ein Neuling und bereit was zu lernen

const char*
Du veränderst den String ja nicht in der Funktion. In der bleibt er const.

sataide schrieb:

Meinste so:

double return_of_spl_string(const char*s)
{
  int n=0;
  double d;
  s=strchr(s,'\'')+1;
  while( 1==sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) )
//...hier einfach pow,sum,sqrt anwenden ...
  return d;
}

Das wird etwas schwieriger, da du ja jeden einzelnen Wert abspeichern willst.
Aus der Funktion bekommst du aber nur das Ergebnis der ganzen Zeile.
Oder du musst noch die aktuelle Summe mit übergeben und die neue wieder rausgeben.

[Wutz]

const char* heißt, dass der übergebene String innerhalb der C Funktion nicht verändert werden darf, aber natürlich beim nächsten Funktionsaufruf durchaus ein anderer String sein darf. const-Design gehört auch zum Programmdesign und zwingt dazu, sich über die ausgetauschten Daten im Klaren zu sein.

[sataide]

@Dirk
Meinste so?

double return_of_spl_string(const char*s)
{
  int n=0;
  double d;
  double sum;
  s=strchr(s,'\'')+1;
  while(sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) ) 
  {
	  sum += pow(d, 2);  
  }

  return pow(sum, 0.5);
}

Diese Funktion sollte mir ein quadrierten und in eine Wurzel gepackten Wert zurückgeben.

[Wutz]

DirkB schrieb:

Ich würde die 1 beim %*1[ ,] noch weglassen.
Das macht es etwas flexibler bezüglich der Anzahl der Trennzeichen

Ich nicht. Die 1 wegzulassen hieße, dass aufeinanderfolgende "," nicht als Fehler erkannt würden, was etwa bei "11 22,33 44,,55 66" u.ä. wohl kaum wünschenswert sein dürfte. Aufeinanderfolgende Leerzeichen werden auch mit 1 schon berücksichtigt und führen nicht zum Abbruch. "Flexibel" ist immer subjektiv, will man bei Vorschriftenverstoß irgendwie weitermachen (um am Ende ein zweifelhaftes Ergebnis zu erhalten) oder will man abbrechen und über Vorschriftenverstoß informieren.

[sataide]

Nach meiner letzten Veränderung sieht der Code jetzt so aus.

//------------------------------------------------------------------------------

double return_of_spl_string(const char*s)
{
  int n=0;
  double d;
  double sum;
  s=strchr(s,'\'')+1;
  while( 1==sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) ) 
  {
	  sum += pow(d, 2);  
  }
  return pow(sum, 0.5);
}

//------------------------------------------------------------------------------
PG_FUNCTION_INFO_V1(FCT_Norm);
PGDLLEXPORT 
Datum
FCT_Norm(PG_FUNCTION_ARGS)
	{

    FuncCallContext     *funcctx;
    int                  call_cntr;
    int                  max_calls;
    char       *_str = PG_GETARG_CSTRING(0);

	if (SRF_IS_FIRSTCALL())

			{
			MemoryContext   oldcontext;

			//create a function context for cross-call persistence 
			funcctx = SRF_FIRSTCALL_INIT();

			// switch to memory context appropriate for multiple function calls 
			oldcontext = MemoryContextSwitchTo(funcctx->multi_call_memory_ctx);

			/* total number of tuples to be returned */
			funcctx->max_calls = PG_GETARG_UINT32(0);
			MemoryContextSwitchTo(oldcontext);

			}	

				call_cntr = funcctx->call_cntr;
				max_calls = funcctx->max_calls;
				funcctx = SRF_PERCALL_SETUP();

				while(call_cntr < max_calls)
				{

				double ergebnis;
				ergebnis = return_of_spl_string(_str);

				SRF_RETURN_NEXT(funcctx,ergebnis);
				}
				//When he finish the last row the function is done
					if(call_cntr = max_calls)
						{
						SRF_RETURN_DONE(funcctx);
						}
}

Er baut auch brav, die Funktion lässt sich auch mit CREATE ... einfügen bloß scheitert es an der Abfrage der Daten.

Als Fehlermeldung kriege ich dann

FEHLER:  Funktion mit Mengenergebnis in einem Zusammenhang aufgerufen, der keine Mengenergebnisse verarbeiten kann

********** Fehler **********

FEHLER: Funktion mit Mengenergebnis in einem Zusammenhang aufgerufen, der keine Mengenergebnisse verarbeiten kann
SQL Status:0A000

[Furble Wurble]

Diesen ganzen Kram mit dem Kontext und so brauchst Du doch nicht, oder?
Ich meine Du bekommst einen LINESTRING und gibst da die Norm zurück.

Würde dementsprechend nicht reichen:

PG_FUNCTION_INFO_V1(FCT_Norm);
PGDLLEXPORT
Datum
FCT_Norm(PG_FUNCTION_ARGS)
{
  // ©Wutz (https://www.c-plusplus.net/forum/329834)
  int n=0;
  double d;
  double sum=0.0;
  const char *s=strchr(PG_GETARG_CSTRING(0),'\'')+1;
  while( 1==sscanf(s+=n,"%lf%*1[ ,]%n",&d,&n) )
  {
    sum += d*d;
  }
  PG_RETURN_FLOAT8(sqrt(sum)); 
}

[sataide]

Solange er mir durch die Spalte geht ist mir das recht egal

Danke für den Ansatz ich werde es morgen früh sofort versuchen (bin heute nicht mehr auf der Arbeit)

[sataide]

Geht leider nicht bei dem Aufruf der Funktion in SQL schmiert mir die Verbindung komplett ab Also er bricht die Verbindung komplett ab

[Furble Wurble]

sataide schrieb:

Geht leider nicht bei dem Aufruf der Funktion in SQL schmiert mir die Verbindung komplett ab Also er bricht die Verbindung komplett ab

Ähm...ich glaube auch, dass s falsch initialisiert wird.

Ein Linestring sieht so aus, oder:

LINESTRING(0 0,1 1,1 2)

?

Insbesondere fehlt das einfache Anführungszeichen ' .

Also musst Du in strchr() nach einer öffnenden Klammer suchen '(', nicht nach '\''.