Boost::Tokenizer - Fragen

Reply to Boost::Tokenizer - Fragen on Fri, 19 Dec 2008 10:00:54 GMT

milan1612 — Fri, 19 Dec 2008 10:00:54 GMT

Ich habe zwei Fragen zu Boost::Tokenizer und hoffe ihr könnt mir helfen:

Erstens, kann man auch Tokenseparatoren mit mehr als einem Buchstaben spezifizieren?
Beispiel: Ich will "a == b +- c - d" in Tokens zerlegen, hier wären die
Separatoren also "==" und "+-" und "-". Geht das mit Boost::Tokenizer?

Und zweitens, kann ich festlegen dass die Separatoren selbst auch Tokens sind?
Das heißt, bei obigen Beispiel kämen folgende Tokens raus: "a", "==", "b", "+-", "c", "-" und "d".

Danke im voraus & weihnachtliche Grüße,
Milan :xmas1:

Reply to Boost::Tokenizer - Fragen on Fri, 19 Dec 2008 11:58:18 GMT

pyromania — Fri, 19 Dec 2008 11:58:18 GMT

Und zweitens, kann ich festlegen dass die Separatoren selbst auch Tokens sind?
Das heißt, bei obigen Beispiel kämen folgende Tokens raus: "a", "==", "b", "+-", "c", "-" und "d".

Du könntest auch einfach ' ' als Seperator verwenden, dann hättest du all diese Tokens

Reply to Boost::Tokenizer - Fragen on Fri, 19 Dec 2008 12:12:24 GMT

milan1612 — Fri, 19 Dec 2008 12:12:24 GMT

pyromania schrieb:

Und zweitens, kann ich festlegen dass die Separatoren selbst auch Tokens sind?
Das heißt, bei obigen Beispiel kämen folgende Tokens raus: "a", "==", "b", "+-", "c", "-" und "d".

Du könntest auch einfach ' ' als Seperator verwenden, dann hättest du all diese Tokens

Ich dachte mir schon dass dies kommt, aber ich will damit auch sowas tokenizen können: "a ==b+- c-d"...