wie schon im Titel geschrieben, habe ich ein Problem mit der Codierung. Damit ihr das Problem genau versteht, beschreibe ich es im Detail:

Ich habe ein kleines Programm mit GUI in Visual Studio 2012 geschrieben, das mehrere Eingabefelder (TextBoxes) hat. Der Text, den man in die Felder eingibt, ersetzt bestimmte Muster in einer .txt-Datei (oder genauer: der Text wird aus einer Quelldatei eingelesen, darin die Muster ersetzt und das Ganze in die Zieldateien geschrieben). Es funktioniert ohne Probleme für alle Buchstaben, außer Umlauten. Diese werden als komische Symbole angezeigt.

Was ich bis jetzt versucht habe:

- Die Dateien in der UTF-8 Kodierung gespeichert (Quelle und Ziel)
- Verschiedene Texteditoren versucht
- Die wcstombs-Funktion ausprobiert - leider ohne Erfolg
- Die codecvt::do_out-Funktion ausprobiert (ich muss zugeben, die war für mich sehr schwer zu verstehen).

Das Hauptproblem ist, dass ich nicht weiß, von welcher in welche Codierung ich den Text umwandeln muss und an welcher Stelle im Programm der Text verändert wird.

Hier ist ein Stück vom Code, der zeigt, wie die Muster in Dateien ersetzt werden:

while (getline(fin, temp))
{
    pos1 = 0;
    //str1 is the pattern-string
    while ((pos1 = temp.find(str1, pos1)) != string::npos)
    {
        temp.replace(pos1, str1.size(), (context.marshal_as<std::string>(mainField->Text)));
}

Und so sieht der Text in der Datei aus, wenn ich "ASDÜÖÄ" eingebe:

http://img2.picload.org/image/oicaldg/unbenannt.png

Ich würde mich um jede Hilfe freuen!

Und danke schonmal im Voraus!

PS: String-Literale sind auch mit Visual C++ 2013 leider immernoch unbrauchbar, werden aber voraussichtlich bald gepatched.

Das Problem wird wohl sein, dass std::string nicht UTF-8-aware ist und irgendwo irgendwelche Umwandlungen verkackt werden.

std::string ist in der Tat utf-8-aware.

Diese werden als komische Symbole angezeigt.

Wo kommt die Datei her, und wer/was zeigt an?

/rant/, das war auch meine Vermutung. Deswegen habe ich die codecvt::do_out-Funktion ausprobiert. Wie gesagt, ich finde die Funktion sehr kompliziert und unverständlich. Gibt es dazu eine Alternative? Oder könnte mir jemand ein Beispiel zeigen, wie ich meinen String mit codecvt::do_out umwandeln kann?

Ich könnte meinen Code mit codecvt::do_out auch hier einfügen, aber erst heute Abend.

Caligulaminus, die Datei ist eine ganz normale .txt-Datei, die ich geschrieben habe. Ich öffne diese mit notepad / notepad++. Der Screenshot ist aus Notepad++.

Hilft es zu wissen, daß die MS-debug-CRT frisch allozierten Heap-Speicher mit 0xCD füllt?

std::string ist in der Tat utf-8-aware.

Kannst du das genauer erklären? Du kannst durchaus UTF-8 im std::string speichern, aber du kannst nicht dessen Methoden benutzen, um den Inhalt irgendwie zu bearbeiten oder zu interpretieren. size() gibt z.B. schlicht die Anzahl Bytes des Strings zurück. at() liefert laut www.cplusplus.com einen character - aber bei UTF-8 hat man Multibyte Codepoints. Wenn du also einen Iterator benutzt und dich ausserhalb von ANSI bewegst, macht std::string aus deinem UTF-8 in der Regel Hackfleisch.

Methodenaufrufe wie replace ergeben in einem solchen Umfeld gar keinen Sinn mehr, da diese Byte-weise arbeiten. Es wird nicht gerne gesehen, aber du könntest es einmal mit std::wstring probieren. Bei Visual C++ kannst du dort UTF-16 reinwerfen, aber das Problem existiert immernoch wie bei std::string. Nur wirst du vermutlich nichts davon merken, da du kaum Codepoints länger als 2 Bytes benutzt. Vielleicht hilft es ja?

Wenn du also einen Iterator benutzt und dich ausserhalb von ANSI bewegst, macht std::string aus deinem UTF-8 in der Regel Hackfleisch.

ANSI => ASCII

Du kannst durchaus UTF-8 im std::string speichern, aber du kannst nicht dessen Methoden benutzen, um den Inhalt irgendwie zu bearbeiten oder zu interpretieren.

Genau das ist die Definition von utf-8-aware. Man kann damit arbeiten.

size() gibt z.B. schlicht die Anzahl Bytes des Strings zurück.

Was auch die einzige sinnvolle Angabe ist. Dinger wie Anzahl Codepoints sind genauso nutzlos, weil man oft Grapheme meint. Oder eher an der Anzahl Wörter?

at() liefert laut www.cplusplus.com einen character - aber bei UTF-8 hat man Multibyte Codepoints.

Kein Problem. Entweder man kann den Character interpretieren (wenn <128) oder eben nicht.

Wenn du also einen Iterator benutzt und dich ausserhalb von ANSI bewegst, macht std::string aus deinem UTF-8 in der Regel Hackfleisch.

Kein Problem.

Methodenaufrufe wie replace ergeben in einem solchen Umfeld gar keinen Sinn mehr, da diese Byte-weise arbeiten.

Du kannst problemlos hardgecodete ASCII-Zeichenketten ersetzen und du kannst genauso utf-8-std::strings mit anderen utf-8-std::strings ersetzen. Ich sehe das Problem nicht.

Es wird nicht gerne gesehen, aber du könntest es einmal mit std::wstring probieren.

UTF-16 ist das schlimmste von allen. wstring gehört deprecated.