C++: Сравнение строк или wstrings со специальными символами в них (á, é, ő и т. Д.)

Question

Недавно я получил задание, требующее от меня сравнения слов. Я не хочу описывать его полностью, но мне приходится сравнивать слова по-характеру, чтобы увидеть, как похожи два слова.

Теперь проблема заключается в том, что текст ввода, который я должен использовать, содержит много нестандартных символов, таких как á, é, ő и т. Д. Я попытался использовать строки, wstring, char и wchar_t для представления моих слов, но ничего похоже, работает правильно. Пример:

setlocale(LC_ALL, ""); 

std::vector <Word::Word> words; 

std::wfstream fileWrite("testout.txt"); 
std::wstring s = words[0].getString(); 

fileWrite << s; 

Наша строка содержит слово «Még» здесь. Он выводится правильно. Для записи все работает одинаково, если я использую строку вместо wstring. Следующие работы тоже:

const wchar_t* wc = s.c_str(); 
fileWrite << wc; 

Но как только я пытаюсь ссылки на голец это дает мне бред. Пример:

fileWrite << wc[0] << " " << wc[1]; 

Этот выход «ď» ». Я предполагаю, что проблема заключается в том, что они используют несколько байтов для хранения символа? Я просто дико предполагаю здесь, но это было бы объяснить, почему

wcslen(wc); 

возвращается 7.

Я попытался с помощью функции SubStr как с колонной и wstring, но, как правило, кажется, не работает. Кто-нибудь знает, как решить эту проблему? Я пропустил что-то очевидное здесь?

Кроме того, я использую кодовые блоки с gcc-компилятором, я его где-то читал, что он отлично справляется с wchar и wstring, может быть, проблема? Помните, я пробовал все выше со строкой вместо wstring, и это было то же самое.

Спасибо вам большое за помощь, было бы весьма полезно!

Answer 1

Эти персонажи не являются необычными. Они являются абсолютно стандартными символами Unicode. К сожалению, обычный стандарт C++ не поддерживает более тонкие детали Unicode. Ваш выбор состоит в том, чтобы либо найти хорошую библиотеку, поддерживающую его (например, для кода, работающего на MacOS X или iOS, вы просто используете то, что встроено в ОС, другие операционные системы могут иметь схожую поддержку) или перейти на www.unicode.org и загружать их таблицы кода. И прочитайте все, что вы можете узнать об этом.

wchar и wstring по своей сути не переносятся. Лучше всего использовать кодировку UTF-8 и стандартную std :: string. И понимание UTF-8 абсолютно необходимо для любого программиста в наши дни.

Здесь была некоторая дискуссия о Блокноте. Многое программное обеспечение пишет UTF-8, которому предшествует маркер байтового байта (BOM) и множество программных приложений, которые распознают UTF-8. Если этот маркер порядка байтов отсутствует, они смотрят на отдельные байты. Существует вероятность того, что файл состоит только из символов ASCII, и в этом случае не имеет значения, какая именно кодировка. Если это не только ASCII, вероятность того, что, например, файл с кодировкой Windows-1252, содержащий не-ASCII-символы, является законным, UTF-8 практически равен нулю.