Кросс-платформенный юникод в C/C++: какую кодировку использовать?

Question

В настоящее время я работаю над проектом хобби (C/C++), который должен работать как на Windows, так и на Linux, с полной поддержкой Unicode. К сожалению, Windows и Linux используют разные кодировки, что усложняет нашу жизнь.

В моем коде я пытаюсь использовать данные как можно более универсальные, что упрощает работу как для Windows, так и для Linux. В Windows wchar_t по умолчанию кодируется как UTF-16, а как UCS-4 в Linux (исправьте меня, если я ошибаюсь).

Мое программное обеспечение открывается ({_wfopen, UTF-16, Windows}, {fopen, UTF-8, Linux}) и записывает данные в файлы в UTF-8. Пока все это выполнимо. Пока я не решил использовать SQLite.

Интерфейс SQLite C/C++ допускает одно- или двухбайтовые закодированные строки (click). Конечно, это не работает с wchar_t в Linux, так как wchar_t в Linux по умолчанию составляет 4 байта. Поэтому для записи и чтения из sqlite требуется преобразование для Linux.

В настоящее время код загромождает исключениями для Windows/Linux. Я надеялся, что придерживаться стандартной идеи хранения данных в wchar_t:

• wchar_t в Windows: Пути к файлам без проблем, чтение/запись к SQLite без проблем. Запись данных в файл должна выполняться в UTF-8 в любом случае.
• wchar_t в Linux: исключение для путей к файлу из-за кодировки UTF-8, преобразование перед чтением/записью в sqlite (wchar_t) и то же самое для окон при записи данных в файл.

После прочтения (here) Я был убежден, что должен придерживаться wchar_t в Windows. Но после того, как все это сработало, проблема началась с портирования в Linux.

В настоящее время я собираюсь переделать все, чтобы придерживаться простого символа (UTF-8), потому что он работает как с Windows, так и с Linux, учитывая тот факт, что мне нужна «WideCharToMultiByte» каждая строка в Windows для достижения UTF-8. Использование простых символов на основе char * значительно уменьшит количество исключений для Linux/Windows.

Есть ли у вас опыт работы с unicode для кросс-платформенного? Любые мысли о идее простого хранения данных в UTF-8 вместо использования wchar_t?

Answer 1

UTF-8 на всех платформах с преобразованием точно в срок в UTF-16 для Windows - обычная тактика для кросс-платформенного Unicode.

Answer 2

Наше программное обеспечение также является кросс-платформенным, и мы столкнулись с аналогичными проблемами. Мы решили, что наша цель - обеспечить наименьшее количество конверсий. Это означает, что мы используем wchar_t для Windows и char на Unix/Mac.

Мы делаем это, поддерживая _T и LPCTSTR и похоже на Unix и имеющих общие функции, которые легко конвертировать между std::string и std::wstring. У нас также есть общий std::basic_string<TCHAR> (tstring), который мы используем в большинстве случаев.

Пока это работает достаточно хорошо. В основном большинство функций принимают tstring или LPCTSTR, а те, которые не будут преобразовывать их параметры из tstring. Это означает, что большую часть времени мы не конвертируем наши строки и не пропускаем большинство параметров.