Delphi, обнаружение набора символов ([Uni] SynEdit) - проблема с Utf8Decode

Question

Я использую Unicode SynEdit, который (в теории) имеет базовое определение кодировки файлов/потоков. Он работал нормально, пока я не попытался открыть файл, который был сгенерирован моим PHP-скриптом. Файл, о котором я говорю, обнаружен UniSynEdit как utf8 без спецификации. К сожалению, он не открывается - загруженная строка пуста. Я отлаживал его, и кажется, что проблема заключается в функции Utf8Decode, которая по какой-то причине не работает и возвращает пустую строку. Я также проверил файл с шестнадцатеричным редактором, и это правда: у него нет спецификации, все нормальные символы закодированы с использованием одного байта, в то время как некоторые латинские буквы, которые у меня были в файле (например, «ł»), являются двухбайтовыми. ..

Что может быть неправильным, и как я могу предотвратить это? Я считаю, что неправильная кодировка загружена лучше, чем никакой файл вообще ...

Answer 1

Если вы действительно хотите загрузить файлы, которые неправильно кодируются в кодировке UTF-8, вам необходимо использовать функцию, которая не возвращает пустой результат для строка, содержащая неверные последовательности байтов, но вместо этого заменяет их заменяющим символом. См. Раздел Wikipedia entry on UTF-8, в частности раздел «Неверные последовательности байтов».

К сожалению, в Delphi 2009 (там нет Delphi 7) UTF8Decode() вызывает внутреннюю ошибку MultibyteToWideChar(CP_UTF8, ...), которая возвращает ошибку при неправильных байтовых последовательностях.

Что вам нужно сделать, так это использовать альтернативную функцию кодирования. Возможно, что-то есть в одной из сторонних библиотек Delphi, которые имеют свои собственные функции декодирования. Возможно, вы могли бы использовать одну из связанных библиотек here. Если все остальное не удается, вы можете написать свой собственный, возможно, на основе this code из консорциума Unicode.