ARC2 (семантическая веб-библиотека PHP) неправильно преобразует файл UTF-8 в UTF-8

Question

Используя ARC2, текстовые данные повреждаются.

Мой входной файл RDF находится в UTF-8. Он загружается в ARC2, который использует бэкэнд MySQL, через запрос LOAD <path/to/file.rdf>. База данных MySQL также находится в UTF-8, так как проверяется с помощью PHPMyAdmin.

Однако текстовые данные повреждены. После нескольких проверок конверсии проблема заключается в том, что исходный файл UTF-8, как полагают, находится в ISO-8859-1 и снова преобразован в UTF-8.

Пример: "surmonté" → "surmonteÌ".

Этот «surmonteÌ» доступен в UTF-8 в базе данных.

Связано ли это с тем, как ARC2 открывает файлы (копание кода, но не исчерпывающее, но довольно глубокое, не показало ничего подозрительного), или это может быть более общий случай с PHP и MySQL?

Как я могу убедиться, что импортированные данные не ошибочно перекодированы, а взяты за оригинал?

Answer 1

ARC2 использует две функции: $store->setUp(), которые CREATE s TABLE s и DATABASE в случае необходимости; и query(LOAD…, подробно в вопросе.

Оказывается, то setUp() часть должна не вызываться в том же сценарии, как load части. По крайней мере, не во время одного и того же исполнения. Решение, которое я принял, состояло в том, чтобы сделать два отдельных сценария: один для запуска базы данных, другой для загрузки данных, но просто комментирование части init, как только это будет сделано, также будет работать. В любом случае, трюк заключается в том, чтобы убедиться, что загрузка не состоится сразу после инициализации.

Это происходит потому, что спецификация кодирования SET NAMES utf8 при соединении с БД установлена ​​только after collation detection, для которой MySQL, похоже, не обнаруживает должным образом, если база данных только что была создана. Я сделал pull request исправления.

---

Как примечание стороны, это не эффективно использовать LOAD <path/to/file.rdf конструкцию вопроса: это будет вычисляться как относительный веб адрес, вызова сервера для загрузки из себя по сети. Гораздо эффективнее использовать конструкцию, такую ​​как:

$store->query('LOAD <file://' . dirname(__FILE__) . '/path/to/file.rdf>')