PHP: html_entity_decode удаление/не отображение символа

Question

У меня возникла проблема с символом Â на моем сайте.

У меня есть веб-сайт, где пользователи могут использовать редактор wysiwyg (ckeditor) для заполнения своего профиля. Содержимое запускается через htmlpurify перед тем, как быть помещенным в базу данных (по соображениям безопасности).

В базе данных есть все настройки таблиц с кодировкой UTF-8. Я также называю «SET NAMES utf-8» в начале выполнения скрипта для предотвращения проблем (которые работали годами, поскольку у меня не было этой проблемы в течение длительного времени). Веб-страница, на которой отображается текст, имеет тип utf-8 содержимого, и я также использую функцию header() для установки типа контента и кодировки.

При отображении текста все казалось прекрасным, пока я не попытался использовать регулярное выражение для содержимого. html_entity_decode (вызываемый с параметром encoding для «utf-8») по какой-либо причине удаляет/не показывает символ Â, и он оставляет позади что-то, из-за чего все мои регулярные выражения терпят неудачу (кажется, там есть символ, но я не могу просмотрите его в источнике).

Как предотвратить и/или удалить этот символ, чтобы я мог запускать регулярное выражение?

EDIT: Я решил отказаться от ckeditor и пойти с форматом уценки, как этот сайт использует для большей гибкости. Я ненавидел редакторов wysiwyg до тех пор, пока я помню. Обновление всех профилей в новом формате даст мне возможность удалить все нарушающие текст и дать сайту чистый старт. Спасибо за все входные данные.

Answer 1

Возможно, вы столкнулись с ситуацией, когда строка фактически не кодируется кодировкой UTF-8 (как вы ее написали, но это не так). html_entity_decode может затем удалить любые недопустимые последовательности байтов UTF-8 (например, однобайтовое кодирование кодировки Â) с символом замещения.

В зависимости от используемой вами версии PHP у вас есть больше возможностей справиться с этим, используя флаги.

Кроме того, чтобы найти персонажа, которого вы не видите, создайте hexdump of the string.

Answer 2

Поскольку характер вы говорите о том, существует в кодировке ANSI, вы можете сделать это:

utf8_encode(preg_replace($match, $replace, utf8_decode($utf8_text)); 

Это будет, однако, уничтожить любой юникода характер не существует в кодировке ANSI. Чтобы избежать этого, вы всегда можете попробовать использовать mb_ereg_replace который многобайтовая (юникод) поддержка:

string mb_ereg_replace (string $pattern , string $replacement , string $string [, string $option = "msr" ])