Как удалить непечатаемые/невидимые символы в рубине?

Question

Иногда у меня есть злые непечатаемые символы в середине строки. Эти строки являются входными данными пользователя, поэтому я должен сделать свою программу хорошо принятой, а не пытаться изменить источник проблемы.

Например, они могут иметь zero width no-break space в середине строки. Например, при анализе файла .po одной из проблемных частей была строка "he is a man of god" в середине файла. Хотя это все кажется правильным, осматривая его с irb показывает:

"he is a man of god".codepoints 
=> [104, 101, 32, 105, 115, 32, 97, 32, 65279, 109, 97, 110, 32, 111, 102, 32, 103, 111, 100] 

Я считаю, что я знаю, что BOM есть, и я даже справиться с этим хорошо. Однако иногда у меня есть такие символы в середине файла, поэтому это не BOM.

Моего текущий подход заключается в удалении всех символов, которые я нашел зло в самом деле вонючие моды:

text = (text.codepoints - CODEPOINTS_BlACKLIST).pack("U*") 

Наиболее близко я получил следующее this post которых этилированного меня :print: выбора на регулярных выражениях. Однако это не было никакой пользы для меня:

"m".scan(/[[:print:]]/).join.codepoints 
=> [65279, 109] 

поэтому вопрос: Как я могу удалить все непечатаемые символы из строки в Ruby?

Answer 1

Ruby может помочь вам преобразовать из одного многобайтового набора символов в другой. Проверьте в these search results, а также прочитайте метод encode Ruby String.

Также, Ruby's Iconv является вашим другом.

И, наконец, Джеймс Грей написал series of articles, которые подробно описывают это.

Одна из вещей, которые вы можете использовать с помощью этих инструментов, - это передать их перекодировке на визуально похожий символ или полностью игнорировать их.

Работа с альтернативными наборами символов является одной из самых ... раздражающих вещей, которые мне когда-либо приходилось делать, потому что файлы могут содержать что угодно, но быть помечены как текст. Вы можете не ожидать этого, а затем ваш код умирает или начинает бросать ошибки, потому что люди настолько изобретательны, когда придумывают способы вставки альтернативных символов в контент.

Answer 2

попробовать это:

>>"aaa\f\d\x00abcd".gsub(/[^[:print:]]/,'.') 
=>"aaa.d.abcd" 

Answer 3

Я был также имеющий тот же вопрос в ROR версии 3.9.3, и я использую Visual Studio 2010 в качестве моего редактора. Notepad ++ решил мою проблему.

Если вы используете Notepad ++ и проблема заключается в UTF-8 файл:

1. Откройте файл
2. В меню Кодировка выберите «Encode в UTF-8 без BOM, как показано на скриншоте

Для получения более подробной информации Refer this