Почему преобразование кодировки Ruby Base64 потеряло данные и как я могу маршрутизировать?

Question

Я разворачиваю интерфейс Rails, который разговаривает с API-интерфейсом Grape. Это второй экземпляр этой программы. Первый экземпляр работает хорошо. Однако API-интерфейс Grape второго экземпляра, похоже, искажает данные перед отправкой по каналу.

Мне нужно изображение, чтобы перейти от файла> json> http> db. Прямо сейчас я делаю это, отправляя файл следующим образом: file> string> encode to url-safe base64> to_json> http> decode> save to sqlite3 db с ActiveRecord. Я убежден, что данные изображения повреждены, и я перевел его на base64 на основе ниже. Однако, поскольку Grape - это все JSON, символы должны быть закодированы перед отправкой (поскольку, по крайней мере, насколько это касается библиотеки JSON Ruby, недопустимый UTF-8 == недействительный JSON).

Так что я либо должен знать:

1. Как разрешить Grape API для отправки не-JSON (сырой строки файла) или
2. Как декодировать строку и избежать появления сообщения об ошибке

---

Открытие файла и преобразование его содержимого в безопасное для ссылок Base64.

File.open("#{folder}/#{file_name}", "rb:UTF-8") do |image| 
    file_as_string = image.read 
end 
=> "iVBORw0K ... # truncated for length 

Вещи сразу исчезают. IRB делает ожидаемый - кодируется как UTF-8.

file_as_string.encoding.name 
=> "UTF-8" 

НО. Журналы сервера ASCII-8BIT. Я не могу это объяснить. Каждый файл увенчан магическим комментарием Ruby's UTF-8. Linux $LANG установлен в en_US.UTF-8.

OK, но когда Base64 конвертирует, я все равно теряю сюжет. Даже в IRB, начиная с UTF-8, он скрывается. Почему US-ASCII? Независимо от того, почему совместимость теряется ?.

Base64.urlsafe_encode64(file_as_string).encoding.name 
=> "US-ASCII" 
Base64.urlsafe_decode64(Base64.urlsafe_encode64(file_as_string)).encoding.name 
=> "ASCII-8BIT" 
Base64.urlsafe_decode64(Base64.urlsafe_encode64(file_as_string)).encode("UTF-8") 
Encoding::UndefinedConversionError: "\x89" from ASCII-8BIT to UTF-8 
    from (irb):27:in `encode' 
    from (irb):27 
    from /home/me/.rvm/rubies/ruby-2.2.1/bin/irb:11:in `<main>' 

Обратите внимание, что здесь ошибка в IRB то же самое, как если бы я а) не base64 закодировать строку перед тем винограда пытается to_json и б) когда я пытаюсь расшифровать и позвонить .save строка для атрибута модели на стороне Rails.

Сам файл является двоичным (если это имеет значение?)

$ file -bi /path/to/file.png 
image/png; charset=binary 

---

Solutions Я пытался, или я не желает попробовать:

Отправка по сырым image.read

Это JSON API, поэтому Grape конвертирует в JSON перед отправкой данных по проводу - это означает, что любой ответ должен быть действительным JSON, насколько я знаю выдержать это. Если я попытаюсь отправить необработанную строку, автоматически вызванная .to_json выдает ту же ошибку.

Force-кодирующих результаты

Выходной сигнал не является читаемой PNG.

Downgrading

оригинальный экземпляр Руби 1.9.2 и CentOS 6.3. Новый экземпляр Ruby 2.2.1 и CentOS 7. Я, как правило, готов двигаться вперед, поэтому я предпочел бы разработать какое-то решение, даже если оно не совместимо с обратной совместимостью, а затем откат Ruby и моей ОС.

Не используя UTF-8

Rails config/application.rb имеет игровую линию config.encoding = "utf-8" и config/environment.rb имеют линию Encoding.default_external = Encoding::UTF_8; Encoding.default_internal = Encoding::UTF_8, я надеюсь, не придется отказываться от совместимости UTF-8 только для этого одного вопроса.

---

Так есть ли способ, чтобы служить файл непосредственно в винограде, минуя to_json вызов? Или существует другой безопасный кодировщик для JSON-ing и отправки по http?

Answer 1

PNG-файлы не имеют кодировки символов. Вы должны открыть файл без объявления кодировки символов. Вам не нужно заботиться о наборах символов даже после кодировки base64.

После того как файл закодирован base64, результатом будет 7-битная строка ASCII, следовательно encoding.name сообщает "US-ASCII". Это строка, которую вы должны передать в свою структуру,

Не называть .encode() на строку перед кодировкой base64 - это наверняка испортит строку.

Для уточнения:

1. file_as_string ни UTF-8, ни ASCII. Он не имеет кодировки символов, поскольку это двоичный файл. file_as_string.encoding.name не подходит для вас.
2. Base64.urlsafe_encode64(file_as_string).encoding.name = "US-ASCII" правильный, поскольку вы эффективно сделали двоичный файл в текстовой/символьной строке, закодировав его на base64. Этот делает имеет кодировку символов - 7 бит ASCII. Это то, что вы должны пройти в Виноград, чтобы надеть провод.
3. Base64.urlsafe_decode64(Base64.urlsafe_encode64(file_as_string)).encoding.name не имеет значения, так как результат двоичный код. Он не имеет кодировки символов. Попытка .encode() приведет к повреждению данных.
4. Ваш IRB терпит неудачу, потому что вы просите Ruby скрывать двоичную строку в кодировке UTF-8. Это как сделать снимок и попросить перевести его на французский.