Прочтите файл CSV со специальными символами в Ruby и сохраните его в SQL Server

Question

Я пытаюсь импортировать CSV-файл (кодировку UTF-8) в Ruby (2.0.0) в мою базу данных (MSSQL 2008R2, COLLATION French_CI_AS), но специальные символы (французские акценты на гласных) не хранятся должным образом: éèçôü становится éèçôü (или другой подобный сплетен).

Я использую этот кусок кода для чтения файла:

CSV.foreach(file, col_sep: ';', encoding: "utf-8") do |row| 
    # ... 
end 

Я пробовал различные кодировки в параметрах CSV (utf-8, iso-8859-1, windows-1252), но никто не будет правильно хранить специальные символы.

Прежде чем вы спросите, моя сортировка базы данных поддерживает эти символы, так как мы успешно импортировали данные, содержащие данные с использованием импортеров PHP. Если я сброшу данные с помощью puts или регистратора файлов, все будет правильно.

Что-то не так с моим кодом, или мне нужно указать что-то еще (например, для кодирования файла класса ruby)?

Благодаря

EDIT: Сохранение данных осуществляется с помощью API PHP REST, который отлично работает с диакритическими знаками. Он сохраняет данные по мере их получения.

В Ruby я просматриваю свои данные, сохраняю их в объекте и затем отправляю объект, закодированный JSON, в тело моего запроса PUT. Но если я использую запрос SQL непосредственно из Ruby, проблема остается:

query = <<-SQL 
    UPDATE MyTable SET MyTable_title = '#{row_data['title']}' WHERE MyTable_id = '#{row_data['id']}' 
SQL 
res = db.execute query 

Answer 1

Я думал, что это было что-то делать с типом кодирования в файл CSV, поэтому начал копаться в этом. Я обнаружил, что кодировка Windows-1252 будет вставлять управляющие символы.

Вы можете прочитать об этом здесь: Converting special charactes such as ü and à back to their original, latin alphbet counterparts in C#