Spark CSV Escape не работает

Question

Я использую искровой сердечник версии 2.0.1 с помощью Scala 2.11. У меня есть простой код для чтения файла csv, который имеет \ escapes.

val myDA = spark.read 
     .option("quote",null) 
    .schema(mySchema) 
    .csv(filePath) 

Согласно документации \ по умолчанию escape для чтения csv. Но это не работает. Искра читает \ часть моих данных. Для столбца Ex: City в файле csv находится северные скалы \, au. Я ожидаю, что столбец города должен быть прочитан в коде как northrocks, au. Но вместо этого искра читает ее как northrocks \ и перемещает au в следующую колонку.

Я попытался следующие, но не получилось:

• Явное определенный .option побег ("побег", "\")
• Changed побег в | или: в файле и в коде
• Я попытался с помощью искрового CSV библиотеки

Любых один обращенных того же вопрос? Я что-то упускаю?

Thanks

Answer 1

Таким образом, побег будет работать только с кавычками. Рекомендация - использовать кавычки, если вы хотите сбежать.

https://github.com/databricks/spark-csv/issues/390