ДАННЫЕ ИНГИСТРАЦИЯ С ИСПОЛЬЗОВАНИЕМ SQOOP

Question

Мне нужно записать CSV-файл в HDFS с помощью Sqoop.

Проблема в том, что я использую ',' (запятую) в качестве разделителя, а мои данные также имеют столбец с ',' s. который создает проблему синтаксического анализа данных.

Может ли кто-нибудь предложить, что делать, чтобы решить проблему?

Могу ли я использовать SQOOP или нет?

Answer 1

Вы можете использовать специфичный для sqoop аргумент --fields-terminated-by для разделения полей при импорте данных в hdfs с использованием sqoop.

Если вы пытаетесь импортировать файл csv из локальной файловой системы, тогда в этом случае вы можете напрямую использовать команду hadoop fs -put, чтобы поместить файлы в hdf.