Csv file ingestion from hdfs to hive

Question

Я пытаюсь глотать файл csv из своих hdfs в улей, используя приведенную ниже команду.

create table test (col1 string, col2 int, col3 string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES ("separatorChar" = ",","quoteChar" = "\"") 
stored as textfile; 

Но я все еще получаю двойные кавычки в таблице улей, поэтому я попробовал команду ниже.

alter table test 
set TBLPROPERTIES ('skip.header.line.count'='1','serialization.null.format' = ''); 

Но все равно получение двойных кавычек. Что я могу сделать, чтобы удалить эти двойные кавычки?

Answer 1

Необходимо указать расположение файла.
Например:
CREATE TABLE test (col1 string, col2 int, col3 string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ("separatorChar" = ",") STORED AS textfile LOCATION 'hdfs://<your-data-node-address>:8020/hdfs/path/to/csv/files-dir';
Когда я создаю таблицу таким образом, я не кавычки на значения в моей таблице (исходный файл CSV действительно есть)