spark-csv

1зной

1ответ

Как преобразовать тип столбца из str в дату, когда str имеет формат dd/mm/yyyy?

У меня есть большая таблица в sql, которую я импортировал из большого файла csv. Столбец распознается как str, когда он содержит информацию о дате формата dd/mm/yyyy. Я пробовал select TO_DATE('12/31/

-1зной

1ответ

Как написать тип данных «DATE» в spark-csv

У меня есть данные, подобные этому. no,full_name,Ocupation,DOB 1,Eugene Perry,Physical Therapy Assistant,11/22/1972 2,Scott Evans,Account Executive,8/25/1961 3,Harold Porter,Community Outreach Spec

0зной

1ответ

Spark: master local [*] намного медленнее, чем мастер локальный

У меня есть EC2 с r3.8xlarge (32 cores, 244G RAM). В моем Spark приложения, я читаю два CSV-файлы из S3 с помощью Spark-CSV из DataBrick, каждый из CSV имеет около 5 миллионов строк. Я представляю uni

4зной

3ответ

Могу ли я прочитать CSV, представленный в виде строки в Apache Spark, используя spark-csv

Я знаю, как читать файл csv в искры с использованием spark-csv (https://github.com/databricks/spark-csv), но у меня уже есть файл csv, представленный в виде строки, и как преобразовать эту строку непо

2зной

1ответ

Индекс за пределами ошибки при создании объединения данных на bzip2 данных csv

Проблема довольно странная. Если я работаю с несжатым файлом, проблем нет. Но, если я работаю со сжатым файлом bz2, я получаю ошибку индекса за пределами границ. Из того, что я читал, по-видимому, это

0зной

1ответ

Spark CSV Escape не работает

Я использую искровой сердечник версии 2.0.1 с помощью Scala 2.11. У меня есть простой код для чтения файла csv, который имеет \ escapes. val myDA = spark.read .option("quote",null) .schema(