spark-csv

3зной

2ответ

Spark Stand Alone - Last Stage saveAsTextFile занимает много времени, используя очень мало ресурсов для записи файлов CSV-файлов

Мы запускаем Spark в автономном режиме с 3 узлами в 240-дюймовом «большом» EC2-окне для объединения трех файлов CSV, которые считываются в DataFrames для JavaRDD в выводить файлы частей CSV на S3 с по

1зной

1ответ

Паркетная схема и Spark

Я пытаюсь преобразовать файлы CSV в паркет, и я использую Spark для этого. SparkSession spark = SparkSession .builder() .appName(appName) .config("spark.master", master) .getOrCrea

1зной

1ответ

Ошибка при экспорте искры SQL dataframe в CSV

я упомянул следующие ссылки для того, чтобы понять, как экспортировать искры SQL dataframe в питона https://github.com/databricks/spark-csv How to export data from Spark SQL to CSV Мой код: Я загружаю

1зной

2ответ

Извлечет ли данные данных из внешнего источника на каждое действие?

На свече оболочки я использую следующий код для чтения из файла CSV val df = spark.read.format("org.apache.spark.csv").option("header", "true").option("mode", "DROPMALFORMED").csv("/opt/person.csv") /

1зной

1ответ

NumberFormatException, когда я пытаюсь создать паркетный файл с пользовательской схемой и типы BigDecimal

Мне нужно создать паркетный файл из CSV-файлов с помощью настраиваемого файл JSON схемы, как это: {"type" : "struct","fields" : [ {"name" : "tenor_bank","type" : "string","nullable" : false}, {"name":

0зной

2ответ

Ошибка с spark-csv на Amazon EMR Cluster

Я пытаюсь запустить кластер EMR с простым выполнением шага Spark, и я столкнулся с ошибкой, которую я не могу решить. Программа работает, когда я запускаю ее локально в Eclipse, но не тогда, когда я з

0зной

1ответ

Как избежать символов в FTP URL

Я использую искру для извлечения файла с FTP-сервера, используя следующий код val dataSource = "ftp://<username>:<password>@<host>:<port>/<path>" sc.addFile(dataSource) var fileName = SparkFiles.get