databricks

1зной

1ответ

Как запустить основной метод из Спарк (в Databricks)

Я создал простой Scala код: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object app2 { def main(args: Array[String]) { va

0зной

1ответ

Ошибка Spark 2.0 CSV

Я обновляю до искры 2 от 1.6 и у меня проблема с чтением в CSV-файлах. В искрах 1.6 у меня было бы что-то подобное, чтобы читать в CSV-файле. val df = sqlContext.read.format("com.databricks.spark.csv"

2зной

1ответ

spark-redshift - Ошибка при использовании Spark 2.1.0

Я использую spark-redshift для загрузки потока Kafka, получающего данные из бинарного файла MySQL. Когда я пытаюсь сохранить RDD в Redshift исключение является забросил: command> ./bin/spark-submit --

2зной

1ответ

Как распределить память памяти и памяти оператора при использовании Spark на Amazon EMR

Я использовал экземпляр AWS EMR 5.2 m4.2x большой с 10 узлами для запуска приложений Spark с использованием Spark 2.0.2. Я использовал свойство maximizeResourceAllocation=true. Я видел в искрового def

0зной

1ответ

чтения из источника XML с помощью пользовательских ошибок схемы

кажется очень простой вопрос, но очень раздражает .. У меня есть файл XML со следующей структурой: <A attr1="Str1" attr2="Long1"> <B attr3="Str1" attr4="Str2" attr5="Long1"/> <B attr3="Str1"

0зной

3ответ

Как загрузить все файлы XML из каталога HDFS с помощью искру databricks XML Parser

Как получить один dataframe всех файлов XML в каталоге HDFS, который имеющей ту же схему XML с помощью databricks XML Parser

0зной

1ответ

Итерации по списку файлов, извлечение их содержимого? (Ошибка SparkContext)

Мне нужно перебирать большой список файлов на диске, открывать каждый файл и анализировать его. У меня есть файл с именами файлов, а мне только необходимо перебирать эти имена файлов. я передать эту ф

0зной

1ответ

Объединение журналов из нескольких каталогов в Spark

У меня есть файлы журналов, которые входят в разные каталоги в зависимости от даты создания файла журнала. Например > /mypath/2017/01/20/... . . . > /mypath/2017/02/13/... > /mypath/2017/02/14/..