apache-spark

6зной

1ответ

Как сэкономить искру RDD в формате gzip через pyspark

Итак, я сохраняю искровое RDD в ведро S3, используя следующий код. Есть ли способ сжимать (в формате gz) и сохранять вместо сохранения в виде текстового файла. help_data.repartition(5).saveAsTextFile(

1зной

1ответ

Искра-1.5.1 выброс из памяти ошибки для улья 1.2.0 с использованием HiveContext в java-коде

У меня есть искра-1.5.1 для HADOOP 2.6, работающая в автономном режиме на моей локальной машине. Я пытаюсь запустить запрос куста из примера Java-приложения, указывая на источник spark.master на (spar

34зной

1ответ

Есть ли способ взять первые 1000 строк Spark Dataframe?

Я использую функцию randomSplit, чтобы получить небольшое количество данных для использования в целях dev, и в итоге я просто беру первый df, который возвращается этой функцией. val df_subset = data.r

2зной

1ответ

Воспроизведение RDD в искровом потоке для обновления аккумулятора

У меня на самом деле заканчиваются варианты. В моем искрообразующем приложении. Я хочу сохранить состояние на некоторых клавишах. Я получаю события от Кафки. Затем я извлекаю ключи из события, наприме

0зной

1ответ

Плохая символическая ссылка на SQLContext.class в Eclipse Luna scala IDE

У меня есть настройка eclipse для scala IDE на ящике Linux. Я получаю следующую ошибку при построении плохой символический справочник. Подпись в SQLContext.class относится к типам терминов в пакете or

1зной

1ответ

Сериализация Lucene StandardAnalyzer для преобразования карты Apache Spark RDD

У меня есть String SparkRDD (с именем RDD1), сгенерированный из файла HDFS. И у меня также есть список String в качестве словаря. Я хочу применить функцию отображения на RDD1, чтобы для каждой строки