apache-spark-2.0

1зной

2ответ

Какой тип памяти Spark следует увеличить на ошибках Java из памяти?

Итак, у меня есть рисунок, как показано ниже. def someFunction(...) : ... = { // Somewhere here some large string (still < 1 GB) is made ... // ... and sometimes I get Java.lang.OutOfMemory

1зной

1ответ

NullPointerException при написании паркета от AVRO in Spark 2.0

Я загружаю файлы AVRO из AWS S3 и записываю их как паркет. from pyspark.sql import SparkSession from pyspark.sql.types import * spark = SparkSession.builder.appName("AvroParquet").enableHiveSupport

0зной

1ответ

Spark 2.0.1 java.lang.NegativeArraySizeException

Я начинаю играть с Spark 2.0.1. Новый API Dataset очень чист, но у меня проблемы с очень простыми операциями. Возможно, мне что-то не хватает, надеюсь кто-то может помочь. Эти инструкции SparkConf con

15зной

1ответ

Spark 2.0 Dataset vs DataFrame

Начиная с искры 2.0.1 У меня возникли вопросы. Я читал много документации, но до сих пор не удалось найти достаточное количество ответов: В чем разница между df.select("foo") df.select($"foo") я прави

1зной

1ответ

PySpark: AWS s3n работает, но s3a не

Я пытаюсь получить доступ к данным на Amazon s3, используя Spark на моей локальной машине. Я могу получить доступ к данным с S3N, но НЕ с S3a, ниже конфигурации Spark: - 2.0.1 предварительно построен

4зной

1ответ

Spark 2.0 Автономный режим Ошибка запуска динамического распределения ресурсов

Я запускаю Spark 2.0 в автономном режиме, успешно настроил его для запуска на сервере, а также смог настроить Ipython Kernel PySpark как вариант в Jupyter Notebook. Все работает отлично, но я столкнул