structured-streaming

10зной

1ответ

Почему использование кеша при потоковой передаче данных не выполняется с помощью «AnalysisException: запросы с потоковыми источниками должны выполняться с помощью writeStream.start()»?

SparkSession .builder .master("local[*]") .config("spark.sql.warehouse.dir", "C:/tmp/spark") .config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark-checkpoint")

1зной

1ответ

искрообразование с использованием сокетов, установка SCHEMA, отображение DATAFRAME в консоли

Как установить схему для потоковой передачи DataFrame в PySpark. from pyspark.sql import SparkSession from pyspark.sql.functions import explode from pyspark.sql.functions import split # Import data

2зной

2ответ

Spark Structured streaming ForeachWriter не может получить sparkContext

Я читаю данные json из очереди Kafka с использованием искровой структурированной потоковой передачи, но мне нужно записать данные json в Elasticsearch. Однако я не могу получить sparkContext внутри Fo

1зной

1ответ

структурированная потоковая передача 2.1.0 драйвер kafka работает на YARN с --packages, но имеет проблемы с автономным режимом кластера

В настоящее время мы тестируем структурированные потоковые драйверы kafka. Мы отправляем на YARN (2.7.3) с -пакетами org.apache.spark: spark-sql-kafka-0-10_2.11: 2.1.0 'без проблем. Однако, когда мы п

5зной

3ответ

Apache Spark (структурированная потоковая передача): поддержка контрольной точки S3

Из документации, построенной по искровой структурированной потоковой передаче: «Это место контрольной точки должно быть путем в файловой системе, совместимой с HDFS, и может быть установлено как опция

1зной

1ответ

Spark структурированный дымящийся от kafka - последнее сообщение обработано снова после возобновления с контрольной точки

Я использую новый (и помеченный «альфа») Structured Streaming of Spark 2.0.2 для чтения сообщений из темы кафки и обновления пары Cassandra столы из него: val readStream = sparkSession.readStream

2зной

1ответ

TypeError: объект «Строитель» не отозваны Спарк структурированы потоковый

На запуске примера, приведенном в руководстве по программированию [ссылка] для питона искры структурированного потокового http://spark.apache.org/docs/latest/structured-streaming-programming-guide.htm

1зной

1ответ

Почему Spark DataFrames не изменяет свою схему и что с ней делать?

Я использую Structured Streaming от Spark 2.1 для чтения из темы Kafka, содержимое которой двоично кодируется в формате avro. Таким образом, после установки DataFrame: val messages = spark .readS