apache-spark-sql

1зной

2ответ

количества искры и фильтруют счетчик в одном запросе

В SQL-то вроде SELECT count(id), sum(if(column1 = 1, 1, 0)) from groupedTable могут быть сформулированы, чтобы выполнить подсчет общего количества записей, а также отфильтрованные записи в один прох

1зной

2ответ

pyspark createdataframe: строка, интерпретируемая как метка времени, схема смешает столбцы

У меня действительно странная ошибка с искровыми кадрами данных, которые заставляют строку оцениваться как метку времени. Вот мой код установки: from datetime import datetime from pyspark.sql import

0зной

1ответ

Spark SQL: NoSuchMethodError: SQLContext.load

Я получаю NoSuchMethodError при запуске простой программы Spark, пытаясь читать в CSV из HDFS. Ошибка: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.load(Ljav

0зной

1ответ

Spark DataFrame add Column with Rows

Каков наилучший способ добавить новый столбец и новые строки в DataFrame? Возможно ли это сделать одновременно? К примеру, у меня есть таблица AB, как: +------+-------+ | a| b| +------+-------+ |

-4зной

1ответ

Поиск дубликатов из большого набора данных с использованием Apache Spark

Предположим, что у нас есть большой файл csv/excel, где имеется большое количество записей против следующих полей. 1.Email 2.First Name 3.Last Name 4.Phone Number etc. Среди этих записей, мы долж

10зной

1ответ

Почему использование кеша при потоковой передаче данных не выполняется с помощью «AnalysisException: запросы с потоковыми источниками должны выполняться с помощью writeStream.start()»?

SparkSession .builder .master("local[*]") .config("spark.sql.warehouse.dir", "C:/tmp/spark") .config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark-checkpoint")