apache-spark-sql

1зной

1ответ

Улучшение производительности Pyspark с помощью DataFrames и SQL

В настоящее время я читаю все текстовые файлы в публичном ковше AWS, содержащем сотни файлов CSV. Я сразу прочитал все файлы CSV, а затем превратил их в RDD и начал массировать данные, чтобы их можно

0зной

2ответ

Spark DataFrame запрос между двумя конкретными временными диапазонами

У меня есть блок данных искры с столбцом, имеющим дату в формате dd-MMM-yyyy hh: mm. Как сделать TimeRange запрос типа - Найти все строки между 2 датами и в пределах определенного диапазона времени 4P

0зной

1ответ

Спарк Sql ИЛИ команда не возвращающие результаты

Я пытаюсь выполнить следующую команду в Цеппелин: SELECT duration FROM voip where duration = 17 or duration = 1 Это не возвращает никаких результатов, но во время работы их там собственные результат

2зной

1ответ

Нужна колонка TRUE и FALSE в Spark-SQL

Я пытаюсь написать многозначный фильтр для Spark SQL DataFrame. у меня есть: val df: DataFrame // my data val field: String // The field of interest val values: Array[Any] // The allowed possible

0зной

1ответ

Спарка поиск SQL внутри массива для структуры

структуры Моих данных определяются примерно следующим образом: schema = StructType([ # ... fields skipped StructField("extra_features", ArrayType(StructType([ StructField("key", StringType(),