apache-spark-sql

0зной

1ответ

Выполнение подготовленного и пакетного отчета в SparkSession.SQL

Как выполнить подготовленное и пакетное заявление против Cassandra в Java с использованием SparkSession.SQL? Я использую Spark 2.1

0зной

1ответ

Использование rlike в org.apache.spark.sql.Column

Я пытаюсь реализовать запрос в моем коде Scala, который использует regexp на Spark Column, чтобы найти все строки в столбце, которые содержат определенное значение: column.rlike(".*" + str + ".*") s

0зной

1ответ

Разница между переводом и regexp_replace

В чем разница между translate и regexp_replace Функция в Spark SQL. Я хочу заменить подстроки в строках, целые целочисленные значения и другие типы данных, такие как boolean. Например. func("hello","e

1зной

1ответ

Спарк Cassandra Connector ведет себя отличается от CQL оболочки - Вставить вопрос

У меня есть следующие Cassandra DM: CREATE TABLE table ( id uuid, timestamp timestamp STATIC, value1 text STATIC, value2 int, value3 text, data map <text,text>, PRIMA

1зной

1ответ

В Спарке 2.0, JDBC dataframes схема применяется автоматически, как обнуляемые = ложь

Для JDBC dataframes если указать пользовательский запрос, как (select * from table1 where col4 > 10.0) AS table1 тогда схема для всех столбцов оказывается обнуляемыми = ложь col1: string (nullable =

1зной

1ответ

Как использовать преобразование на основе данных в Spark Streaming?

У меня есть работа Spark для пакетного режима (с использованием наборов данных), которая выполняет некоторые преобразования и использует данные в NOSQL. Я получаю данные из другого источника, который

0зной

1ответ

Фильтрация на основе значения ключа в искровом информационном кадре

У меня есть столбец в моей базе данных/dataframe, который представляет собой пару ключевых значений. Я хочу фильтровать данные на основе определенного значения. Говорите только те строки со значением

1зной

1ответ

Scala - Фильтр DataFrame с помощью "EndsWith"

Учитывая DataFrame: val df = sc.parallelize(List(("Mike","1986","1976"), ("Andre","1980","1966"), ("Pedro","1989","2000"))) .toDF("info", "year1", "year2") df.show +-----+-----+-----+ | info

1зной

1ответ

Вопросы безопасности Spark SQL

Каковы соображения безопасности при принятии и выполнении произвольных искровых SQL-запросов? Представьте себе следующую установку: Два файла на HDFS регистрируются в виде таблиц и a_secretsb_secrets: