pyspark-sql

1зной

3ответ

Фильтрация фреймворка pyspark с использованием isin путем исключения

Я пытаюсь получить все строки в фрейме данных, где значение столбца не входит в список (поэтому фильтрация с помощью исключения). В качестве примера: df = sqlContext.createDataFrame([('1','a'),('2','b

1зной

2ответ

Как создать таблицу как выбрать в pyspark.sql

Возможно ли создать таблицу на искру с помощью оператора select? я сделать следующее import findspark findspark.init() import pyspark from pyspark.sql import SQLContext sc = pyspark.SparkContext(

1зной

1ответ

Вопросы безопасности Spark SQL

Каковы соображения безопасности при принятии и выполнении произвольных искровых SQL-запросов? Представьте себе следующую установку: Два файла на HDFS регистрируются в виде таблиц и a_secretsb_secrets:

0зной

1ответ

Поврежденная запись в pyspark После создания фрейма данных из сохраненного файла json

Я сохранил данные json из url в json-файл с именем urljson.json в искровой папке. и выполнил сильфон кода для создания кадра данных на нем этим path="urljson.json/" testdf1=spark.read.json(path) tes