pyspark-sql

0зной

1ответ

Не игнорирует ли параметр функции Pyspark DataFrameWriter jdbc игнорировать всю транзакцию или просто оскорбляет строки?

Класс Pyspark DataFrameWriter имеет jdbc function для записи dataframe в sql. Эта функция имеет опцию --ignore, о которой говорится в документации: Молчаливое игнорирование этой операции, если данные

mysql apache-spark jdbc pyspark pyspark-sql 2017-02-13

---

0зной

1ответ

Объединение журналов из нескольких каталогов в Spark

У меня есть файлы журналов, которые входят в разные каталоги в зависимости от даты создания файла журнала. Например > /mypath/2017/01/20/... . . . > /mypath/2017/02/13/... > /mypath/2017/02/14/..

scala apache-spark pyspark pyspark-sql databricks 2017-02-14

---

0зной

1ответ

Спарка поиск SQL внутри массива для структуры

структуры Моих данных определяются примерно следующим образом: schema = StructType([ # ... fields skipped StructField("extra_features", ArrayType(StructType([ StructField("key", StringType(),

python apache-spark pyspark apache-spark-sql pyspark-sql 2017-02-14

---

1зной

1ответ

Можете ли вы установить фрейм-фильтр Spark в другой Dataframe?

В искры я хочу, чтобы иметь возможность параллелизировать несколько кадров данных. Метод, который я пытаюсь, заключается в том, чтобы вложить данные в родительский фреймворк, но я не уверен в синтакси

apache-spark pyspark pyspark-sql 2017-02-17

---

0зной

1ответ

не удалось создать sparkcontext в sparkversion 2.0.1

Я недавно обновил версию своей искры от 1.5 до 2.0.1. Сценарии python перестают работать. код в 1.5, который работал sc=SparkContext(appName="YOGI") код изменен в искрой 2.0.1 sc =SparkContext().mas

python apache-spark pyspark pyspark-sql 2017-02-20

---

0зной

1ответ

pyspark ошибка: AttributeError: объект «SparkSession» не имеет атрибута «сериалайзер»

Я использую искру вер 2.0.1 def f(l): print(l.b_appid) sqlC=SQLContext(spark) mrdd = sqlC.read.parquet("hdfs://localhost:54310/yogi/device/processed//data.parquet") mrdd.forearch(f) <== this

pyspark pyspark-sql 2017-02-21

---

0зной

1ответ

Инкрементные вставки с использованием значения параметра световой/проходной данных для другого запроса sparksql

Я бы хотел реализовать инкрементные вставки с использованием искры. Подход, который я использую здесь, - это получить максимальное значение для первичного ключа и использовать его как заданное значени

pyspark apache-spark-sql pyspark-sql 2017-02-22

---

1зной

1ответ

Объединение нескольких функций GroupBy в 1

Используя этот код, чтобы найти модальный: import numpy as np np.random.seed(1) df2 = sc.parallelize([ (int(x),) for x in np.random.randint(50, size=10000) ]).toDF(["x"]) cnts = df2.groupBy

apache-spark pyspark spark-dataframe pyspark-sql 2017-02-22

---