pyspark-sql

1зной

1ответ

Как выбрать и отображать pyspark в терминах выходных значений?

Почему эти два метода преобразования этого фрейма данных приводят к разным выходным данным? Использование select на dataframe и map на rdd, похоже, выводит те же значения, но когда я беру среднее знач

2зной

1ответ

Эффективный способ применения определенной функции для структурированного столбца в кадре данных Spark?

У меня есть данные в кадре данных Спарк, с колонной col, который содержит структурированные данные формы: ------ col ------- # Column whose elements are structures field0 field1 … # StructType with

3зной

2ответ

Почему искра не отображает мой блок данных по нескольким узлам?

У меня есть 128 ядер, 8 узлов, 186 Гб оперативной памяти на узел. У меня есть dataframe (Df), который я загружаю из источника jdbc. Он имеет один раздел. Я тогда звоните: c = Df.repartition(128*3).cac

1зной

1ответ

Создайте столбец в фреймворке PySpark, используя список, индексы которого находятся в одном столбце DataFrame.

Я новичок в Python и PySpark. У меня есть dataframe в PySpark вроде следующего: ## +---+---+------+ ## | x1| x2| x3 | ## +---+---+------+ ## | 0| a | 13.0| ## | 2| B | -33.0| ## | 1| B | -63.0|

0зной

1ответ

Строка проблема конкатенации в свече SQL при использовании RTRIM()

я столкнулся своеобразной или неизвестная проблемой конкатенации при pyspark SQL запроса spark.sql("select *,rtrim(IncomeCat)+' '+IncomeCatDesc as trimcat from Dim_CMIncomeCat_handled").show() В это

2зной

1ответ

Как слить два столбца с условием в pyspark?

я смог объединить и упорядочить значения, но не в состоянии выяснить состояние не сливаться, если значения равны df = sqlContext.createDataFrame([("foo", "bar","too","aaa"), ("bar", "bar","aaa","foo")

0зной

1ответ

У вас есть столбец данных в pyspark?

Я немного новичок в pyspark/bigdata, так что это может быть плохая идея, но у меня есть около миллиона отдельных файлов CSV, связанных с некоторыми метаданными. Мне нужен фреймворк pyspark с столбцами

1зной

1ответ

PySpark Dataframes: как фильтровать на нескольких условиях с компактным кодом?

Если у меня есть список имен столбцов, и я хочу фильтровать по строкам, если значение этих столбцов больше нуля, есть ли что-то подобное этому, что я могу сделать? columns = ['colA','colB','colC','col

-2зной

1ответ

Использование функций Spark DataFrame и Window для расчета скользящего среднего возврата

Это мой первый опыт работы с кадрами искровых данных, и я пытаюсь выяснить, как использовать функции окна для вычисления среднесуточного возврата каждого запаса для каждой даты. Я пытаюсь группировать