pyspark-sql

1зной

1ответ

Как узнать, сколько исправлений файлов создано после сохранения фрейма данных

У меня есть кадр данных и im, сохраняющий его в файл csv с помощью databricks.spark.csv, используя функцию сохранения в dataframe. Как я могу узнать, сколько созданных файлов создано (Spark делит файл

1зной

1ответ

Как слить небольшие файлы, сохраненные на улье sparksql?

Как и код ниже, вставьте файл данных в таблицу улей. Выходные файлы hdfs улья имеют слишком много маленьких файлов. Как объединить их, когда они сохраняются на улье? myDf.write.format("orc").partition

15зной

1ответ

Разделите колонку строки данных Split Spark на несколько столбцов

Я видел разных людей, предлагающих, что Dataframe.explode - полезный способ сделать это, но в результате получается больше строк, чем исходный фреймворк, что совсем не то, что я хочу. Я просто хочу, ч

0зной

1ответ

pyspark 2 CSV чтения цитата игнорируется

tx = 'a,b,c,"[""d"", ""e""]""' file=open('temp.csv','wt') file.writelines(tx) file.close() sparkSession.read.csv('temp.csv', quote='"').show() +---+---+---+-------+---------+ |_c0|_c1|_c2| _c3

4зной

2ответ

питона, pyspark: получить сумму столбца pyspark dataframe значение

что у меня есть dataframe как этот name age city abc 20 A def 30 B я хочу добавить сводную строку в конце dataframe, поэтому результат будет как name age city abc 20 A def 30 B All 50 All Так

5зной

3ответ

pyspark, искра:. Как выбрать последнюю строку, а также как получить доступ к pyspark dataframe по индексу

из pyspark SqL dataframe как name age city abc 20 A def 30 B Как получить последнюю строку (как на df.limit (1) Я могу получить первую строку данных в новый dataframe). И как я могу получить досту