pyspark-sql

5зной

1ответ

Кастинг нового производного столбца в DataFrame из булева в целое

Пусть у меня есть DataFrame x с этой схемой: xSchema = StructType([ \ StructField("a", DoubleType(), True), \ StructField("b", DoubleType(), True), \ StructField("c", DoubleType(), True

0зной

1ответ

Spark SQL window function/lag() дает неожиданные результаты

EDIT: После устранения некоторых неполадок я обнаружил следующее: я добавил в запрос задержку (event_time), чтобы узнать, какие даты собирал запрос, и я получаю одинаково странный результаты: SELECT d

0зной

1ответ

Как создать новую таблицу из инструкции `describe` в sql?

Я хочу создать новую таблицу с строками имен столбцов. По сути, я хочу поместить вывод инструкции decribe в новую таблицу, чтобы я мог использовать предложение where только для извлечения определенных

3зной

1ответ

pyspark - ошибка появляется только в IPython, но не в vanila python

Если я запустил pyspark, набрав в консоли /usr/bin/pyspark, следующий пример кода запускается без ошибок. Однако, если его использовать с IPython, либо путем вызова $IPYTHON_OPTS="notebook" /usr/bin/p

6зной

2ответ

Выполнение поиска/перевода в Спарк RDD или данных кадра с помощью другого РДД/ДФ

Я с трудом реализует то, что кажется, что это должно быть очень просто: Моя цель состоит в том, чтобы сделать переводы в РДУ/dataframe с использованием второго кадра RDD/dataframe в качестве таблицы п