pyspark-sql

0зной

1ответ

Как сделать математическую операцию с двумя колонки в dataframe с помощью pyspark

У меня есть dataframe с три колонки «х», «у» и «г» x y z bn 12452 221 mb 14521 330 pl 12563 160 lo 22516 142 Мне нужно создать еще один столбец, который получен путем эта формула (m =

0зной

1ответ

Использование медианы вместо среднего как функция агрегации в Spark

Скажем, у меня есть информационный кадр, содержащий автомобили, их бренд и их цену. Я хотел бы заменить avg ниже по median (или другой процентиль): df.groupby('carBrand').agg(F.avg('carPrice').alias('

0зной

1ответ

Как удаленно выполнить функцию Postgres SQL в Postgres с помощью соединителя JSBC PySpark?

Я хочу, чтобы выполнить следующий запрос на удаленный сервер Postgres из приложения PySpark с помощью JDBC connector: SELECT id, postgres_function(some_column) FROM my_database GROUP BY id Проблема

4зной

1ответ

Can Spark Replace ETL Tool

Существующий процесс - данные исходной структуры копируются в промежуточный слой Redshift. Затем используйте инструменты ETL, такие как Informatica, Telend, для поэтапной загрузки в таблицу фактов и и

3зной

1ответ

Spark request max count

Я новичок в искре, и я пытаюсь сделать запрос, чтобы я мог получить самые посещаемые веб-страницы. Мой запрос следующий mostPopularWebPageDF = logDF.groupBy("webPage").agg(functions.count("webPage").a

1зной

1ответ

AttributeError: объект «NoneType» не имеет атрибута «sc»

Извините меня. Сегодня я хочу запустить программу о том, как создать DataFrame с sqlContext в Pyspark. Результатом является атрибут AttributeError, который представляет собой объект AttributeError: «N

0зной

2ответ

Какой pyspark api называет requiere той же самой версией python у рабочих в режиме yarn-client

Обычно я запускаю свой код с разными версиями Python в драйвере, чем в рабочих узлах, используя режим «пряжа-клиент». Например, я обычно использую python3.5 в драйвере и по умолчанию python2.6 у рабоч