apache-spark-sql

3зной

2ответ

Написание функций Spark, которые принимают аргументы столбца и возвращают столбец

Я хотел бы написать функцию yeardiff, которая работает аналогично datediff. yeardiff должен принимать два аргумента Column и возвращать столбец с количеством лет между этими параметрами Columns. Давай

0зной

1ответ

падение дубликатами для каждого раздела

происхождения данных cls, id ---- a, 1 a, 1 ---- b, 3 b, 3 b, 4 ожидается выход cls, id ---- a, 1 ---- b, 3 b, 4 идентификатор может быть дубликатами только в тех же ЦБС, это означает,

1зной

1ответ

Airbnb Конфигурация Superset Datasource для SparkSQL

Я использую Спарк 1.6.2 (от Datastax Enterprise Edition => DSE 5.0.4) и Python 2.7 Когда я даю from impala.dbapi import connect Conn = connect (host = '172.31.12.201', port = 7077, user = 'xxxx', pa

-1зной

1ответ

Ошибка производительности Apache Spark

Мы думали об использовании Apache Spark для более быстрого сопоставления записей, но мы находим это крайне неэффективным, чем сопоставление SQL с использованием оператора select. Использование, JavaSp

1зной

2ответ

Запрос счетчика Sql всегда возвращается 1

Я использую этот запрос, чтобы узнать процент женщин. Но каким-то образом, когда я объединяю эту операцию в одном запросе, подобном приведенному ниже, он всегда возвращает 1.0. Однако, если я запрашив