apache-spark-sql

6зной

1ответ

Как установить Apache Zeppelin на существующий автономный кластер Apache Spark

У меня есть существующий автономный кластер Apache Spark (1.3 версии) на AWS, и я хотел бы установить Apache Zeppelin. У меня очень простой вопрос, мне нужно установить Zeppelin на мастера Spark? Если

0зной

2ответ

Зачем использовать Hive на Spark вместо Spark-SQL?

Я новичок в области Data Science, и я не понимаю, почему кто-то хочет связать Hive с Spark, а не просто использовать Sqark-SQL. Какие преимущества можно использовать для использования Hive on Spark, а

1зной

3ответ

Инкрементное добавление данных в таблицы Паркета в S3

Я хотел бы сохранить копию данных моего журнала в Parquet on S3 для специальной аналитики. Я в основном работаю с Parquet через Spark и, похоже, предлагает операции для чтения и записи целых таблиц че

12зной

1ответ

Spark streaming multiple sources, reload dataframe

У меня есть световой поток контекста, считывающий данные о событиях от kafka с интервалом в 10 секунд. Я хотел бы дополнить эти данные события существующими данными в таблице postgres. я могу загрузит

17зной

1ответ

Spark: Как перевести счет (отличное (значение)) в Dataframe API

Я пытаюсь сравнить различные способы агрегирования моих данных. Это мои входные данные с 2-мя элементами (страницы, посетитель): (PAG1,V1) (PAG1,V1) (PAG2,V1) (PAG2,V2) (PAG2,V1) (PAG1,V1) (PAG1

2зной

1ответ

Spark DataFrame - Last Partition Collect Slow

У меня есть фрагмент Java, который считывает записи из удаленной базы данных Oracle (по крайней мере, 65 тыс. Записей). По сути, мы пытаемся передать почасовой фильтр в dataframe для извлечения записе

0зной

1ответ

Исправлена ошибка с insertIntoJDBC

Я пытаюсь разработать новый API Dataframe, но я получаю сообщение об ошибке . У меня есть существующая база данных оракула, и я хочу вставить строки. Я создаю Dataframe из RDD, затем использую функцию