apache-spark-sql

4зной

2ответ

PySpark Не найдено подходящего драйвера для jdbc: mysql: // dbhost

Я пытаюсь написать свой файл данных в таблицу mysql. Я получаю No suitable driver found for jdbc:mysql://dbhost, когда я пытаюсь написать. В качестве части предварительной обработки я читал из других

4зной

1ответ

Что такое метастор для Spark?

Я использую SparkSQL в python. Я создал секционированную таблицу (~ несколько сотен разделов), которая хранила ее во внутренней таблице Hive, используя hiveContext. Хранение склада находится в S3. Ког

0зной

2ответ

Присоединить файлы, используя Apache Spark/Spark SQL

Я пытаюсь использовать Apache Spark для сравнения двух разных файлов на основе некоторого общего поля и получать значения из обоих файлов и записывать их как выходные файлы. Я использую Spark SQL для

2зной

2ответ

Как перенести строку в столбец с помощью Spark-SQL?

4зной

2ответ

объединить несколько небольших файлов в несколько больших файлов в Spark

Я использую улей через Spark. У меня есть вставка в запрос секционированной таблицы в моем искровом коде. Входные данные находятся в 200 + gb. Когда Spark записывает в секционированную таблицу, он вып

6зной

2ответ

Как извлечь комплексные структуры JSON с использованием Apache Spark 1.4.0. Кадры данных

Я использую новую версию Apache Spark 1.4.4 API-интерфейсы Apache Spark для извлечения информации из статуса Twitter. JSON, в основном ориентированный на Entities Object - соответствующий часть на это

32зной

3ответ

Как создать правильный фрейм данных для классификации в Spark ML

Я пытаюсь запустить произвольную классификацию леса с помощью Spark ML api, но у меня возникают проблемы с созданием ввода правильного ввода данных в конвейер. Вот выборка данных: age,hours_per_week,e

2зной

2ответ

Соединение JDBC не удается подключить Teradata от искры apache

Я пробовал много разных подходов к подключению к нашей среде Teradata от Apache Spark с использованием JDBC-соединения. Ниже приведен код, который я использовал. Я убедился, что мои драйверы JDBC верн