apache-spark-sql

4зной

1ответ

Пользовательские источники данных Spark с примитивными байтовыми массивами - избегайте бокса?

Я работаю над настраиваемым источником данных Spark и хочу, чтобы схема включала строку типа примитивного байтового массива. Моя проблема заключается в том, что байты в результирующем массиве байтов п

0зной

2ответ

ошибка при применении действий по искровой информационной карте

Я новичок в инфраструктуре Spark и работаю над некоторыми (~) небольшими задачами на своей локальной машине, чтобы практиковать. Моя задача состояла в следующем: у меня есть 365 ZIP-архивов csv, храня

0зной

1ответ

Spark: печать данных Hbase и преобразование их в Dataframe

У меня возникли трудности с воспроизведением данных, полученных из таблицы Hbase. У меня есть таблица Hbase EMP_META: COLUMN_NAME,SALARY,DESIGNATION,BONUS и я прочитал его, используя код ниже: def mai

2зной

1ответ

Подключение таблицы к Spark SQL

Я пытаюсь подключить Tableau Desktop 10 (mac) к Spark SQL 2.1 (на сервере centos 7). Я подключаюсь через драйвер Simba ODBC с Authentication = Username и Username =. Это не дает никакой ошибки, но я н

2зной

1ответ

Spark: Как сгруппировать по различным значениям в DataFrame

У меня есть данные в файле в следующем формате: 1,32 1,33 1,44 2,21 2,56 1,23 код Я выполнения является следующее: val sqlContext = new org.apache.spark.sql.SQLContext(sc) import spark.impli

1зной

1ответ

Пропустить параметр для выбора искробезопасности dataframe

Я хочу передать столбец, который будет выбран в dataframe, в качестве параметра, который я изменяю каждый раз на момент, когда я это сделал. Это на самом деле работает object PCA extends App{ val spa