apache-spark

0зной

2ответ

Как устанавливается Apache Toree на Mac OS X с помощью Spark, установленного через Homebrew?

Apache Toree ищет искрового домашней директории (по умолчанию «/ USR/местные/искры», но когда он не может найти каталог из-за искры того, как был установлен с помощью Homebrew, он вызывает исключение.

0зной

1ответ

Чтение текстового файла на основе ключа в виде колонны из другого Textfile

Я новый Спарк Я пытаюсь загрузить таблицу в Спарк как Textfile Я хочу, чтобы прочитать текстовый файл, основанный на другой Текстовый файл Column например :: Id в качестве ключа Если B.id Матчи a.id Т

-1зной

1ответ

Должен ли я явно использовать методы Dataframe, чтобы воспользоваться оптимизацией Dataset?

Чтобы воспользоваться преимуществами оптимизаций Dataset «s, у меня явно использовать Dataframe's метод (например, df.select(col("name"), col("age") и т.д.) или позвонив по телефону любых методов набо

0зной

1ответ

Любой пример использования Apache Spark org.apache.spark.sql.DataFrameNaFunctions? ..drop(), похоже, не работает?

Я пытаюсь отфильтровать набор данных с значениями NA.found org.apache.spark.sql.DataFrameNaFunctions , но кажется, что его drop() или drop («any»), похоже, не работают должным образом. ..or пожалуйста

4зной

2ответ

Искра на пряжу, Подключение к ResourceManager на /0.0.0.0:8032

Я писал программу искры в моей развивающейся машине, которая является mac. Версия hadoop - 2.6, версия искры - 1.6.2. У клана hadoop есть 3 узла, конечно, все в Linux-машине. Я запускаю искровую прогр

2зной

1ответ

Заполнение пробелов во временных рядах Spark

У меня проблема с данными временных рядов. При сбоях питания в наборе данных отсутствуют некоторые временные метки. Мне нужно заполнить эти пробелы, добавив строки, и после этого я могу интерполироват