apache-spark

-1зной

1ответ

Spark - группа на одной колонке и находить среднее значение других колонок

У меня есть данные с 4 столбцами (c1, c2, c3 и c4) и есть в RDD через некоторый код scala. Я хочу группировать/bin с помощью c1 и находить среднее значение c2 и среднее значение c3, а также c4 в каждо

0зной

1ответ

Py4JNetworkError: ошибка поиска символа, неопределенный символ: cblas_daxpy

Окружающая среда is: JDK 1.7; CDH 5.8.0 Код является from pyspark.ml.feature import PCA from pyspark.mllib.linalg import Vectors data = [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),), (Vectors.den

1зной

1ответ

. Правила доверия Spark MLlib больше 1.0

Я использовал Spark 2.0.2 для извлечения некоторых правил ассоциации из некоторых данных, в то время как когда я получаю результат, я обнаружил, что у меня есть некоторые странные правила, например сл

0зной

2ответ

AssertionError: утверждение не выполнено: copyAndReset должен вернуть копию нулевого значения

Когда я применил ParDo.of(new ParDoFn()) к PCollection по имени textInput, программа выбрасывает это исключение. Но программа нормальная, когда я удаляю .apply(ParDo.of(new ParDoFn())). // SparkRunner

0зной

1ответ

Спайк-кластеризация с пряжей

Я хотел бы создать искровую кластеризацию с пряжей. Нужно ли мне установка hadoop master и slaves с конфигурацией пряжи? установка hadoop master/рабы и мастер пряжи/рабы отдельно? Если 1 в порядке, я

0зной

1ответ

не удалось создать sparkcontext в sparkversion 2.0.1

Я недавно обновил версию своей искры от 1.5 до 2.0.1. Сценарии python перестают работать. код в 1.5, который работал sc=SparkContext(appName="YOGI") код изменен в искрой 2.0.1 sc =SparkContext().mas