Ошибка Spark Coalesce - нет такого метода

Question

У меня эта ошибка. Я не уверен, почему это так, потому что есть метод coalesce в org.apache.spark.rdd.RDD. Любые идеи? Я запускаю несовместимую версию Spark и org.apache.spark.rdd.RDD?

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.rdd.RDD.coalesce$default$3(IZ)Lscala/math/Ordering; 

Answer 1

Как я подозревал, это проблема совместимости с библиотекой. Все работает (без изменения кода) после понижения только Spark.

До:

• 2.11.8
Скала
• искра 2.0.1
• Java 1.8.0_92

После

• 2.11.8
Скала
• искра 1.6.2
• Java 1.8.0_92

ОС: OSX 10.11.6

Answer 2

Это потому, что какая-то часть вашего кода или проекта зависимостей называется старая версия (искра версия, прежде чем 2.0.0) искровой API «сливаются» в то время как в новой версии искры этот API был удален и заменен на «repartition».

Чтобы устранить эту проблему, вы можете либо понизить среду искрового запуска до версии 2.0.0, либо обновить версию искробезопасности SDK до версии 2.0.0 и обновить версию зависимостей проекта, чтобы она совместима с искровым 2.0.0 или выше.

Для получения более подробной информации см этой темы: https://github.com/twitter/algebird/issues/549 https://github.com/EugenCepoi/algebird/commit/0dc7d314cba3be588897915c8dcfb14964933c31