Теперь у меня есть 2 RDD, но когда я набрал «.join», моя IDE не смогла найти этот символ, он сказал мне «Невозможно разрешить объединение символов». Я уже использовал maven для создания моей функции проекта и реимпорта для решения с моей зависимостью. Есть ли какая-то зависимость, которую я пропустил? Может ли кто-нибудь сказать мне, как это исправить? Спасибо!Spark: Как использовать метод соединения?
Для доступа к дополнительным функциям, доступным на RDD (пары ключ, значение), необходимо включить включение неактивных конверсий Spark, импортировав org.apache.spark.SparkContext._.
import org.apache.spark.SparkContext._
val p1: RDD[(K, V)] = ...
val p2: RDD[(K, W)] = ...
val joined: RDD[(K, (V, W))] = p1.join(p2)
Я уверен, что я уже импортировал эту библиотеку, но она по-прежнему «не может разрешить объединение символов» – fanhk
Тогда ваши RDD, вероятно, не относятся к типу '' (key, value) '' –
, пожалуйста, добавьте фрагмент кода (содержащий определения RDD). –