pyspark, можете ли вы как-то передать SparkContext pyspark на объект java

Question

Так что в соответствии с известной ошибкой искры/дизайном https://issues.apache.org/jira/browse/SPARK-2243 вы не можете иметь несколько SparkContexts. Теперь я делаю эту очень уродливую смесь python и Scala, и у меня есть метод Scala, который ожидает SparkContext в качестве аргумента. Можно каким-то образом создать экземпляр этого объекта Scala в py4j, а затем передать его SparkContext pyspark (экспортированный как sc в оболочке pyspark). Я понимаю, что sc - это тонкая оболочка объекта Scala, но я не могу понять, как преобразовать ее в класс java/scala и передать ее в качестве аргумента для моего метода Scala.

Answer 1

Вы можете позвонить по телефону SparkContext.getOrCreate() в Скала, чтобы получить активный SparkContext, созданный PySpark.