SparkContext доступа от rJava вызова

Question

SparkContext в SparkR (v1.5.1) является

Java ref type org.apache.spark.api.java.JavaSparkContext 

однако при создании моего класса:

.jnew("com.example.MyClass","sc") 

для моего класса лестницы: класс TableReader (SC: JavaSparkContext), Я получаю a: java.lang.NoSuchMethodError:

Что это за «тип Java-ref» и как я могу получить реальный контекст из него для отправки через rJava?

Answer 1

SparkR, похоже, обладает собственной совместимостью Java, реализованной в backend.R. Вызовы производятся в форме SparkR:::newJObject(className, args), хотя я не могу найти какую-либо конкретную документацию, кроме как в тестах в том же проекте.

sqlContext должен быть инициализирован, а соответствующие загрузочные баночки загружены во время запуска с использованием --jars {csv jars} или --паков, как указано в documentation.