py4j

2зной

1ответ

Использование py4j для отправки матриц из Python в Java как int [] [] arrays

Я использовал py4j для создания удобной библиотеки Python для менее удобной библиотеки Java. По большей части это был легкий ветерок, а py4j - отличный инструмент. Тем не менее, я столкнулся с проблем

1зной

1ответ

pyspark: вызов пользовательской функции java из pyspark. Нужен ли мне Java_Gateway?

я написал следующее MyPythonGateway.java, так что я могу назвать свой собственный класс Java с Python: public class MyPythonGateway { public String findMyNum(String input) { return MyUtilt

2зной

2ответ

Что такое точка входа для своего py4j gatewayServer в искрах?

Я пытался запустить java-функцию в pyspark, используя py4j. Py4j разрешает доступ к java-объектам в JVM. Я создал еще один экземпляр JVM и смог успешно запустить java-функцию. py4j включает это сообще

1зной

1ответ

Преобразование списка в Scala в список Python или dataFrame

У меня есть список 2d в Scala под названием dataList, и я хочу преобразовать его в Pandas DataFrame. val dataList: List[List[Int]] = tempData.toList Если я хочу напечатать dataList, все работает отл

1зной

1ответ

Обертка для Pyspark для H2O POJO

Я создал модель, используя Игристую воду H2O. И теперь я хотел бы применить его к огромному Spark DF (заполненному разреженными векторами). Я использую python и pyspark, pysparkling. В основном мне ну

1зной

1ответ

Объект JavaPackage не является вызываемой ошибкой: Pyspark

Операции, такие как dataframe.show(), sQLContext.read.json, работают нормально, но большинство функций дает «объект JavaPackage не вызываемая ошибка». например: когда я делаю dataFrame.withColumn(fiel

5зной

1ответ

Внедрить java UDF и вызвать его из pyspark

Мне нужно создать UDF, который будет использоваться в pyspark pyspark, который использует Java-объект для своих внутренних вычислений. Если бы это был простой питон я хотел бы сделать что-то вроде: de

3зной

1ответ

Как скрыть «py4j.java_gateway: Получена команда c на идентификаторе объекта p0»?

Как только регистрация началась на уровне INFO, я продолжаю получать пучок py4j.java_gateway:Received command c on object id p0 на ваших журналах. Как я могу скрыть это?