databricks

0зной

2ответ

Объект класса case Scala «ключ не найден» при использовании в качестве ключа HashMap в Spark

Я пытаюсь получить доступ к HashMap с помощью функции в Spark 2.0, но если я распараллеливаю List, он терпит неудачу. Если я этого не делаю, он работает, и если я не использую класс Case, он работает.

1зной

1ответ

Pyspark читает CSV - NameError: название «Искра» не определен

Я пытаюсь запустить следующий код в databricks для того, чтобы вызвать искровой сеанс и использовать его, чтобы открыть файл CSV: spark fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dep

0зной

1ответ

Pyspark ошибка с ОДС: py4j.Py4JException: Метод __getnewargs __ ([]) не существует ошибка

я пытаюсь решить следующую ошибку (я использую платформу databricks и искровых 2.0) tweets_cleaned.createOrReplaceTempView("tweets_cleanedSQL") def Occ(keyword): occurences = spark.sql("SELECT *