Я использую Spark 1.4.0 (PySpark). У меня есть DataFrame загружены из улья таблицы, используя этот запрос: sqlContext = HiveContext(sc)
table1_contents = sqlContext.sql("SELECT * FROM my_db.table1")
У меня есть SparkSQL DataFrame. Некоторые записи в этих данных пустые, но они не ведут себя как NULL или NA. Как я могу удалить их? Есть идеи? В R Я могу легко удалить их, но в sparkR он говорит, что