Использовать столбцы sparkR

Question

SparkR Column предоставляет длинный список полезных методов, например 'isNull', но в sparkR У меня проблема с их использованием. Я бегу sparkR в R как этот

кд /home/ole/R/spark-1.4.0 ./bin/sparkR --packages com.databricks: искровым csv_2.10: 1.0.3 sqlContext

Когда я, например, типа это = с() IsNull (и) я получаю это сообщение ошибки (функция (классы, FDEF, mtable): не смогли найти наследуемый метод для функции «IsNull» для подпись «NULL»

Answer 1

Это потому, что isNull ожидает столбец DataFrame, а не вектор. Он проверяет, Риз являются NULL, она работает следующим образом:

a <- createDataFrame(sqlContext,data.frame(b=c("a","b",NA,"c"),c=c(1,2,3,4))) 
a$d <- isNull(a$b) 
collect(a) 

Он также возвращает (логический) столбец, поэтому я приложил его к DataFrame. Однако вы заметите, что SparkR не сохранил NA как NULL, поэтому все логики FALSE, но вы уже видите, как работает эта функция.