Plot данные SparkR DataFrame

Question

У меня есть Avro файл, который я читаю следующее:

avroFile <-read.df(sqlContext, "avro", "com.databricks.spark.avro") 

Этот файл как лат столбцов/Lon, но я не в состоянии построить их как обычный dataframe. Я также не могу получить доступ к столбцу с помощью оператора $.

ex.

avroFile$latitude 

Любая помощь в отношении файлов avro и эксплуатации на них с использованием R оценивается.

Answer 1

И вы не сможете построить его напрямую. SparkR DataFrame не совместим с функциями, которые ожидают ввода data.frame. Это даже не структура данных в строгом смысле слова, а просто рецепт обработки входных данных. Это материализуется только при выполнении действия.

Если вы хотите построить его, у вас будет collect это первое. Опасайтесь, что он извлекает все данные на локальном компьютере, так что обычно это то, чего вы хотите избежать при полном наборе данных.

Answer 2

Как указано выше, в настоящее время вы не можете запускать визуализацию R на распределенных SparkR DataFrames. Вы можете запускать их на локальных файлах данных. Вот один из способов вы можете сделать новый dataframe только с колоннами, которые вы хотите построить, а затем собрать случайную выборку из них в местный data.frame, которые вы можете построить из

latlong <- (avroFile, avroFile$latitude, avrofile$longitude) 
latlongsample <- collect(sample(latlong, FALSE, .1)) 
plot(latlongsample) 

подписи для метода проб это: образец (х, с заменой, фракцией, семенами)

Answer 3

Если вы хотите использовать ggplot2 для печати, попробуйте ggplot2.SparkR. Этот пакет позволяет принимать SparkR DataFrame непосредственно в качестве входного сигнала для вызова функции ggplot().

https://github.com/SKKU-SKT/ggplot2.SparkR