Как я могу прочитать паркет в R и преобразовать его в R DataFrame?

Question

Я хочу обработать файлы Apache Parquet (в моем случае, созданные в Spark) на языке программирования R.

Доступен ли считыватель R? Или выполняется работа над одним?

Если нет, то какой был бы наиболее целесообразный способ добраться туда? Примечание. Существуют привязки Java и C++: https://github.com/apache/parquet-mr

Answer 1

Если вы используете Spark, то это относительно просто с выпуском Spark 1.4, см. Пример кода ниже, который использует пакет SparkR, который теперь является частью ядра Apache Spark фреймворк.

# install the SparkR package 
devtools::install_github('apache/spark', ref='master', subdir='R/pkg') 

# load the SparkR package 
library('SparkR') 

# initialize sparkContext which starts a new Spark session 
sc <- sparkR.init(master="local") 

# initialize sqlContext 
sq <- sparkRSQL.init(sc) 

# load parquet file into a Spark data frame and coerce into R data frame 
df <- collect(parquetFile(sq, "/path/to/filename")) 

# terminate Spark session 
sparkR.stop() 

Развернутое пример показан @ https://gist.github.com/andyjudson/6aeff07bbe7e65edc665

Я не знаю ни одного другого пакета, который вы могли бы использовать, если вы не использовали искру.

Answer 2

Для чтения файла паркета в ведро Amazon S3 попробуйте использовать s3a вместо s3n. Это работало для меня при чтении паркетных файлов с использованием EMR 1.4.0, RStudio и Spark 1.5.0.

Answer 3

В качестве альтернативы SparkR, вы можете теперь использовать sparklyr:

# install.packages("sparklyr") 
library(sparklyr) 

sc <- spark_connect(master = "local") 

spark_tbl_handle <- spark_read_parquet(sc, "tbl_name_in_spark", "/path/to/parquetdir") 

regular_df <- collect(spark_tbl_handle) 

spark_disconnect(sc)