SparkR Написать в паркетном файл

Question

Я пытаюсь написать кадр данных в формат паркетного кадр данных

ул (тест) «data.frame» :. 365 набл из 4-х переменных: $ ID: CHR «Яблоко» «Яблоко» «Яблоко» «Яблоко» ... $ текст: CHR «Ши передать его на диффузионный перенос надежду на \ npsychopass психопаты Торговый резиновый ремешок Ginoza Shinmoto \ N выгоды круг обычно круг судоходства вы даже от поиска вы «| усеченный» ретвит \ п \ npeachpanther альбумин мир прямо сейчас «» Гарлем vacature интернет strateeg opzoek Naar CTO разработчик программного обеспечения architectlead звезда applehaarl «» ใน อ ย ท เทา ก น \ п ผ ห ญ ง ม ความ เป น ผ ให ญ มาก ก วา ผ ชาย \ п ไม ม ผ ชาย คน ไหน ไป ได สวย กบ ผ ห ญ ง อาย เทา ก น ได หรอก \ п ты «Ш» | усеченный ... $ эмоции: CHR «неизвестный» «неизвестный» «неизвестный» «неизвестный» ... $ полярность: CHR «позитивный» «позитивный» «позитивный» «позитивный» ...

Когда я пытаюсь использовать write.parquet я получаю следующую ошибку

write.parquet (тест, "HDFS: //xxx.xxx.xxx.xxx: 9000/orcladv/intdata/processedtweets") Ошибка в функции ((с дивчины, FDEF, mtable) :. не смог найти наследуемый метод для функции «write.parquet» для подписания «data.frame", „символ“»

Кто-нибудь сталкивался с этой проблемой, пожалуйста, помогите мне решить эту проблему.

с уважением

Bala

Answer 1

"data.frame" в сообщении об ошибке означает, что вы используете R data.frame. The write.parquet() Функция используется работает на Спарк DataFrames не R данные рамы ..Подробнее о том, как конвертировать между двумя здесь :. https://spark.apache.org/docs/latest/sparkr.html#creating-dataframes