2016-11-23 6 views
1

Может ли кто-нибудь сказать мне, можем ли мы преобразовать фрейм данных в список в SparkR. Я знаю, что функция collect() помогает вам это сделать. Однако нецелесообразно использовать большой объем данных. В python/Scala существует функция, называемая локальным Iterator(), которая преобразует фрейм данных в список. Я борюсь с этим в SparkR. Может кто-нибудь помочь!SparkR - Преобразование данных в вектор/список

ответ

0

Unfortunatelly collect() - лучший способ для этого. Вы также можете попробовать: saveAsTextFile, но в этом случае вы, вероятно, не получите целых данных.

+0

Ya. это проблема с SparkR. В любом случае спасибо – Nirmal

+0

Если вы используете Cassandra 3.0, есть возможность использовать «Материализованное представление» и переупорядочить ваши данные на сервере, но это не поможет вам с загрузкой данных. (вы можете использовать его для уменьшения количества данных, а затем сохранить его локально - если вам не нужен весь набор данных) – Meyk