Может ли кто-нибудь сказать мне, можем ли мы преобразовать фрейм данных в список в SparkR. Я знаю, что функция collect() помогает вам это сделать. Однако нецелесообразно использовать большой объем данных. В python/Scala существует функция, называемая локальным Iterator(), которая преобразует фрейм данных в список. Я борюсь с этим в SparkR. Может кто-нибудь помочь!SparkR - Преобразование данных в вектор/список
1
A
ответ
0
Unfortunatelly collect()
- лучший способ для этого. Вы также можете попробовать: saveAsTextFile
, но в этом случае вы, вероятно, не получите целых данных.
Ya. это проблема с SparkR. В любом случае спасибо – Nirmal
Если вы используете Cassandra 3.0, есть возможность использовать «Материализованное представление» и переупорядочить ваши данные на сервере, но это не поможет вам с загрузкой данных. (вы можете использовать его для уменьшения количества данных, а затем сохранить его локально - если вам не нужен весь набор данных) – Meyk