sparkr

2зной

1ответ

Как лучше всего обрабатывать преобразование большого локального фрейма данных в фрейм данных SparkR?

Как можно эффективно преобразовать большой локальный фрейм данных в фреймворк SparkR? На моей локальной машине dev локальный фрейм размером 650 МБ быстро превосходит доступную память, когда я пытаюсь

r sparkr 2016-09-08

---

44зной

7ответ

SparkR vs sparklyr

Есть ли у кого-нибудь обзор преимуществ/недостатков SparkR против sparklyr? Google не дает удовлетворительных результатов, и оба они кажутся довольно похожими. Попробуйте оба, SparkR выглядит намного

r apache-spark sparkr sparklyr 2016-09-14

---

4зной

1ответ

Как можно отлаживать/получать журналы для сбоев SparkR Java-бэкэнд?

Ошибка при установке glm с помощью Spark. Ошибка No status is returned. Java SparkR backend might have failed.. На самом деле работа заканчивается на основе Spark web ui, но в какой-то момент во время

apache-spark glm sparkr 2016-09-15

---

0зной

1ответ

Свечи DataFrame - ряды группы на основе разности временной метки с помощью R

У меня есть искровой DataFrame так: timestamp userId 2016-07-26 12:05:00 a 2016-07-26 12:05:01 b 2016-07-26 12:05:02 c 2016-07-26 12:05:03 d 2016-07-26 12:05:04 e 2016-07-26 12:05:05 f Я хоч

r apache-spark spark-dataframe sparkr 2016-09-15

---

1зной

2ответ

Как загрузить большие R data.frames в Spark, используя SparkR as.DataFrame()?

Моя цель - загрузить большой R data.frame в Spark. Размер data.frame составляет 5 мил. строк и 7 столбцов различных типов. После загрузки в R этот файл данных занимает ок. 200 мб памяти. Однако, когда

r hadoop apache-spark sparkr 2016-09-19

---

4зной

2ответ

Зачем собирать в SparkR так медленно?

У меня есть искробезопасный источник данных размером 500 тыс., Который живет в паркетном файле. Я использую искру 2.0.0 и пакет SparkR внутри Spark (RStudio и R 3.3.1), все запущенные на локальном ком

r apache-spark sparkr 2016-09-19

---