с использованием sparklyr в RStudio, могу ли я загрузить LOCAL csv-файл в искровой кластер?

Я довольно новичок в кластерных вычислениях, поэтому не уверен, что это возможно.с использованием sparklyr в RStudio, могу ли я загрузить LOCAL csv-файл в искровой кластер?

Я успешно создаю spark_context в Rstudio (используя sparklyr) для подключения к нашему локальному Spark-кластеру. Использование copy_to Я могу загрузить кадры данных из R в Spark, но я пытаюсь загрузить локально сохраненный CSV-файл непосредственно в Spark-кластер, используя spark_read_csv, не импортируя его сначала в среду R (это большой файл размером 5 ГБ). Он не работает (даже префикс местоположения с файлом: ///), и кажется, что он может загружать только файлы, которые УЖЕ хранятся в кластере.

Как загрузить локальный файл непосредственно в искру, не загружая его сначала в R?

Любые советы, оцененные.

источник

2017-01-25 renegademonkey

Вы получаете сообщение об ошибке? Что происходит, когда вы говорите, что он «не работает»? – cdeterman

это ошибка 'file not found' – renegademonkey

Вы не можете. Файл должен быть доступен с каждой машины в вашем кластере либо в виде локальной копии, либо размещен в распределенной файловой системе/хранилище объектов.

источник

2017-01-25 20:28:14 user7337271

Есть ли другой способ загрузить большие файлы в Spark из внешних источников? Я также пытаюсь считывать данные из искры из cassandra через RStudio, а также не удается (см. Https://stackoverflow.com/questions/41877859/unable-to-connect-spark-to-cassandra-db-in -rstudio) – renegademonkey

'--files'? Но тогда вам нужно использовать 'spark.getSparkFiles', чтобы выяснить путь, и он не очень эффективен. – user7337271

Как я могу сделать это в R? – renegademonkey

Вы можете загрузить файлы с локального источника в искру с помощью метода spark_read_csv(). Пожалуйста, правильно пройдите по пути.

Примечание: нет необходимости сначала загружать данные в среду R.

источник

2017-03-22 06:05:30 Priyanka

, используя этот метод, можно только загружать файлы csv, которые являются «локальными» для кластера, а не локально для удаленной машины, на которой выполняется R. – renegademonkey

с использованием sparklyr в RStudio, могу ли я загрузить LOCAL csv-файл в искровой кластер?

ответ

Смежные вопросы