distributed-computing

3зной

2ответ

Hadoop + Spark - как только приложение запустится правильно, появится сообщение об ошибке

У меня есть файл с 40 000 строк, в каждой строке одно слово, друг с другом. Я начинаю Hadoop, хозяин, рабы - все работает: start-dfs.sh;start-yarn.sh;/opt/spark/sbin/start-master.sh;/opt/spark/sbin/st

1зной

1ответ

Создание задач искры из задач (функции карты) в одном приложении

Возможно ли сделать карту из функции сопоставления (например, из задач) в pyspark? Другими словами, можно ли открыть «подпрограммы» из задачи? Если так - как я могу передать sparkContext в задачи - ка

3зной

1ответ

Что такое spark.driver.maxResultSize?

ref говорит: Предел общего размера сериализованными результатов всех разделов для каждого действия Спарк (например, собирать). Должно быть не менее 1M, или 0 для без ограничений. Задания будут прерван

3зной

1ответ

Как загрузить модель Spark для эффективных прогнозов

Когда я создаю модель Spark и называю ее, предсказания возвращают десятки мс. Однако, когда я сохраняю ту же самую модель, а затем загружаю ее, предсказания занимают гораздо больше времени. Есть ли ка

3зной

1ответ

Без каскадов, но numRunningTasks! = 0

Моя задача была завершена, и я получил ожидаемый результат подсчета RDD. Я запускаю интерактивную оболочку PySpark. Я пытаюсь понять, что означает данное предупреждение: WARN ExecutorAllocationManager

1зной

2ответ

Spark запускает больше исполнителей, чем указано

Я запускаю Spark 1.5.1 в автономном (клиентском) режиме с использованием Pyspark. Я пытаюсь запустить работу, которая, по-видимому, тяжелая память (в питоне, который не должен быть частью настройки па

0зной

1ответ

Создание RDD с большим количеством элементов, чем его источник

Я РДУ под названием codes, что пара, которая имеет строку в качестве 1-й половины и еще одну пару в качестве своей 2-й половине: In [76]: codes.collect() Out[76]: [(u'3362336966', (6208, 5320)), (u