hadoop-streaming

1зной

1ответ

Представление рабочих операций с потоком: пряжа или хаоп?

В чем разница между отправкой задания с потоком с использованием команды yarn jar и использованием команды hadoop jar? Это из current documentation: hadoop jar hadoop-streaming-2.7.1.jar \ -D map

3зной

1ответ

Глубокое обучение: есть ли библиотека с открытым исходным кодом, которая может быть интегрирована с потоком Hadoop и MapReduce?

В поиске Google появилось довольно много глубоких учебных материалов с открытым исходным кодом. Вот собрали список Google TensorFlow Theano mxnet keras Pylearn2 Blocks Lasagne chainer scikit-n

0зной

1ответ

Карта и сокращение выполняются на 100%, но сбой при выполнении потоковой работы. python

Я запускаю алгоритм обхода графика с использованием уменьшения карты, и он дает желаемый результат при тестировании без использования hadoop. но выполнив команду: происходит следующее: 16/01/27 11:03:

1зной

1ответ

Hadoop Streaming с TextInputFormat и Python - отслеживать номер строки

Я пытаюсь вычислить сумму для каждой диагонали на квадратной матрице. Я использую потоки Python и Hadoop, но я не могу найти способ настроить потоки Hadoop для получения смещения для каждой строки, ка

1зной

1ответ

MapReduce с C#: весь процесс ввода файлов

Проблема: Я создаю приложение MapReduce в C# для HDInsight. Мне нужно обработать целые входные файлы. Я понимаю, есть два варианта в Hadoop для достижения этой цели: Выведение из класса InputFormat, и

0зной

1ответ

Pipe command line hasoop streaming job

Я хочу передать свою работу по потоку хаоса. Например я запустить команду Hadoop банку Hadoop-streaming.jar -mapper map1.py -reducer reducer.py -input хх -output/output1 Но я хочу, чтобы использовать