mapreduce

0зной

1ответ

java.lang.NoClassDefFoundError: орг/Apache/Hadoop/HBase/MapReduce/MultiTableInputFormat

При выполнении теста на MapReduce работу на minicluster Hadoop, я получаю сообщение об ошибке: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/MultiTableInputFormat at org.apache.cru

1зной

1ответ

что является самым быстрым способом извлечения данных из HBase

У меня около 5 Тбайт данных, распределенных по 30 различным таблицам в HBase. Моим вариантом использования является то, что на основе двух конкретных столбцов в каждой таблице, которые являются YEAR,

0зной

2ответ

Flink: DataSet.count() является узким местом - как считать параллель?

Я изучаю Map-Reduce с помощью Flink и задаюсь вопросом, как эффективно подсчитывать элементы в DataSet. То, что я до сих пор это: DataSet<MyClass> ds = ...; long num = ds.count(); При выполнении эт

1зной

1ответ

Загрузка большего количества записей, чем фактических данных в HIve

При вставке из таблицы Hive в таблицу HIve, она загружает больше записей о фактических записях. Может ли кто-нибудь помочь в этом странном поведении Улья? Мой запрос будет выглядеть как это: insert ov

0зной

1ответ

Как получить доступ к первому элементу Iterable <DoubleWritable> в Haoop MapReduce с помощью JAVA?

Я пытаюсь найти Мин и Макс из списка значений с помощью Hadoop MapReduce, а вот как я реализую мой Уменьшить код: Как вы можете видеть, у меня нет никаких проблем с расчетом "avg", но для "min" и "max

0зной

1ответ

Группировка коллекции с пороговой фильтрацией

Я пытаюсь придумать алгоритм, чтобы сделать следующее на карте уменьшить. Я получаю кучу объектов и идентификаторы пользователя владельца. Другими словами, я получаю кучу пар: (object, uid) Я хочу,

0зной

1ответ

Каков лучший способ получить наибольшую ценность csv-файла с помощью hadoop?

У меня есть огромный файл CSV с 4 информаций так: DF Alice 20.4 MG Bob 30.4 MG Clara 14.3 SP Daniel 40.2 ... Я написал Hadoop карта-свертка код, чтобы получить большую ценность всей таблицы: Map

0зной

2ответ

Hadoop map-reducer не записывает никаких выходных данных

Я работаю над проблемой трехмерного Hadoop mapreduce, которая предназначена для получения 200 000 строк файла input.csv с датами и значениями в виде заголовков (список из 25 строк данных: https://gist