apache-crunch

2зной

1ответ

Hadoop InputFormat set Ключ к пути входного файла

Мое задание hadoop должно знать входной путь, из которого происходит каждая запись. Например предположим, я бегу на работу по набору объектов S3: s3://bucket/file1 s3://bucket/file2 s3://bucket/file

0зной

2ответ

Создать таблицу улей для схемы меньше файлов avro

У меня есть несколько файлов avro, и у каждого файла есть STRING. Каждый файл avro представляет собой одну строку. Как я могу написать таблицу hive, чтобы потреблять все файлы avro, расположенные в од

2зной

2ответ

Недостающие зависимости в Apache Crunch Scala построить

Я пытаюсь построить Apache Crunch source code на моем CentOS 7 машина, но я получаю следующее сообщение об ошибке в проекте crunch-spark, когда я исполняю mvn package: [ERROR] /home/bwatson/programmin

0зной

1ответ

Есть ли Apache Crunch с API Hadoop MapReduce?

Когда вы загружаете Apache Crunch со своего сайта (он поставляется в виде исходного кода), он поставляется без соответствующих классов MapReduce, на которых он основан. Два вопроса: 1- Как это возможн

0зной

2ответ

Crunch Debug Logging

Любой, кто использовал конвейеры Crunch, знает, что ничего не происходит до тех пор, пока не вызывается метод pipeline.run()10 или pipeline.done(). Традиционно на большинстве языков мы можем поместить

3зной

1ответ

WordCount с Apache Crunch в HBase Standalone

В настоящее время я оцениваю Apache Crunch. Я последовал за простым WordCount MapReduce job example: Впоследствии я стараюсь сохранить результаты в автономном HBase. HBase работает (проверено с JPS и

2зной

3ответ

Как проследить происхождение "<init>() V" отказов в Avro?

Я использую апачский хруст и получили зашифрованное сообщение об ошибке от Avro: java.lang.NoSuchMethodError: org.apache.avro.mapred.AvroKey: method <init>()V not found at org.apache.crunch.types