flume

0зной

1ответ

Как получить доступ к атрибутам заголовка события flume?

Я добавил несколько заголовков атрибутов событий в Flume, но я не знаю, как получить к нему доступ в flumeagent конфигурационного файла Ex: Я добавил FileHeader используя flumeagent.sinks.sinkname.hdf

0зной

1ответ

Flume не найден java (java: команда не найдена, exec: java: не найден)

]# /etc/init.d/flume-master start Starting Flume master daemon (flume-master): starting master, logging to /var/log/flume/flume-flume-master-localhost.localdomain.log /usr/lib/flume/bin/flume: line

0зной

1ответ

Apache Flume: не может совершить транзакцию. Достигнуто предельное значение области кучи

Я пытаюсь передать некоторые данные в HDFS с Flume, с единственным агентом, настроенным на наличие источника netcat, канала памяти и HDFS-приемника. Конфигурация следующая: a1.sources = src1 a1.chann

3зной

1ответ

Может ли Apache Sqoop и Flume использоваться взаимозаменяемо?

Я новичок в больших данных. Из некоторых ответов на What's the difference between Flume and Sqoop? оба Flume и Sqoop могут извлекать данные из источника и нажимать на Hadoop. Может ли кто-нибудь указа

2зной

3ответ

java.io.IOException: Не удается получить длину блока для LocationBlock

Я использую HDP 2.1. для кластера. Я столкнулся с нижеприведенным исключением, и задания MapReduce были неудачными из-за этого. Фактически, мы регулярно создаем таблицы, используя данные из Flume, кот

5зной

4ответ

желоб - flume.root.logger = DEBUG, консоль только регистрирует заявления в журнале уровня INFO

Я установил Подводящий канал 1.4.0-cdh4.7.0 в CentOS (Cloudera VM) Я побежал следующую команду, чтобы запустить транспортере имя-агент желобе-Ng аГЕНТ -n -c -f Conf конф/flume.conf -Dflume.root.looger

1зной

1ответ

Dir's Move to Flume

Я хотел бы загрузить DIR, который содержит sub dir и список файлов с использованием API flum или API java в HDFS под/flume/events. Я использую cloudera cdh5.1 Пожалуйста, не могли бы вы мне помочь в э