flume-ng

1зной

2ответ

Мне нужно прочитать поток данных из какого-то источника (в моем случае это поток UDP, но это не имеет значения), преобразуйте каждую запись и запишите ее в HDFS. Есть ли разница между использованием F

0зной

2ответ

Apache Flume занимает больше времени, чем copyFromLocal command

У меня есть 24-гигабайтная папка в локальной файловой системе. Моя задача - переместить эту папку в HDFS. Два пути я сделал это. 1) hdfs dfs -copyFromLocal/home/data// home/ Для этого потребовалось ок

2зной

1ответ

Остановка агента Flume

У меня есть требование, когда я хочу запустить Flume agent с каталогом буферизации в качестве источника. После того, как все файлы из каталога спула будут скопированы в HDFS (раковина), я хочу, чтобы

1зной

2ответ

Каков самый быстрый способ проверить, работает ли установка Apache Flume?

Я загрузил и извлек Apache Flume. Как проверить, готов ли он к запуску?

0зной

1ответ

Flume: Http-обработчики порождаются параллельными потоками?

Источник Http в Flume зависит от обработчика, ответственного за создание Event объектов, которые будут помещены в каналы (каналы). Вызывается ли этот обработчик несколькими потоками, скажем, одним вхо

0зной

1ответ

Flume - Можно ли остановить только источник льда?

У меня есть канал памяти с флюсом, и я хочу знать, существует ли способ убедиться, что остановка flume-агента не приведет к потере данных на канале. Возможное решение может состоять в том, чтобы остан

0зной

1ответ

Данные о мусорных ящиках для сбора мусора в hdfs

При копировании данных из локального пути в HDFS-приемник, я получаю некоторые данные мусора в файле в местоположении HDFS. Мой конфигурационный файл для лотком: # spool.conf: A single-node Flume conf