flume-ng

1зной

1ответ

Flume - Может ли источник принимать события, даже если раковина не работает?

Новый к лодке. Предположим, у меня есть агент, у которого есть один источник avero, единственный hdfs-приемник и единственный файловый канал. скажем, в какой-то момент раковина не может быть записана

1зной

1ответ

avro события от kafka до HDFS с ломом

У меня есть кластер kafka, который получает события от разработчиков от производителей. Я хотел бы использовать водослив для того, чтобы потреблять эти события и поместить их в Avro файлов в HDFS Возм

3зной

1ответ

Flume памяти до Шанель HDFS тонуть

я столкнулся вопрос с Flume (1.5 на Cloudera CDH 5.3): spoolDir source -> memory channel -> HDFS sink Что я пытаюсь сделать: Каждый 5mins, около 20 файлов помещаются в каталог буферизации (захвачен

0зной

1ответ

Для отправки журналов с сервера приложений, который должен использовать экспедитор Logstash, FLume или Fluentd?

Перевозчик Logstash является легким, но из логстаста-форвардера в logstash есть латентность по сети. [если я использую форвардер Logstash на одном компьютере и отправляет журналы в Logstash, который н

2зной

1ответ

Использование флеш-памяти - перетаскивание данных из папки только для чтения в HDFS

Я ищу способ вывести данные журнала из папки только для чтения в hdfs с использованием лотка. как я знаю, flume spoolDir нуждается в доступе на запись, чтобы изменить заполненное имя файла, когда это

4зной

1ответ

Использование флюса: чтение из HTTP и нажатие на HDFS через Kafka

Я новичок в Flume и думаю использовать Flume в приведенном ниже сценарии. Наша система принимает события как HTTP POST, и нам нужно сохранить их копию в Kafka (для дальнейшей обработки) и другую копию

0зной

1ответ

Программа Spark streaming не может подключиться к sink org.apache.SparkException: java.io.Exception: Ошибка подключения к localhost: 9999

Я новичок в этой теме, я работал с основанием push и работал, но как-то с основанный на тяге подход, он выдает ошибку подключения приемника. Может быть, я могу что-то упустить. Flume это деталь конфиг

0зной

1ответ

Какое использование раздела kafka отличается от повышения эффективности посредством параллелизма?

Я использую Кафку для сбора логов, Есть ли другие преимущества раздела, как мы можем использовать его в дальнейшем для упрощения обработки наших журналов, если мы будем использовать раздел в теме, Par

0зной

1ответ

Pubmed DataSet - Подключение FTP с помощью Flute

Для извлечения данных из Pubmed DataSet [ncbi] я использовал FireFTP Addon (в firefox) для извлечения содержимого xml, pdf, txt. [http://www.ncbi.nlm.nih.gov/pmc/tools/ftp/] Я успешно установил Flags