Apool Flume Spooling Directory duplicate events

Руководство пользователя Apache Flume говорит, что источник каталога спулинга может дублировать события при определенных обстоятельствах. Вот строка из документов: «Несмотря на гарантии надежности этого источника, все еще есть случаи, когда события могут дублироваться, если происходят определенные сбои в обратном ходе».Apool Flume Spooling Directory duplicate events

Что это за случаи? Особенно, если мы используем прочный канал, такой как канал файлов, я не вижу причин для дублирования событий?

источник

2014-01-14 capacman

Вы описали канал канала как долговечный. Вы не говорили раз и только один раз.

Гарантия флюма как минимум один раз. Партии будут возмущены неудачей. Это может привести к дублированию событий.

Пример: узел 1 отправляет события на узел 2. Все события отправляются, а узел 2 подтверждает получение. Однако. Сетевые условия таковы, что это сообщение потеряно. Узел 2 сохранил пакет, но узел 1 отправит его повторно. Таким образом, повторяющиеся события.

источник

2014-01-15 04:13:16 Sarge

Привет, я приму ваш ответ как правильный. Но только один. Если я использую один агент/узел, то я думаю, что невозможно создать повторяющиеся события, поскольку каналы и приемники выполняются транзакционным образом? – capacman

Сбой при записи в раковину (база данных, HDFS) и т. Д. Также откат. Если вы уверены, что раковина всегда правильно откатывается при отказе, тогда вы можете быть в порядке. Вы также можете получить откат от клиента к агенту, который может давать дубликаты. – Sarge

ответ

Смежные вопросы