Нужен простой многопоточный источник Flume

Question

Ищете советы по настройке простого многопоточного источника дымохода.

Я использую источник spoolDir в местной среде Dev, чтобы проверить свои перехватчики, но по ссылке ниже, это выглядит как источники spoolDir всегда будет однопоточен:

Reading Flume spoolDir in parallel

У нас есть перехватчика, который может быть ошибочным в производстве, потому что он использует небезопасный SimpleDateFormatter, и я пытаюсь воспроизвести его в своей простой среде.

Answer 1

В конечном итоге я смог воспроизвести многопоточное поведение багги, которое мы видели в процессе производства, переключив среду моего сообщества с источника spoolDir на источник syslogtcp. Ошибка была не такой, какой мы ожидали, она не имела ничего общего с SimpleDateFormatter и скорее была тем, как она вставляла дополнительную информацию в заголовки событий.

Я смоделировал сервер syslog с помощью nc (netcat) для отправки данных в порт syslog. Я проверил, что перехватчик вызывался более чем одним потоком, регистрируя имя и идентификатор потока.

Для всех, кому это интересно, возможно, лучше всего проверить свои перехватчики с использованием многопоточного источника, такого как syslogtcp, а не источника spoolDir.