Обработка электронной почты Spark

Question

Мы разрабатываем большое решение для обработки данных, в котором необходимо обрабатывать входящие письма. Стек технологии еще не завершен, но в основном мы можем использовать Sendmail как MTA и Procmail как MDA. Мы открыты для любого другого очень эффективного решения.

Эти письма по существу переносят данные в приложениях и не предназначены для конечных пользователей, поэтому поток электронной почты заканчивается обработкой Spark.

Моя первая мысль: было бы здорово, если бы существовала система очередей сообщений, такая как Apache-Kafka, которая могла принимать сообщения в виде сообщений, а затем предоставлять их клиенту, например, Spark по требованию, но, похоже, это своего рода технология/подход не доступен ни в одной из брокерских систем сообщений.

Это означает, что нам нужно будет получать электронные письма через SMTP MTA, а затем извлекать информацию из MDA.

Мы можем использовать Procmail для извлечения содержимого электронной почты и вложений и поместить их в папку по электронной почте, а затем сканировать папки и обрабатывать их в искровом режиме.

В качестве альтернативы, если у Spark есть плагины, которые могли бы вытащить электронные письма из MDA и разбить его на вложения, это сделало бы жизнь намного проще.

Если есть какие-либо другие более умные решения, мы будем рады.

Итак, основной вопрос заключается в том, какая технология доступна для направления электронной почты через Spark для обработки. Разъемы и т. Д.

Answer 1

Mailgun или Sendgrid Обработка входящей электронной почты настолько проста, что я вряд ли мог представить себе альтернативу для новой, особенно большой системы. Я только играл с ними, но у меня сложилось впечатление, что моя проблема с реальными или потенциальными (миллиардами писем), связанная с электронной почтой, решена навсегда. Не связанные с Spark, эти системы просто сообщение адрес электронной почты как http POST-запрос к URL-адресу, который вы предоставляете.

Sendgrid используется для неправильного анализа кодировки, их поддержка игнорирует мои письма и в конечном итоге удаляет билет, не решая проблему. Mailgun всегда возвращает UTF8 независимо от исходной кодировки. Ручной синтаксический анализ MIME - такая грандиозная задача, поэтому лучше использовать существующие решения, если электронные письма не генерируются компьютером. Но даже тогда услуги IaaS намного дешевле, чем время разработки.