Logstash jdbc left external join как поддокументы

Question

Я использую плагин Logstash jdbc для получения данных MySQL в ElasticSearch. Из-за левого внешнего соединения я заканчиваю несколькими «дочерними строками» для одной «родительской строки». Скажем, 1 пользователь имеет 1 или более документов. Я попробовал group_concat текст документов, а затем группирую по идентификатору пользователя, чтобы сохранить 1 строку на пользователя.

Однако GROUP_CONCAT MySQL имеет предел длину 1024 ...

Кто-нибудь знает решение для преодоления GROUP_CONCAT вообще и иметь дело с левыми внешними соединениями, как вложенные документы?

Thanx

Answer 1

Значение по умолчанию равно 1024, но вы можете увеличить допустимую длину для GROUP_CONCAT с помощью

SET SESSION group_concat_max_len = 102400 

или любой длины вы считаете необходимым (подробнее in the official docs)

Я используя это в сложных OUTER JOINs, которые создают много дочерних объектов/документов, и пока это работает очень хорошо.