MLCP Bulk Loading

Question

У меня есть почти 10000 XML (небольших) файлов, и я помещаю их в MarkLogic через MLCP. Во время проглатывания я делаю некоторую трансформацию, а главное при трансформации - обновление словаря. Я обновляю словарь из ввода элементов XML.

Я получаю предупреждение. В чем смысл и причина этого предупреждения?

WARN mapreduce.ContentWriter: XDMP-XDQPNOSESSION 

МЛКП очень медленно документирует документ. Я думаю, это из-за обновления словаря. Есть ли способ, с помощью которого я могу улучшить память кучи памяти MLCP или любой другой метод, с помощью которого я могу быстро загрузить этот документ на сервере ML.

Просьба предложить.

Answer 1

Документация для XDMP-XDQPNOSESSION относится к ошибке, затрагивающей MarkLogic 5.0-2 и до и 4.2-9 и ранее. Если вы используете одну из этих версий, похоже, что исправление заключается в том, чтобы обновить их.

Вы упомянули обновление словаря на основе элементов XML. MLCP делает хорошую работу по распараллеливанию ввода, но для каждого входного документа вы захватываете блокировку записи в документе Dictionary. Не уверен, что вы хотите сделать с помощью Словаря, но, возможно, вы могли бы использовать лексикон слов. Это будет автоматически обновляться по мере ввода документов без необходимости блокировки записи в одном файле.