2017-02-07 20 views
0

Я индексирую текстовый документ с использованием Flume, я не вижу никаких сообщений об ошибке или предупреждении, но данные не попадают на уровень Solr Log для обоих Solr и Flume. в TRACE, ВСЕFlume solrSink, нет ошибки, но не глотает данные в Solr

Flume version : 1.5.2.2.3 
Solr Version : 5.5 

**Config files are as below** 

    **Flume Config :** 

agent.sources = SpoolDirSrc 
agent.channels = FileChannel 
agent.sinks = SolrSink 

# Configure Source 
agent.sources.SpoolDirSrc.channels = fileChannel agent.sources.SpoolDirSrc.type = spooldir 

agent.sources.SpoolDirSrc.spoolDir =/дом/желобе/source_emails agent.sources.SpoolDirSrc.basenameHeader = истина agent.sources.SpoolDirSrc.fileHeader = истина agent.sources.SpoolDirSrc. deserializer = org.apache.flume.sink.solr.morphline.BlobDeserializer $ Builder agent.channels.FileChannel.type = file agent.channels.FileChannel.capacity = 10000 agent.sinks.SolrSink.type = o rg.apache.flume.sink.solr.morphline.MorphlineSolrSink agent.sinks.SolrSink.morphlineFile = /etc/flume/conf/morphline.conf agent.sinks.SolrSink.batchsize = 1000 agent.sinks.SolrSink.batchDurationMillis = 2500 agent.sinks.SolrSink.channel = FileChannel agent.sinks.SolrSink.morphlineId = morphline1 agent.sources.SpoolDirSrc.channels = FileChannel agent.sinks.SolrSink.channel = FileChannel

"
Morphline Config

solrLocator: { 
collection : gsearch 

zkHost : "codesolr-as-r3p:21810,codesolr-as-r3p:21811,codesolr-as-r3p:21812" 
} 
morphlines : 
[ 
    { 
    id : morphline1 
    importCommands : ["org.kitesdk.**", "org.apache.solr.**"] 
    commands : 
    [ 
     { detectMimeType { includeDefaultMimeTypes : true } } 
     { 
     solrCell { 
      solrLocator : ${solrLocator} 
      captureAttr : true 
      lowernames : true 
      capture : [_attachment_body, _attachment_mimetype, basename, content, content_encoding, content_type, file, meta] 
      parsers : [ { parser : org.apache.tika.parser.txt.TXTParser } ] 
     } 
     } 
     { generateUUID { field : id } } 
     { sanitizeUnknownSolrFields { solrLocator : ${solrLocator} } } 
     { logDebug { format : "output record: {}", args : ["@{}"] } } 
     { loadSolr: { solrLocator : ${solrLocator} } } 
    ] 
    } 
] 

Please help me what could be the issue 
Regards, 
~Sri 

ответ

0

Обычно в журналах с ломом вы можете более подробно узнать о своей ошибке, вы можете вставить трассировку?

Может быть morphilines оленьей кожи найти конфигурацию Solr, вы можете добавить это свойство в вашем morphilines.conf

solrHomeDir: "/ your_solr_config_files"

Я надеюсь, что ваша помощь

 Смежные вопросы

  • Нет связанных вопросов^_^