1
Можно ли вносить данные из индекса Lucene в Apache Spark, чтобы вычислить операции для целей отчетности?Инъективные данные из индекса Lucene в Apache Spark
A
ответ
2
Да, есть инструменты для чтения данных индекса Apache Solr в объекты Spark RDD, которые вы можете использовать в своих целях расчета и отчетности.
Вот ссылка на инструмент, который делает это: https://github.com/lucidworks/spark-solr
, что я понимаю, для этого мне нужно преобразовать мой существующий индекс Lucene в Solr индекса, то есть написать schema.xml в Solr для полей мой индекс lucene, а затем получить доступ к нему с помощью разъема spark-solr. Но на самом деле мой индекс lucene имеет большое количество полей, а также динамически добавляется. Поэтому я намерен сохранить свой индекс lucene как есть, а также для сообщения о цели поиска решение .. разумная искра была бы хорошим вариантом, поскольку позже она также может облегчить обучение машинам. Но не могу найти способ интегрировать ее с lucene .. – Sneha
Также данные в моем индексе lucene хранятся в форме ключа. – Sneha