Поддержка Apache Solr для формата файла ORC

Question

У меня есть куча таблиц в Hive, хранящихся как ORC. Я хочу индексировать их данные в коллекции SolrCloud.

Есть ли поддержка для индексирования данных, хранящихся в формате ORC в Solr? Я искал googled, но ничего не вышло.

Answer 1

Похоже, вы хотите SolR для чтения данных из определенного формата файла Hive.

Вы можете посмотреть на проблему с другой способ т.е. использовать улей для записи данных в Solr - и, таким образом, пусть Hive заботиться о сложности фактического формата входного файла (будь ORC, паркет, AVRO, независимо - даже файлы данных HBase).

В LucidWorks GitHub repo вы найдете проект с пометкой hive-solr. Взгляни.

Answer 2

Я согласен с ответом Самсона.

В любом случае, я не полностью удовлетворен этим решением. Фактически, теперь мне все еще нужно создать внешнюю таблицу, вручную объявив все поля в исходной таблице. С точки зрения операций он не отличается от создания новой таблицы (сохраненного текстового файла объявлений), начиная с оригинальной, индексируя новые текстовые файлы и, наконец, отбрасывая их (конечно, это может быть проблемой для очень больших таблиц, что не мой случай).

Будучи ORC самоописывающимся форматом, было бы здорово, если Solr будет читать имена полей и данные непосредственно из сжатых файлов.