Spark SQL, Spark Streaming, Solr, Impala, правильный инструмент для запроса «как + перекресток»

Question

Давайте рассмотрим пример камеры трафика. Скажем, у меня есть огромный набор данных с записями камеры движения, которые выглядят так: plate_no | camera_id | город | местоположение | направление | временная метка | и т.д. | и т.д.

Я хотел бы получить результаты удовлетворяют всем из следующих параметров:

1. место как '% George Street'
2. 1 окт < < метки времени 3 октября
3. 4 октября < метки времени < 5 октября
4. 15 октября < < отметка времени 20 октября

Подход, который мы принимаем сейчас, - это индексировать данные в SolrCloud, затем получить три набора результатов, например 1 & 2, 1 & 3, 1 & 4, а затем использовать SparkSQL для загрузки их как RDD. в конце используйте Spark для пересечения трех наборов результатов. Наконец, вы получаете автомобили, которые появились вокруг улицы Джорджа в октябре, 4-5 октября и 20 октября. Но производительность не идеальна, для Spark SQL требуется много времени, чтобы запросить Solr и сформировать RDD. Мы тестировали только около 0,5 миллиарда записей, таких запросов стоит 1-2 минуты ~. Когда мы увеличиваем набор данных, ухудшается ситуация. Мы ищем что-то около 30 секунд ~.

Просто интересно, какой был бы подходящий инструмент для этой задачи или есть ли лучший подход, чем этот.

Answer 1

Наконец, мы нашли разумное решение для этого, мы разместили нашу таблицу улья в формате «Паркет + Снайпер», затем мы просто использовали SparkSQL для запроса по разному периоду времени и выборки разных наборов результатов, например 1 & 2, 1 & 3, 1 & 4. В конце мы сделали «пересечение» на наборах результатов.

В этом случае мы полностью катались на Solr. В конце звучание звучит довольно громко.

например. SparkSQL поддерживает как запрос, intesect