SnappyData определения таблицы с помощью раздела клавиш

Question

Чтение через документацию (http://snappydatainc.github.io/snappydata/streamingWithSQL/) и был вопрос об этом изделии:

«Сниженная перетасовки за счет совместного разделения: С SnappyData, ключ секционирования, используемый входной очереди (например, для источников Kafka), процессор потока и базовый магазин могут быть одинаковыми, что резко снижает необходимость перетасовки записей ».

Если мы используем Kafka и разделяем наши данные в теме, используя ключ (одно значение). Можно ли отобразить этот единственный ключ от kafka до нескольких ключей разделов, идентифицированных в мгновенной таблице?

Есть ли какой-то хэш, чтобы превратить несколько ключей в один ключ?

Преимущество уменьшения перетасовки кажется значительным и пытается понять лучшую практику здесь.

спасибо!

Answer 1

С потоком DirectKafka каждый раздел извлекает данные из определенной темы. Если для таблицы хранения не указано разбиение на разделы, каждый раздел DirectKafka будет помещаться только в локальные ведра хранения, а затем все будет хорошо выстраиваться, не требуя ничего лишнего. Единственное, что нужно позаботиться, - это достаточное количество тем (таким образом, разделов) для лучшего параллелизма - в идеале, по крайней мере, столько же, сколько общее число процессорных ядер в кластере, так что все ядра заняты.

При локальном разбиении таблиц хранилища содержимое магазина SnappyData было настроено так, чтобы использовать тот же хешинг, что и HashPartitioning Spark (для опции PARTITION_BY как таблиц столбцов, так и строк), так как это тот, который используется на уровне выполнения Catalyst SQL. Поэтому выполнение и хранение всегда связаны друг с другом. Однако при согласовании с перерывами из разделов DirectKafka потребуется некоторая ручная работа (выровняйте разделение разделов kafka с помощью HashPartitioning, а затем, если предпочтительные места для каждого раздела DirectKafka совпадают с хранилищем). Будет упрощено в следующих выпусках.