Как Dremel или его реализация (скажем, Drill) обрабатывают большой столбчатый формат данных в памяти?

Question

Я просматриваю white paper Google Dremel. Я узнал, что он преобразует сложные данные в столбчатый макет данных.

В каком месте хранятся эти данные?

Поскольку у него нет центрального хранилища метаданных. Итак, это должно быть в памяти.

Как он обрабатывает эти данные, когда у меня есть миллиарды строк?

Answer 1

Чтобы получить согласованный запрос из миллиардов строк, вы будете использовать распределенную файловую систему, подключенную к нескольким Drillbits, смоделировать распределенную файловую систему, скопировав файлы на каждый узел или использовать том NFS, например Amazon Эластичная файловая система. Сверло выполняет выполнение запросов больших данных с использованием ряда методов, в том числе:

• Опирается на узлы кластера для обработки сбоев (не тратит время на задачи, связанные с отказом).
• Использует модель данных в памяти, которая является иерархической и столбчатой ​​(не имеет доступа к диску для столбцов, которые не участвуют в аналитическом запросе, обрабатывая столбчатые данные без материализации строки).
• Использует оптимизацию и выполнение хранилища в столбце (сохраняет снимок памяти на низком уровне).
• Использование векторизации для работы с массивами значений из разных записей, а не с одиночными значениями из одной записи за раз.

Для получения дополнительной информации см. http://drill.apache.org/docs/performance/.