Магазин колонн на вершине хаупа?

Question

Есть ли хранилище столбцов, подобное Vertica, которое построено поверх Hadoop. Я не говорю о HBase, так как он является редким хранилищем матриц и не может получить уровень сжатия, который может быть достигнут чем-то вроде Vertica?

Благодаря

Answer 1

Вы ищете что-то вроде RCFile? Это тип файла, который использует хранилище столбцов внутри.

Answer 2

Я не работал с Hadoop, но я знаю, что Vertica пытается интегрироваться с Hadoop.

http://www.vertica.com/the-analytics-platform/native-bi-etl-and-hadoop-mapreduce-integration/

Answer 3

файл_конфигурации является хорошим началом. RCFile хранит данные в макете PAX - столбцы в блоках, размер которых может быть размером с HDFS. В VLDB 2011 есть статья, описывающая другой формат хранения столбцов here и сообщение в блоге с коротким сравнением с RCFile here.

Answer 4

Посмотрите на Hadapt http://hadapt.com/

Это коммерческая версия HadoopDB http://db.cs.yale.edu/hadoopdb/hadoopdb.html разработан в Йельском университете. Он может работать с колонкой-ориентированной БД (которая устанавливается на каждом узле кластера компьютеров), в то время как Hadoop использует отказоустойчивое выполнение.