Разница между данными Aster и Hadoop/Hive

Question

Все компоненты в Aster Data, похоже, имеют аналогичный компонент в стеке Hadoop.

АФС => HDFS

SQL-MR => Улей

АМС => Ambari

АКТ => билайн/улей терминал

Postgres для хранения метаданных => Улей может быть сконфигурированный для хранения метаданных в любой СУБД

Queen/Worker => NameNode/Datanode

SQL-GR => Giraph

Помимо предоставления пакета готовых функций, есть ли что-либо, что поразительно отличается и недоступно в Hadoop?

Answer 1

Ваш вопрос не плох, это неправильно. Вероятно, со стороны Hadoop вы сделали вопрос, используя архитектуру Hadoop, которая представляет собой сборку многослойных и/или интегрированных несколько независимых компонентов, каждая со своей функциональной спецификацией, конфигурацией и средой исполнения и т. Д.

Почему это неправильно? Потому что вы не будете задавать один и тот же вопрос при сравнении баз данных Hadoop и Oracle или SAP, верно?

Да, каждый экземпляр на стороне Aster соответствует предложению стека Hadoop - разница в Aster отсутствует, такой стек (по крайней мере, начиная с 6.x). Aster - это база данных и аналитический механизм, соответствующий функциям стека Hadoop, но не компонентам.

Например, ACT - это утилита командной строки, аналогичная SQL * Plus для Oracle, работающая по интерфейсу клиент/сервер. Это не что иное, как инфраструктура Hive на вершине Hadoop. Файловая система Aster поставляется в виде сложного функционального слоя с плагинами, интегрированного в программное обеспечение Aster, а не как независимую инфраструктуру и программное обеспечение, которые являются HDFS и Hadoop.

Самое яркое различие касается аналитического механизма Aster, состоящего из SQL, SQL/MR и SQL/GR. Это означает, что функциональные или операционные промежутки между хранилищем данных и его операторами (операторы SQL - функции SQL/MR или SQL/GR), работающие в хранилище данных, - они живут в одной среде (конфигурация, выполнение, обслуживание, поддержка). Например, столбчатые и строчные таблицы полностью прозрачны для любой выполняемой ими операции (ограничения запрета определены априорно и по дизайну).

Итак, ваша аналогия объясняет сторону Hadoop уравнения, не давая должным образом из-за Aster.

Answer 2

Я думаю, что вы без лишних усилий пошли на скупость. Вопрос был в концептуальных терминах. Скажите Netezza и Teradata MPP. В базовой концепции они одинаковы, и они выполняют одну и ту же работу, но они представляют собой две различные физические реализации с их собственным алгоритмом, хранением, индексами и т. Д.

На очень высоком уровне Улива и Астра имеют сходство, так как они оба запускают карту уменьшить на распределенном хранилище.

Единственная разница на очень высоком уровне заключается в том, что на очень высоком уровне Aster может запускать типичный запрос RDMS, а также скрытую карту, где Hive - только уменьшение карты.