Распространение для Platfora и Datameer

Question

Я заинтересован в установке аналитических инструментов Platfora и Datameer. Я сомневаюсь, что в документации обоих этих инструментов мы видим существующие дистрибутивы Hadoop, они дали список совместимости, включая CDH, HDP и MapR. Но я хотел установить их в существующем простом Hadoop. То есть Я установил Hadoop, загрузив компоненты Apache Hadoop один за другим и подготовил кластер.

Будут ли эти инструменты работать в этом случае?

Answer 1

Да, это работает. До тех пор, пока вы используете «последнюю стабильную» пряжу, HDFS и карту уменьшить версию - Datameer будет работать без каких-либо проблем. Все, что выходит за рамки этого, не имеет значения, поскольку Datameer не использует Hive, Oozie или какой-либо другой компонент, но приносит вещи, такие как tez, искру и т.д., предварительно упакованные в приложение, и запускает его прозрачно для вас на пряжу. На сегодняшний день мы поддерживаем 50 различных версий Hadoop.

Я, очевидно, не могу говорить для Platflora, но они вообще не запускаются на Hadoop, а просто вытаскивают данные из Hadoop в свою базу данных столбцов памяти, которая работает на дополнительном кластере: + дополнительное расширенное оборудование (память интенсивные) + структурированные данные только начиная с SQL (помните Hadoop был построен, как NO-SQL) + небольшие данные только (так как в памяти) + нет Продвинутая аналитика как графа аналитики, начиная с SQL на основе

НТН Стефан (я работаю at Datameer)

Answer 2

Вы можете установить Platfora используя простой Apac он Hadoop, выбирая HDP-дистрибутив Hortonworks - ядром дистрибутива HDP является простой Apache Hadoop. (Я работаю на Platfora. Мы поддерживаем множество разных дистрибутивов Hadoop, но большая часть нашего развития на самом деле выполняется с использованием простого Apache Hadoop).

Platfora использует ваш Hadoop-кластер не только для входных данных, но и для создания собственных заданий MapReduce и Apache Spark для обработки исходных, объемных, структурированных или полуструктурированных входных данных (JSON, XML, файлы журналов, CSV, Avro, данные из Hive, вывод других обрабатывающих конвейеров и библиотек, вы называете это). Это хорошо масштабируется, но с более высокими фреймами задержки, такими как MapReduce или Spark в вашем рабочем процессе, для каждого изменения в ваших аналитических вопросах дает вам много времени для обработки - это плохо для производительности. Именно поэтому Platfora обращается к этим промежуточным результатам с помощью распределенного, масштабируемого в режиме запросов в памяти, который поддерживает внешний интерфейс визуального обнаружения с низкой задержкой. Такой сквозной подход позволяет легко визуализировать и понимать шаблоны через ПБ данных с помощью интерактивного (субсекундного) визуального восприятия - похожего на Tableau, но родного для Hadoop, а также масштаб и сложность современных мульти- структурированные данные.