В Tez paper из Саа и др следующим модульная архитектура Hadoop 2 с Tez показано:Зачем кому-то запускать Spark/Flink на Tez? .
Почему бы кто-то запустить Спарк/Flink на Tez?
В чем преимущества? Лучше использовать YARN?
Если я правильно понимаю, искра на тезе теоретически может привести к лучшей лучшей DAG. Например, это может быть применено к итерациям машинного обучения.
Соответствующий параграф представлен ниже.
Мы смогли закодировать после компиляции Спарк DAG в Tez DAG и запустить его успешно в ПРЯЖИ кластера, который был не работает служба Спарк двигателя. Определенный пользователем код искры: сериализуется в полезную нагрузку процессора Tez и вводится в общий Процессор Spark, который десериализует и выполняет код пользователя. Этот позволяет запускать немодифицированные программы Spark на YARN, используя собственные операторы Spark's ... Сеансы Tez также позволяют запускать итерации для обучения машин Spark для эффективной работы, отправив DAG на каждую итерацию на общий сеанс Tez . Эта работа представляет собой экспериментальный прототип и не является частью Спарк проекта
Это, как говорится, по-видимому, что эта комбинация никогда не была реализована за пределами экспериментальной установки, так что даже если есть достойные причины для объединения Tez с инструментами например, Spark, который не собирается помогать никаким проектам на данный момент.
Кроме того, мое личное ожидание заключается в том, что, если у вас нет особых рабочих нагрузок, я был бы удивлен, если бы Tez DAG значительно превосходил нормальный DAG Spark.
Вы пытались связаться с авторами напрямую? –