Apache Hive Vs Normal Map Уменьшить

Question

У меня был странный опыт при запуске запроса на улей (простое количество записей во внешней таблице) вдоль боковой карты (программа подсчета слов). Сначала началось сокращение карты wordcount, запрос на улей начался второй. Вопрос о кустах был каким-то быстрым, и моя первая карта уменьшилась. Есть ли случай, когда карта Hive уменьшает блокировку всех остальных сокращений карты?

Прошу вас, чтобы добавить ваше мнение по этому вопросу.

Answer 1

Я предполагаю, что это не всегда так. Улей не блокирует какие-либо другие задания в кластере. Нагрузка кластера и латентность сети могут повлиять на то, какая работа заканчивается в первую очередь. Если вы пытаетесь сравнить два задания, чтобы узнать, какой из них быстрее, отправьте их в одно и то же время и проведите тест не менее 5-10 раз и учитывайте среднее время.

Answer 2

Порядок заполнения заданий зависит от количества карт и сокращает задачи, заданные заданием, а также конфигурацию планировщика кластера.

Если задание запрашивает ряд задач сокращения, которые больше, чем у кластера, другие задания вынуждены ждать завершения задачи редуктора. Затем планировщик может назначить свободный слот сокращения для задания ожидания (опять же, в зависимости от конфигурации планировщика).