Q1. Да и нет, да, количество запусков картографа на любом этапе зависит от количества входных расщеплений. Но нет никакой гарантии, что будет только один этап. Таким образом, общее количество счетчиков при выполнении любого запроса фактически зависит от самого запроса, который также отвечает на ваш 2 вопрос (Q2).
Давайте предположим, что у вас есть набор данных, который содержит население 50 стран в одном входе slpit, и вам нужно написать запрос, чтобы вы хотели, чтобы название стран имело 3, 4 и 5 крупнейших населения, но они должны появиться в обратном порядке, что означает, что сначала появится 5 наиболее населенных стран, а затем 4 и т. д. Теперь, когда вы пишете запрос для него в свинге, работа по сокращению карты может выполняться следующим образом, чтобы дать результат.
Первая работа по сокращению карты будет сортировать страны в порядке убывания, а затем сохранить результат. Теперь на первой карте уменьшите результат, запустите вторую карту, где она выберет 3, 4 и 5 наиболее населенных стран и сохранит ее. на результате второй карты уменьшилось, что она выполнила третью работу по сокращению карты и снова отсортировала их по желаемому порядку и отобразила окончательный результат. Основной отрыв от этого примера даже при том, что был один разделенный вход, но число запущенных карт было 3 , (Подход, который я должен был предпринять для решения этого примера, очень наивна, и есть возможные способы выполнения всех этих задач на одной карте, уменьшающей работу, и я уверен, что такой запрос у свиньи займет одно задание на MR, но здесь нужно получить перспектива о том, как может выполняться запрос свиньи, поэтому я запустил 3 карты, уменьшаю работу.)
Q3 и Q4 также имеют аналогичный ответ, такой как 1 и 2 все зависит от вашего запроса. Если вы не определили какое-то ограничение для объединителя в явном виде.
Но я уверен, что программы для сокращения карт, написанные разработчиками, оптимизированы таким образом, что они потребляют наименьшие ресурсы.