PDI работы не рассматривается в качестве рабочих мест MapReduce в диспетчере ресурсов или сервера История Работа

Question

Я использую Pentaho 5.4 и EMR 3.4

Когда я выполнить преобразование в Pentaho для копирования данных из БД Oracle в HDFS на ЭМИ, я не» не видны какие-либо задания MR в диспетчере ресурсов кластера Hadoop (EMR).

Должен ли я видеть их в качестве рабочих мест в MR или пентахо, просто копируя, не создавая никаких заданий на MR ..?

Когда пентахо использует Mapreduce для обработки данных?

Answer 1

Не уверен, что если вы поняли это уже, но вам нужно будет использовать компонент Pentaho MapReduce в вашем KJB: Pentaho MapReduce

Вы можете определить Mapper объединитель и преобразование Концентрического, а также NamedCluster (XML), в которой вы должны указать хост, порт и т. Д. JobTracker. Что делает Pentaho, это копировать его движок в каждый узел вашего кластера (по умолчанию в/opt/pentaho /) и отправлять задания в качестве пользователя, указанного вами в Spoon, а затем вы сможете увидеть их в истории заданий.

В вашем сценарии это звучит так, будто вы используете соединение с БД, а также другой компонент, который можно использовать для вывода HDFS-файла.