Различия между Hadoop-common, Hadoop-core и Hadoop-клиентом?

Question

Я новее для Hadoop, и хотите знать, что различия между Hadoop-распространенным, Hadoop-жильный и Hadoop-клиент?

Кстати, для данного класса, как узнать, какой артефакт содержит его в Maven? Например, какой из них содержит org.apache.hadoop.io.Text?

Answer 1

Чтобы создать приложение для сокращения масштаба Hadoop, вам потребуется только клиентская зависимость hadoop. (Используйте новый API). Зависимости, такие как hadoop-hdfs, hasoop-common, hadoop-clientapp, hadoop-yarn-api, устранены из этого.

Answer 2

Чтобы предоставить некоторые дополнительные подробности о различиях между Hadoop-общем, Hadoop-ядром и Hadoop-клиентом, с точки зрения высокого уровня:

• Hadoop-распространенные относится к наиболее часто используемым утилитам и библиотекам которые поддерживают модули Hadoop.
• Hadoop-core - это то же самое, что и Hadoop-common; Он был переименован в Hadoop-common в июле 2009 года, за https://hadoop.apache.org/.
• Hadoop-клиент относится к клиентским библиотекам, используемым для связи с общими компонентами Hadoop (HDFS, MapReduce, YARN), включая, но не ограничиваясь, журналы и кодеки, например.

Вообще говоря, для разработчиков, которые создают приложения, которые отправляют YARN, выполняют задание MR или получают доступ к файлам из HDFS, используют библиотеки Hadoop-client.

Answer 3

От techopedia

Hadoop Common относится к набору общих утилит и библиотек, которые поддерживают другие модули Hadoop. Это важная часть или модуль Apache Hadoop Framework, наряду с распределенной файловой системой Hadoop (HDFS), Hadoop YARN и Hadoop MapReduce.

Как и все другие модули, Hadoop Common предполагает, что сбои аппаратного обеспечения являются общими и что они должны быть автоматически обрабатываются в программном обеспечении с помощью Hadoop Framework.

Hadoop Common также известен как Hadoop Core.

Hadoop Client libraries помогает загружать данные в кластер, отправлять карту. Уменьшить количество заданий, описывающих, как эти данные должны обрабатываться, а затем извлекать или просматривать результаты задания после его завершения. Посмотрите на это article

Эта ссылка Apache содержит список зависимостей библиотеки клиентов Hadoop.