Что означает Sqoop 2, что Sqoop 1 не поддерживает?

Question

Согласно sqoop.apache.org, Sqoop 2 не является полным и не должен использоваться для производственных систем. Достаточно справедливо, некоторые люди могут захотеть проверить новые функции Sqoop 2 на своих тестовых средах.

У Cloudera есть сравнение характеристик между Sqoop 1 и Sqoop 2 (https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html), но в соответствии со страницей нет ничего, что Sqoop 2 обеспечивает, что Sqoop 1 также не предоставляет.

Так зачем же использовать Sqoop 2 в его текущей форме? Предоставляет ли он какие-либо преимущества перед Sqoop 1? Если нет, то почему он доступен для использования? Заранее спасибо!

Answer 1

Некоторые из функций, ожидаемых в стабильном выпуске Sqoop2:

1. Простой в использовании графический интерфейс, который был бы в дополнение к существующей командной строке.
2. Исправления безопасности, такие как открытые общие пароли, подлежащие исправлению
3. Простая отладка с лучшим протоколированием.
4. Предоставление поддержки разъемам, которые не соответствуют модели JDBC.

В настоящее время нет стабильных выпусков sqoop 2. Но вы можете построить последний проект для тестирования продукта и совершить открытый проект (если это интересно).

---

См:

Sqoop2 proposal

Features and releases

Answer 2

Apache Sqoop использует клиентскую модель, где пользователь должен установить Sqoop вместе с разъемами/драйверами на клиенте. Sqoop2 использует основанную на сервисе модель, где разъемы/драйверы установлены на сервере Sqoop2. Кроме того, все конфигурации должны быть выполнены на сервере Sqoop2.

С другой стороны, еще одно отличие заключается в том, что Sqoop отправляет задание Map only, тогда как Sqoop2 отправляет задание MapReduce, где Mappers будут переносить данные из источника, в то время как редукторы будут преобразовывать данные в соответствии с указанным источником , Это обеспечивает чистую абстракцию. В Sqoop как транспортировка, так и преобразования были предоставлены только Mappers.

Еще одно существенное отличие в Sqoop2 - с точки зрения безопасности. Администратор будет устанавливать соединения с источником и целями, в то время как пользователь-оператор использует уже установленные соединения, поэтому пользователю-пользователю не нужно знать подробности о соединениях. При этом операторы получат доступ только к некоторым разъемам.

Answer 3

Так же, как быстрое примечание:

Согласно Cloudera (по состоянию на ноябрь 2017 года)

Нет te: Sqoop 2 устарел. Cloudera рекомендует использовать Sqoop 1.