Разница между простой Java-программой и программой Java MapReduce на таблице HBase

Question

Я новичок в Hadoop и Hbase. Я хотел знать разницу между написанием простой Java-программы и программой MapReduce (написанной в java), когда обе выполняют одну и ту же задачу по тем же данным в таблице HBase.

Я знаю, что Сценарии свиней и запросы на улей будут преобразованы в программу MapReduce и обработают данные на HDFS. Даже HBase хранит данные в Datanode. Итак, будет ли обычная java-программа преобразована в задачи mapper redcucer и обрабатывать данные из datanode в виде пакетного процесса или будет работать с данными линейно?

Пожалуйста, дайте мне знать, как простая Java-программа работает в таблице HBase для обработки данных? Спасибо заранее!

Answer 1

Я хотел бы знать разницу между написанием простой программы Java и программы MapReduce (написанной на Java), когда оба выполняют ту же задачу на один и те же данные в таблице HBase.

Hbase имеет много клиентов, из которых мы можем написать отдельный клиент Hbase с программой

• Java или MapReduce (написанный в Java) В общем небольшой клиент Java Hbase для небольших данных. которые не конвертируются в map-reduce. он будет работать как автономный клиент и не будет появляться через узлы кластера хауопа и предназначен для тестирования.

• Mapreduce предназначен для большого/огромного набора данных, который использует YARN &, делит задачу на все узлы на основе входных расщеплений (параллелизма). поэтому он работает быстрее, чем простая Java-программа.

как обычный Java или MapReduce программа использует тот же клиент API & hbase.zookeeper.quorum, но так, как это работает по-другому.

Как работает простая Java-программа в таблице HBase для обработки данных?

с помощью клиента API он подключается через (hbase.zookeeper.quorum зоопарка &) и будет взаимодействовать с Hbase столом. например, config см. ниже.

Configuration conf = HBaseConfiguration.create(); 
    conf.set("hbase.master","121.33.6.94:60000"); 
    Configuration config = HBaseConfiguration.create(); 
    config.set("hbase.zookeeper.quorum", "121.33.6.94"); 
    config.set("hbase.zookeeper.property.clientPort", "2181"); 
    config.set("hbase.master", "121.33.6.94:60000"); 
    config.set("zookeeper.znode.parent", "/hbase-unsecure"); 

Вы можете думать, что как улей взаимодействует с помощью jdbc api, но по-другому.