Я хочу читать данные из таблицы Hbase, используя команду get, в то время как у меня есть также ключ строки. Я хочу сделать это в приложении Spark streaming, есть ли какой-либо источник код, который может поделиться?Чтение данных из Hbase с помощью команды Get в Spark
Вы можете использовать Spark newAPIHadoopRDD для чтения таблицы Hbase, которая возвращает и RDD.
Например:
val sparkConf = new SparkConf().setAppName("Hbase").setMaster("local")
val sc = new SparkContext(sparkConf)
val conf = HBaseConfiguration.create()
val tableName = "table"
conf.set("hbase.master", "localhost:60000")
conf.set("hbase.zookeeper.quorum", "localhost:2181")
conf.set("zookeeper.znode.parent", "/hbase-unsecure")
conf.set(TableInputFormat.INPUT_TABLE, tableName)
val rdd = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
println("Number of Records found : " + rdd.count())
sc.stop()
Или вы можете использовать любой Спарк Hbase разъем как разъем Hortonworks Hbase.
https://github.com/hortonworks-spark/shc
Вы также можете использовать искровую Phoenix API.
Я не думаю, что вы можете использовать Спарк потокового для этого. Но вы можете прочитать таблицу Hbase, используя Spark newHadoopAPI, которая возвращает RDD или использует любой коннектор, такой как HortonWorks Hbase, который возвращает DataFrame или использует Phoenix Spark API. – Shankar