2016-12-19 10 views
0

Я пытаюсь сохранить данные из Spark в HBase, используя saveHadoopDataSet API. Пожалуйста, ознакомьтесь с приведенным ниже кодом. Код работает нормально. Но таблица хранится в пространстве имен по умолчанию. Как я могу установить пространство имен в приведенном ниже коде, чтобы таблица была сохранена в желаемом пространстве имен, а не по умолчанию.Настройка NameSpace при сохранении из Spark в HBase с использованием saveAsNewAPIHadoopDataSet

wordCounts.foreachRDD (rdd => { 
val conf = HBaseConfiguration.create() 
conf.set(TableOutputFormat.OUTPUT_TABLE, "stream_count") 
conf.set("hbase.zookeeper.quorum", "localhost:2181") 
conf.set("hbase.master", "localhost:60000"); 
conf.set("hbase.rootdir", "file:///tmp/hbase") 

val jobConf = new Configuration(conf) 
jobConf.set("mapreduce.job.output.key.class", classOf[Text].getName) 
jobConf.set("mapreduce.job.output.value.class", classOf[LongWritable].getName) 
jobConf.set("mapreduce.outputformat.class", classOf[TableOutputFormat[Text]].getName) 

rdd.saveAsNewAPIHadoopDataset(jobConf) }) 

ответ

0

Получил ответ из списка рассылки.

Replace <output_table_name> with "<namespace>:<output_table_name>" 

 Смежные вопросы

  • Нет связанных вопросов^_^