загружать несколько таблиц в hdfs один раз с использованием sqoop

Question

Я хочу загрузить данные из нескольких таблиц в mysql в hdfs, имя таблиц как a_0_0, a_0_1, a_0_2.

Как cqan Я загружаю данные из этих таблиц в hdfs по одному с помощью Sqoop?

Могу ли я использовать UNION?

Answer 1

Существует много способов добиться этого.

1. , если вы хотите импортировать все таблицы в БД MySQL, вы можете использовать: import-all-tables - также вы можете использовать этот аргумент --exclude-tables <tables> - разделенных запятыми значений - исключить некоторую таблицу (ы) с impor-all-tables

2. если вы хотите импортировать некоторые данные из некоторых таблиц (значимые данные), вы можете использовать: Free-form Query Imports

3. если вы хотите импортировать несколько таблиц, вы можете прямо сценарий оболочки:

   #!/bin/sh 
   
   i=0 
   while [ ${i} -le 5 ] 
   do 
       echo "importing table a_0_${i}" 
       #here write your full sqoop command, this is just an example 
       #sqoop import --connect --table a_0_${i} 
       i=$((i + 1)) 
   done 
   

Теперь запустите сценарий оболочки: команда sqoop будет запускаться 6 раз в соответствии с логикой и импортировать 6 таблиц.

$ ./importAll.sh 
importing table a_0_0 
importing table a_0_1 
importing table a_0_2 
importing table a_0_3 
importing table a_0_4 
importing table a_0_5 

Примечание: вы должны изменить логику в сценарии оболочки в соответствии с вашими потребностями. Решения, которые я предлагаю, основаны на деталях, о которых идет речь.