Как указать несколько условий в sqoop?

Question

версия Sqoop: 1.4.6.2.3.4.0-3485

Я пытался импортировать данные с помощью sqoop с помощью следующей команды:

sqoop import -libjars /usr/local/bfm/lib/java/jConnect-6/6.0.0/jconn3-6.0.0.jar --connect jdbc:sybase:db --username user --password 'pwd' --driver com.sybase.jdbc3.jdbc.SybDriver --query 'SELECT a.* from table1 a,table2 b where b.run_group=a.run_group and a.date<"7/22/2016" AND $CONDITIONS' --target-dir /user/user/a/ --verbose --hive-import --hive-table default.temp_a --split-by id 

Я получаю следующее сообщение об ошибке:

Invalid column name '7/22/2016' 

Я попытался ограждающим запрос в двойных кавычках, но потом он говорит:

CONDITIONS: Undefined variable. 

Пробовал несколько комбинаций одиночных/двойных кавычек и избежал $ УСЛОВИЙ и с помощью переключателя --where.

PS: Условия не являются числовыми. (Он работает в тех случаях, как, где х < 10 или около того, но не в случае, когда это строка или дата)

Answer 1

В вашей команде --split-by=id должен быть --split-by=a.id, я хотел бы использовать join вместо добавления дополнительных where состояние, и я бы преобразовать дату (указанное значение строки) VARCHR (с использованием Sybase конкретной функции)

sqoop import -libjars /usr/local/bfm/lib/java/jConnect-6/6.0.0/jconn3-6.0.0.jar \ 
--connect jdbc:sybase:db \ 
--username user \ 
--password 'pwd' \ 
--driver com.sybase.jdbc3.jdbc.SybDriver \ 
--query "SELECT a.* from table1 a join table2 b on a.id=b.id where a.run_group=b.run_group and convert(varchar, a.date, 101) < '7/22/2016' AND \$CONDITIONS" \ 
--target-dir /user/user/a/ \ 
--verbose \ 
--hive-import \ 
--hive-table default.temp_a \ 
--split-by a.id 

Answer 2

обходной путь, который может быть использован: -options-файл

Скопируйте запрос в файле опций и используйте переключатель.

Файл параметров может быть:

--query 
select * \ 
from table t1 \ 
where t1.field="text" \ 
and t1.value="value" \ 
and $CONDITIONS 

Примечание: Не уверен, что если бы это была конкретная версия проблема или нет, но --query непосредственно в команде просто отказался работать с $ УСЛОВИЯ. (Да, я пытался избежать этого с помощью \ и нескольких других комбинаций котировок)