Воздушный поток HiveOperator не работает

Question

Я пытаюсь использовать улей оператора в воздушном потоке. У меня установлены все зависимости (pyhs2, pyhive и run pip flow flow [hive]).

Однако, когда я использую ниже код

t1 = HiveOperator(
    task_id='simple_query', 
    hql='select * from cities', 
    dag=dag) 

Я получаю эту ошибку. Я не уверен, что это значит

[2016-01-06 03:26:39,500] {models.py:1017} ERROR - [Errno 2] No such file or directory 
Traceback (most recent call last): 
    File "/usr/local/lib/python2.7/dist-packages/airflow/models.py", line 977, in run 
    result = task_copy.execute(context=context) 
    File "/usr/local/lib/python2.7/dist-packages/airflow/operators/hive_operator.py", line 65, in execute 
    self.hook.run_cli(hql=self.hql, schema=self.schema) 
    File "/usr/local/lib/python2.7/dist-packages/airflow/hooks/hive_hooks.py", line 110, in run_cli 
    cwd=tmp_dir) 
    File "/usr/lib/python2.7/subprocess.py", line 710, in __init__ 
    errread, errwrite) 
    File "/usr/lib/python2.7/subprocess.py", line 1327, in _execute_child 
    raise child_exception 
OSError: [Errno 2] No such file or directory 
[2016-01-06 03:26:39,512] {models.py:1053} ERROR - [Errno 2] No such file or directory 

Answer 1

Ответ IST довольно просто: параметр «HQL» должно быть имя файла, как myscript.hql, а не SQL-как строка для выполнения.

Answer 2

Эта ошибка возникает, когда интерфейс командной строки hive (CLI) недоступен в системном пути.

Answer 3

вам нужно импортировать операторы

from airflow import DAG 
from airflow.operators import HiveOperator 

также аннулирует ваши команды с точкой с запятой

hql='select * from cities;' 

Тогда вам нужно иметь Улей интерфейс CMD линия/клиент (например, БИЛАЙН) на пути , HiveOperator - обертка вокруг клиента куста.

Если у вас есть служба HiveServer2, работающая в вашей среде, вы можете проверить HiveServer2Operator.