Я пытаюсь создать плагин для хранения Hadoop (hdfs) и сверла Apache. На самом деле я в замешательстве, и я не знаю, что установить в качестве порта для hdfs: // connection и что установить для местоположения. Это мой плагин:Создание плагина для хранения на Apache Drill для HDFS
{
"type": "file",
"enabled": true,
"connection": "hdfs://localhost:54310",
"workspaces": {
"root": {
"location": "/",
"writable": false,
"defaultInputFormat": null
},
"tmp": {
"location": "/tmp",
"writable": true,
"defaultInputFormat": null
}
},
"formats": {
"psv": {
"type": "text",
"extensions": [
"tbl"
],
"delimiter": "|"
},
"csv": {
"type": "text",
"extensions": [
"csv"
],
"delimiter": ","
},
"tsv": {
"type": "text",
"extensions": [
"tsv"
],
"delimiter": "\t"
},
"parquet": {
"type": "parquet"
},
"json": {
"type": "json"
},
"avro": {
"type": "avro"
}
}
}
Итак, ти правильно установить LOCALHOST: 54310 потому, что я получил, что с помощью команды:
hdfs -getconf -nnRpcAddresses
или оно: 8020?
Второй вопрос, что мне нужно для определения местоположения? Моя папка Hadoop находится в:
/usr/local/hadoop
, и там вы можете найти/и т.д./bin/Lib/войти ... Так что, мне нужно установить местоположение на моем DataNode, или?
Третий вопрос. Когда я подключение к Дрели, я иду через sqlline и чем подключение на моем, как зоопарк:
!connect jdbc:drill:zk=localhost:2181
Мой вопроса здесь, после того, как я делаю плагин для хранения и при подключении к Дрели с гк, я могу запросить файл hdfs?
Мне очень жаль, если это вопрос о нобе, но я не нашел ничего полезного в интернете или, по крайней мере, это мне не помогло. Если вы в состоянии объяснить мне некоторые вещи, я буду очень благодарен.
Хм, тем временем я создал многоузловой кластер hadoop. Но я все еще не могу запросить папку hdfs. Я проверил свой * core-site.xml * и в связях: 'hdfs: // hasoop-master: 9000'. Я пошел в плагин apache drill * dfs * и в * соединении * написал точно такую же строку. Также я сделал папку в hdfs и назвал его ** паркет **. Когда я пытаюсь выполнить запрос из drill, это мой запрос: 'SELECT * FROM dfs. '/ Parquet/file.parquet';' и я получаю эту ошибку: * Ошибка запроса: ошибка PARSE: из строки 1 , столбец 21 - строка 1, столбец 23: таблица «dfs./file.parquet» не найдена [wq9u34jnj1223 на hadoop-master: 31010] –
@Superbrain_bug проверить последнюю строку моего ответа. Его 'символ не одинарной кавычки (') Теперь попробуйте:' '' SELECT * FROM dfs.'/паркет/файл.паркет'; '' ' –
Да, я использую его, я пропустил набранный текст, я вялый Кроме того, когда я пытаюсь использовать 'SHOW FILES' с конфигурацией hdfs: //, у меня есть такая ошибка: ** Ошибка завершена: System Error: Ошибка при обработке SQL. ** Но я могу переключать схемы. –