hdfs

0зной

1ответ

Копирование таблицы управления улей путем копирования каталогов разделов на склад

У меня есть существующая таблица в квадратных скобках, которая содержит YEAR, MONTH, DAY, но я хочу добавить дополнительное разбиение на , столбец, который не существует в существующей таблице. Это до

2зной

1ответ

Можем ли мы заархивировать каталог в hdfs?

Я думал, можно ли почерпнуть каталог на hdfs, а затем привести его в локальную систему. Есть ли способ сделать это? Любая помощь будет оценена по достоинству. спасибо.

1зной

1ответ

Каков наилучший способ загрузки данных в Hive с использованием NiFi?

Я начал работать с NiFi. Я использую прецедент для загрузки данных в Hive. Я получаю CSV-файл, а затем я использую SplitText, чтобы разбить входящий поток-файл на несколько потоков файлов (поделить за

1зной

1ответ

Как скопировать файлы HDFS из одного кластера в другой кластер, сохранив время модификации

Мне нужно переместить некоторые файлы HDFS из моего производственного кластера в dev-кластер. Я должен проверить некоторые операции над файлами HDFS после перехода в dev-кластер на основе времени изме

2зной

1ответ

Impala не может упасть внешнюю таблицу

я создаю внешнюю таблицу с неправильно (не существует) путь: create external table IF NOT EXISTS ds_user_id_csv ( type string, imei string, imsi string, idfa string, msisdn st

1зной

1ответ

Запись и добавление данных Spark streaming в текстовый файл в HDFS

Я создаю код искровой scala, в котором я читаю непрерывный поток с сервера MQTT. Я выполняю свою работу в режиме кластеров пряжи. Я хочу сохранить и добавить этот поток в один текстовый файл в HDFS. Ч

0зной

1ответ

Хорошая практика для определения hive.metastore.warehouse.dir: local fs или HDFS?

Я устанавливаю Hive, и я должен решить этот параметр hive.metastore.warehouse.dir в hive-site.xml. Я установил Hadoop как один узел, и мой вопрос здесь о том, какой вариант лучше установить этот парам

0зной

1ответ

копирование из hdfs на удаленную машину

Привет Я выполняю эту команду на одном из конечных узлов кластера хаопов. Я хочу скопировать данные из hdfs на удаленный компьютер. Я не могу хранить его локально из-за ограниченной дисковой квоты на

2зной

1ответ

добавление datanode hdfs в скопище искры/hadoop

У меня есть искровой кластер с 1 ведущим и 2 узлами (рабочий + датанод). Я хочу добавить еще один datanode. проблема, когда я делаю hdfs dfs -setrep -R -w 2, результат: 1st datanode -> DFS Used%: 75.6