hdfs

0зной

1ответ

Как обновить данные таблицы hive после скопированных файлов orc с помощью hdfs в папку этой таблицы

После вставки файлов orc в папку таблицы с копией hdfs, как обновить данные таблицы hive, чтобы просмотреть эти данные при запросе с улей. С наилучшими пожеланиями.

0зной

2ответ

Как получить использование диска или размеры файлов в каталоге в файловой системе HDFS с помощью Scala

Я пытаюсь получить размер файлов в каталоге HDFS в Scala. Я могу сделать следующее в REPL: Seq("/usr/bin/hdfs", "dfs", "-du", "-s", "/tmp/test").! , но я не могу сохранить результат в значение. Как

1зной

1ответ

Функция Spark Udf с Dataframe во вводе

Мне нужно разработать скрипт Spark с python, который проверяет некоторые журналы и проверяет, изменил ли пользователь страну своего IP-адреса между двумя событиями. У меня есть файл CSV с IP-диапазона

5зной

1ответ

Как очистить таблицу в HBase

Я использую HBase (0.98 в клиенте с сервером как HBase 1.1.2) с базовым хранилищем данных как HDFS. Я попытался очистить таблицу, используя следующий код, и могу видеть данные, сброшенные в местополож

0зной

1ответ

springxd - невозможно десериализовать [имя_класса] Класс не найден

Я столкнулся с этой проблемой, сохраняя данные из ESB JMS Queue в HDFS в avro, используя springxd. Я создал пользовательский процессор для синтаксического анализа входящего XML из очереди JMS и преобр

0зной

1ответ

Прием "Исключение в потоке "основной" java.lang.NoSuchMethodError" исключение в HDP 2.3, отлично работает в CDH 4,7

Стек след: **Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.util.Shell.getGROUPS_COMMAND()[Ljava/lang/String**<br/> at org.apache.hadoop.security.UnixUserGroupInformat