hdfs

1зной

2ответ

У меня есть много структурированных данных, которые хранятся в очень значимом ключе, и я хочу обработать его в одинаковом смысле полный и эффективный способ. +- some-hdfs-path/ +- level-1_var-01/

0зной

2ответ

Не размер блока по умолчанию в размере HDFS минимального размера?

HDFS имеет размер блока по умолчанию, равный 60 МБ. Значит ли это, что минимальный размер файла в HDFS составляет 60 МБ ?. i.e, если мы создадим/скопируем файл размером менее 60 МБ (скажем, 5 байт), т

2зной

1ответ

Разрешение отказано в директории улей царапанию при попытке установить соединение с помощью улей потокового API

Я пишу пример программы с использованием HCatalogue Streaming API У меня работает Hadoop, Hiveserver и сервер Hivemetastore. Я пишу программу Java для подключения к улей metastore.The исходный код при

2зной

2ответ

Какой лучший модуль для взаимодействия с HDFS с Python3?

Я вижу, что есть hdfs3, snakebite и некоторые другие. Какой из них лучше всего поддерживается и всесторонне?

2зной

2ответ

Исправлена ошибка в режиме YARN

У меня есть программа Spark, написанная на Scala, которая считывает CSV-файл из HDFS, вычисляет новый столбец и сохраняет его как файл паркета. Я запускаю программу в кластере YARN. Но каждый раз, ког

0зной

1ответ

Хранение данных HDF в HDP

У нас есть два кластера. Один из них - это HDF-кластер, включая Nifi, а другой - HDP-кластер, включающий hdf, Hive - другие компоненты. Мы читаем данные из файла и хотим разместить их в hdp-кластере h

1зной

1ответ

FileSystem vs FileContext для файловых операций в hdfs/localFS?

Я использовал для работы с FileSystem, чтобы делать файловые операции в hdfs (и локальные FS для тестов). Недавно я столкнулся с необходимостью атомарного переименования и хотя FileSystem имеет overlo