hdfs

0зной

1ответ

Как записывать данные в реальном времени в HDFS с помощью Avro/Parquet?

У меня есть следующая работа в модульном тесте для записи одного объекта в Avro/Parquet в файл в кластере Cloudera/HDFS. При этом, учитывая, что Parquet является столбчатым форматом, кажется, что он м

0зной

1ответ

присоединиться к двум файлам данных в HDFS с помощью Spark?

У меня есть два набора данных, которые уже разделены с использованием одного и того же разделителя и хранятся в HDFS. Эти наборы данных выводятся из двух разных заданий Spark, которые мы не контролиру

-2зной

2ответ

Предположим, у меня есть 10 миллинов файлов, размер которых составляет 2 КБ, поэтому я могу хранить его в hdfs?

Мне задали вопрос Предположим, у меня есть 10 миллионов файлов размером 2 КБ, поэтому я могу сохранить его в hdfs? любезно ответьте на этот вопрос.

-1зной

1ответ

Отображение папок в HDFS

Есть ли возможность отображать только каталоги или папки, а не файлы в HDFS? потому что hasoop fs -ls отображает все в hdfs, в том числе файлы и каталоги. Фактически, работая с C#, используя dll Micro

0зной

1ответ

ДАННЫЕ ИНГИСТРАЦИЯ С ИСПОЛЬЗОВАНИЕМ SQOOP

Мне нужно записать CSV-файл в HDFS с помощью Sqoop. Проблема в том, что я использую ',' (запятую) в качестве разделителя, а мои данные также имеют столбец с ',' s. который создает проблему синтаксичес

1зной

2ответ

HDFS vs HBASE: Какой из них лучше работает на миллионах небольших текстовых файлов?

Если у нас есть миллионы небольших текстовых файлов размером от нескольких килобайт до нескольких МБ, какой из HDFS и HBASE занимает меньше времени обработки? А также меньше потребления памяти?

1зной

1ответ

Пряжа Автоматически убивает все вакансии ровно через 1 час без ошибок

Наша пряжа убивает все выполняемые работы через ровно 1 час. Не имеет значения, если это искра или работа Sqoop (mapreduce). Ищет предложения по потенциальной причине. Мы используем распределение хаос

1зной

1ответ

Какая информация Namenode хранится на жестком диске и в памяти?

Я пытаюсь понять Namenode, и я ссылался на онлайн-материал и ссылался на книгу Hadoop: The definitive guide. Я понимаю, что Namenode имеет такую концепцию, как «edit logs», «fsimage», и я могу видет