hdfs

0зной

2ответ

Hadoop, обрабатывая файл с помощью delimater, но различной длины

Я очень новичок в hadoop. Просто начал с куста, импала cdh5 на ubuntu 14.04. Формат Моих Дейтов, как A¦aa¦bb¦cc A¦bb¦cc¦ac¦dd¦ff¦fg B¦aa¦ac ... Первый столбец может быть ключом, но другая часть н

0зной

1ответ

Проблема с работой Oozie, работающей на Hadoop - Разрешения on/user/history/done_intermediate

Сначала немного фона. У меня есть тестовый CDH-кластер с двумя узлами. Я пытаюсь выполнить работу Oozie, загрузить файл, обработать его с помощью SPARK, а затем проиндексировать его в Solr. Кластер на

0зной

1ответ

Hadoop Exception java.lang.NoSuchMethodError при вызове hdfsOpenFile в hdfs C API

Во-первых, у меня был hasoop-2.7.2, построенный с использованием переменных mvn и среды, установленных правильно. Тогда я пытаюсь запустить простой пример на сайте Apache: C API libhdfs example code #

0зной

1ответ

Необходимость искры HDFS

Привет, может кто-нибудь объяснить мне, нужен ли Apache Spark Standalone для HDFS? Если требуется, чтобы Spark использовал размер блока HDFS во время выполнения приложения Spark. Я имею в виду, что я

0зной

1ответ

Hadoop - данные автоматически сбалансированы при копировании на HDFS?

Если я скопирую набор файлов в HDFS в кластере узлов Hadoop 7, HDFS позаботится о том, чтобы автоматически балансировать данные по 7 узлам, есть ли какой-либо способ, которым я могу сказать, что HDFS

0зной

1ответ

Репликация HDFS и распределение данных

У меня есть кластер Hadoop с 4 DataNodes. Я смущен между двумя проблемами: репликацией данных и распределением данных. Предположим, что у меня есть файл объемом 2 ГБ, а множитель - 2 & Размер блока -

2зной

2ответ

Распределенные альтернативы hadoop

У меня есть любопытный вопрос. Что такое распределенные и масштабируемые альтернативы hadoop. Я ищу некоторые распределенные файловые системы, такие как HDFS, которые могут быть использованы как дешев