input-split

1зной

2ответ

Входной бит и блок в hadoop

У меня размер файла 100 МБ, а размер блока по умолчанию - 64 МБ. Если я не задаю размер разделенного входа, размер разделения по умолчанию будет размером блока. Теперь размер разделения также составля

hadoop mapreduce hadoop2 input-split bigdata 2016-05-06

---

2зной

3ответ

Входной сигнал Hadoop для сжатого блока

Если у меня есть сжатый файл размером 1 ГБ, который является разделяемым, и по умолчанию размер блока и размер входного разделения составляют 128 МБ, тогда есть 8 блоков и 8 разделенных входных данных

hadoop input-split 2015-10-25

---

1зной

1ответ

Разделяют ли расколы, такие как FileSplit в Haddop, блоки?

Первый вопрос: Я хочу знать, будут ли сплиты менять блоки любыми способами (т. Е. Изменить размер, переместить блок в другое место, создать новые блоки, ...). Второй вопрос: Я думаю, шпагат не меняет

hadoop input-split 2016-11-27

---

0зной

1ответ

Входные разрывы в Hadoop

Если размер входного файла составляет 200 МБ, то будет 4 блока/входные расщепления, но на каждом узле данных будет работать с ним. Если все 4 входных разделения находятся в одном узле данных, будет вы

hadoop input-split 2016-02-11

---

4зной

2ответ

Hadoop MapReduce Реализация RecordReader необходима?

Из док Apache на Hadoop MapReduce InputFormat Интерфейс: "[L] ogical расщепляется на основе входного размера недостаточно для многих приложений, так как запись границы должны соблюдаться В таких случа

java hadoop mapreduce input-split recordreader 2015-08-06

---

0зной

1ответ

Mapper, не выполняющийся на имени хоста, возвращаемого из getLocations() из InputSplit в Hadoop

Я расширил класс Hadoop InputSplit, чтобы рассчитать свой собственный разделитель входных данных, однако при возвращении определенного HostIP (то есть IP-адреса данных) в качестве строки для переопред

hadoop mapreduce yarn hadoop2 input-split 2015-09-27

---

0зной

1ответ

hadoop - как будет вводиться форма разбиения, если файл имеет только одну запись, а размер файла больше размера блока?

пример, чтобы объяснить вопрос - У меня есть файл размером 500MB (input.csv) файл содержит только одну строку (запись) в нем так, как файл будет храниться в блоках HDFS и как будут вычисляться входные

hadoop mapreduce hdfs input-split 2016-03-02

---

0зной

2ответ

Число входных разрывов равно числу индикаторов?

Я обрабатываю один файл с картой, уменьшая размер файла 1 Гб, а размер блока по умолчанию в HDFS составляет 64 МБ, поэтому для этого примера, сколько входных расщеплений есть и сколько карт существует

hadoop mapreduce hdfs mapper input-split 2015-10-07

---