sequencefile

1зной

1ответ

Spark RDD take() с файлом последовательности

Похоже, что RDD.take() просто повторяет последний элемент, прочитанный при поддержке SequenceFile. Например: val rdd = sc.sequenceFile("records.seq", classOf[LongWritable], classOf[RecordWritable]) v

1зной

1ответ

Как загрузить данные из HDFS sequencefile в питона

У меня есть карта сократить программу работы, чтобы прочитать HDFS файл, как показано ниже: hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-dev-streaming.jar -Dmapred.reduce.

0зной

1ответ

Файл последовательности, импортированный sqoop в HDFS, не читается в Hive

Я импортировал таблицу из MySql в HDFS, используя параметр -as-sequencefile. Затем я создал таблицу Hive с предложением STORED AS SEQUENCEFILE и LOCATION, которое указывает на местоположение HDFS, в к

1зной

1ответ

Как извлечь пары ключей, значений из hbase SequenceFile с помощью mapreduce?

Я использовал Hbase Export utility tool для экспорта таблицы hbase в HDFS как SequenceFile. А теперь я хочу использовать работу MapReduce для обработки этого файла: public class MapSequencefile {

2зной

1ответ

Hadoop SequenceFile vs splittable LZO

Мы выбираем формат файла для хранения наших необработанных журналов, основные требования сжимаются и расщепляются. Блок-сжатый (какой-либо кодек) SequenceFiles и Hadoop-LZO выглядят наиболее подходящи

0зной

1ответ

HDFS Append to SequenceFile медленный

Добавление к SequenceFiles кажется очень медленным. Мы конвертируем папки (с небольшими файлами в нее) в SequenceFiles, используя имя файла в качестве ключа и содержимого в качестве значения. Однако п

1зной

1ответ

Cached Spark RDD (чтение из файла последовательности) имеет недопустимые записи, как я могу это исправить?

Я читаю файлы последовательности Hadoop, используя Spark (v1.6.1). После кэширования RDD содержимое в RDD становится недействительным (последняя запись дублируется n раз). Вот мой фрагмент кода: impor