hadoop-lzo

0зной

1ответ

Чтение файла LZO строк json в Spark DataFrames

У меня есть большой индексированный lzo-файл в HDFS, который я бы хотел прочитать в искровых информационных кадрах. Файл содержит строки json-документов. posts_dir='/data/2016/01' posts_dir имеет сл

4зной

1ответ

Прочитайте несжатые файлы экономии в искры

Я пытаюсь получить искру, чтобы читать несжатые файлы бережливости с s3. Пока это не работает. данные загружаются в s3 как несжатые файлы экономии. Источником является AWS Kinesis Firehose. У меня ест

3зной

1ответ

Пытается использовать сжатие LZO с MapReduce

Я хочу использовать сжатие LZO в MapReduce, но получаю сообщение об ошибке при запуске моей работы MapReduce. Я использую Ubuntu с программой Java. Я просто пытаюсь запустить это на своей локальной ма

0зной

1ответ

Создано Hive стол со сжатием LZO, не могу найти файл с расширением .lzo

Я создал таблицу улей, установив следующие свойства на улей командной строке: SET mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec SET hive.exec.compress.output=t

0зной

1ответ

Проблема с файлами LZO на S3

У меня есть 3 сжатых файла LZO и соответствующие им индексные файлы в HDFS. Permission Owner Group Size Replication Block Size Name -rw-r--r-- alum supergroup 0 B 3 128 MB _SUCCESS -rw-r--r-- alum s