sequencefile

0зной

1ответ

Последовательность чтения файлов в PySpark 2.0

У меня есть файл последовательность, значение которых похоже (string_value, json_value) Я не забочусь о значении строки. В Scala я могу прочитать файл по val reader = sc.sequenceFile[String, String]

0зной

1ответ

Как узнать, какой из файлов последовательности он есть?

Я новичок в Hadoop и наткнулся на несколько файлов Sequence. Когда я прочитал Sequence File, есть 3 способа создания файла последовательности. Теперь у меня есть файл последовательности, откуда я знаю

1зной

1ответ

Получить путь к файлу HDFS в PySpark для файлов в формате последовательного файла

Мои данные о HDFS приведены в формате файла последовательности. Я использую PySpark (Спарк 1.6) и пытается достичь 2 вещи: путь данных содержит метку времени в формате гггг/дд/чч/мм, что я хотел бы пр

0зной

1ответ

Могу ли я создать файл последовательности в Spark?

В настоящее время у нас есть реализация в свинге для генерации файлов последовательности из записей, в которых некоторые атрибуты записи обрабатываются как ключ файла последовательности, и все записи,

1зной

2ответ

SequenceFile как текстовый CLI с пользовательским классом

У меня есть файл HDFS в формате SequenceFile. Ключ Text, и значение представляет собой собственный сериализуемый класс (скажем) MyCustomClass. Я хочу прочитать этот файл с помощью команды hadoop fs -t

0зной

2ответ

ошибки импорта в проекте maven

Получение Импорт не может быть устранен ошибками в проекте maven, хотя все необходимые зависимости были добавлены в pom.xml. Вот импорта, которые становятся ошибками: import org.apache.hadoop.fs.Creat