hdfs

1зной

1ответ

Конфликтный HDFS-коннектор теряет сообщения

Сообщество, не могли бы вы помочь мне понять, почему ~ 3% моих сообщений не заканчивается HDFS? Я написал простого продюсера в JAVA, чтобы создать 10 миллионов сообщений. public static final String TE

0зной

1ответ

Когда файлы закрыты в HDFS

У меня возникают проблемы при записи на HDFS (через HDFS Sink). Я думаю, что они вызваны главным образом из-за перерывов в IO, но не уверены. В итоге у меня есть файлы, которые открыты для записи в те

0зной

1ответ

Hadoop Rename команда

Как переименовать несколько файлов в HDFS 200 файлов присутствуют в директории /склад/bigdata/данные, я хочу добавить "_d" во всех имени файла Is есть ли способ сделать это за один раз? Для примера: /

3зной

1ответ

Чтение файла HDFS в приложении Spark в Kerberized Cluster

Я настраиваю кластер Hadoop с Hortonworks Data Platform 2.5, который также включает Ambari 2.4, Kerberos, Spark 1.6.2 и HDFS. У меня есть, например, принципалы Kerberos и keytabs для следующих пользов

0зной

1ответ

Чтение таблицы и схемы Avro, хранящихся в HDFS, с использованием Spark-Java

Я пытаюсь прочитать таблицу Avro, хранящуюся в HDFS, с указанием также схемы , которая также хранится в HDFS. На данный момент у меня есть это решение, которое, кажется, работает: RDD<String> stringRD

0зной

2ответ

Как изменить размер блока hdfs в pyspark?

Я использую pySpark для записи паркетного файла. Я хотел бы изменить размер блока hdfs этого файла. Я установить размер блока, как это и он не работает: sc._jsc.hadoopConfiguration().set("dfs.block.si

1зной

1ответ

Уль: дескриптор отрицательного числа в данных, хранящихся в HDFS

У меня есть ситуация для обработки отрицательных числовых данных. Позиция отрицательного знака для некоторых числовых значений в файлах (хранится в HDFS) находится с правой стороны (например, 12345-),