Строковый символ в выводе RHDFS

Question

Команда hdfs.write() в формате rhdfs создает файл с ведущим символом, отличным от юникода. Документация не описывает записываемый тип файла.

Шаги, чтобы воссоздать. 1. Открыть R и инициализировать rhdfs

> ofile = hdfs.file("brian.txt", "w") 
> hdfs.write("hi",ofile) 
> hdfs.close(ofile) 

Создает файл с именем «brian.txt», который я мог бы ожидать, содержит одну строку, «привет». Но это показывает и добавляет характер в начале.

> hdfs dfs -cat brian.txt 
X 
    hi 

Я понятия не имею, какой тип файла создан, и rhdfs не показывает никаких параметров типа файла. Это делает вывод очень сложным в использовании.

Answer 1

Если вы посмотрите на hdfs.write функции в source code, вы можете увидеть, что это может занять исходные байты вместо того, чтобы R сериализовать его для вас. Таким образом, вы можете сделать это для символов

ofile = hdfs.file("brian.txt", "w") 
hdfs.write(charToRaw("hi", ofile)) 
hdfs.close(ofile) 

Answer 2

Hadoop по умолчанию сериализует объект, если вы непосредственно создаете/записываете, следовательно, вы видите дополнительные символы в файле. Однако это не тот случай, когда вы копируете текстовый файл с локального на hadoop с помощью copyFromLocal.

Сериализация - это процесс преобразования структурированных объектов в поток байтов. Это делается в основном для двух целей: 1) Для передачи по сети (межпроцессная связь). 2) Для записи в постоянное хранилище.

Вы можете десериализируются объект Hadoop, используя ниже R Код:

hfile = hdfs.file("brian.txt", "r") # read from hdfs 
file <- hdfs.read(hfile) 
file <- unserialize(file) # deserialize to remove special characters 
hdfs.close(hfile) 

Если вы планируете создать файл из R, однако, не будет читать через R, то обходной путь, чтобы избежать специальных символов будет для сохранения содержимого в локальном файле и перемещения файла в hdf. Ниже приведен код, R:

# Set environment path and load library 
Sys.setenv("HADOOP_CMD"="/usr/local/hadoop/bin/hadoop") 
library(rhdfs) 
hdfs.init() # Initialize 

text <- "Hi, This is a sample text." 
SaveToLocalPath <- "/home/manohar/Temp/outfile.txt" 
writeLines(text, SaveToLocalPath) # write content to local file 
hdfs.put(SaveToLocalPath, "/tmp") # Copy file to hdfs 
file.remove(SaveToLocalPath) # Delete from local