Чтение файлов с ошибкой hdfs3

Question

Я пытаюсь прочитать файл на HDFS с помощью Python с помощью модуля hdfs3.

import hdfs3 
hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345) 
hdfs.ls('/projects/samplecsv/part-r-00000') 

Это производит

[{'block_size': 134345348, 
    'group': 'supergroup', 
    'kind': 'file', 
    'last_access': 1473453452, 
    'last_mod': 1473454723, 
    'name': '/projects/samplecsv/part-r-00000/', 
    'owner': 'dr', 
    'permissions': 420, 
    'replication': 3, 
    'size': 98765631}] 

Так что, похоже, чтобы иметь возможность получить доступ к HDFS и прочитать структуру каталогов. Однако чтение файла не выполняется.

with hdfs.open('/projects/samplecsv/part-r-00000', 'rb') as f: 
    print(f.read(100)) 

дает

--------------------------------------------------------------------------- 
OSError         Traceback (most recent call last) 
<ipython-input-94-46f0db8e87dd> in <module>() 
     1 with hdfs.open('/projects/samplecsv/part-r-00000', 'rb') as f: 
----> 2  print(f.read(100)) 

/anaconda3/lib/python3.5/site-packages/hdfs3/core.py in read(self, length) 
    615      length -= ret 
    616     else: 
--> 617      raise IOError('Read file %s Failed:' % self.path, -ret) 
    618 
    619   return b''.join(buffers) 
OSError: [Errno Read file /projects/samplecsv/part-r-00000 Failed:] 1 

Что может быть проблема? Я использую Python3.5.

Answer 1

Если вы хотите любую операцию над файлами, вам необходимо передать полный путь к файлу.

import hdfs3 
hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345) 
hdfs.ls('/projects/samplecsv/part-r-00000') 

#you have to add file to location 
hdfs.put('local-file.txt', '/projects/samplecsv/part-r-00000') 

with hdfs.open('projects/samplecsv/part-r-00000/local-file.txt', 'rb') as f: 
    print(f.read(100)) 

Answer 2

В случае, если вы хотите прочитать несколько файлов из HDFS direcotory вы можете попробовать ниже пример:

import hdfs3 
    hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345) 
    hdfs.ls('/projects/samplecsv/part-r-00000') 

    #you have to add file to location if its not present. 
    hdfs.put('local-file.txt', '/projects/samplecsv/part-r-00000') 

    file_loc = '/projects/samplecsv/part-r-00000' 
    for file in hdfs.glob(os.path.join(file_loc , '*.txt')): 
     with hdfs.open(file) as f: 
      print(f.read(100))