Apache Hadoop Установка на Windows 10

Question

При настройке единого узла кластера без Cygwin на окнах 10, я последовал конкретный document- Link for Hadoop installation in windows 10

Я столкнулся ошибку ниже при запуске HDFS с помощью D:\hadoop-2.6.2.tar\hadoop-2.6.2\hadoop-2.6.2\sbin>start-dfs.cmd

Ошибка стек сообщений трассировки:

17/01/12 12:25:42 FATAL datanode.DataNode: Exception in secureMain java.lang.RuntimeException: Error while running command to get file permissions : ExitCodeException exitCode=-1073741515: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:791) 
    at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:582) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.getPermission(RawLocalFileSystem.java:557) 
    at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:139) 
    at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:156) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2299) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2341) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2323) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2215) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2262) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2438) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2462) 

    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:620) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.getPermission(RawLocalFileSystem.java:557) 
    at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:139) 
    at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:156) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2299) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2341) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2323) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2215) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2262) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2438) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2462) 17/01/12 12:25:42 INFO util.ExitUtil: Exiting with status 1 

Кроме того, это сообщение об ошибке о запуске NameNode:

17/01/12 12:25:43 FATAL namenode.NameNode: Failed to start namenode. 
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 
     at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) 
     at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557) 
     at org.apache.hadoop.fs.FileUtil.canWrite(FileUtil.java:996) 
     at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:490) 
     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:309) 
     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1022) 
     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:741) 
     at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:538) 
     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597) 
     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:764) 
     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:748) 
     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441) 
     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1507) 
17/01/12 12:25:43 INFO util.ExitUtil: Exiting with status 1 

Answer 1

[] Анализ проблем]/разрешений каталога данных недостаточно, NameNode не может быть запущен.

[Решение]

(1) в корне, работа разрешений/данных/каталогов, назначенных для пользователей Hadoop;

(2) пустой/файл каталога данных;

(3) переформатировать имяNode, перезапустить кластер hadoop.