hadoop2

2зной

3ответ

spark2 + пряжи - NullPointerException при подготовке AM контейнера

Я пытаюсь запустить pyspark --master yarn версия Spark: 2.0.0 Hadoop версия: 2.7.2 Hadoop пряжи веб-интерфейс успешно начал Это то, что происходит: 16/08/15 10:00:12 DEBUG Client: Using the default

0зной

3ответ

Невозможно создать каталог в Hadoop

Я попытался создать каталог с помощью следующей команды hadoop fs -mkdir /home/myuser/data1 своего показа «/ дома/MyUser/data1» нет такого файла или каталога. Но, где ниже команда работает нормально

1зной

1ответ

Исключая зависимость от искры от библиотеки искры в sbt-файле

Я работаю над искровым 1.3.0. Мой build.sbt выглядит следующим образом: libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.3.0" % "provided", "org.apache.spark" %% "spark-sql" %

0зной

1ответ

В Hadoop HA, что произойдет, если узел опущен. Предположим, если пассивный узел будет работать в течение длительного времени, будет ли работать кластер?

Я знаю, что в Hadoop HA есть два узла имен i.e Активные и пассивные узлы, если активный узел идет вниз, пассивный узел действует как namenode, и кластер будет работать. Предположим, что в этих двух уз

1зной

1ответ

Как файлы или каталоги становятся хранятся в Hadoop HDFS

я создал файл в HDFS с помощью следующей команды hdfs dfs -touchz /hadoop/dir1/file1.txt Я мог видеть созданный файл с помощью следующей команды hdfs dfs -ls /hadoop/dir1/ Но, не удалось найти мес

2зной

1ответ

Как проверить, существует ли файл в местоположении HDFS, используя oozie?

Как проверить, существует ли файл в местоположении HDFS или нет, используя Oozie? В моем местоположении HDFS я получаю файл, подобный этому test_08_01_2016.csv в 11 вечера, ежедневно. Я хочу проверить