Спарк файловая система наблюдающий не работает на Windows,

Question

Два человека проходят Apache Spark на своих компьютерах ...

Мы загрузили версию Спарк prebuild для Hadoop 2.6, пошел в папку /spark-1.6.2-bin-hadoop2.6/, создал " TMP»каталог, и побежал:

$ bin/run-example org.apache.spark.examples.streaming.HdfsWordCount tmp 

Я добавил произвольные файлы content1 и content2dssdgdg в этой "директории TMP".

------------------------------------------- 
Time: 1467921704000 ms 
------------------------------------------- 
(content1,1) 
(content2dssdgdg,1) 

------------------------------------------- 
Time: 1467921706000 ms 

Спарк обнаруживших эти файлы с выше вывод терминала на моем Ubuntu 15.10 ноутбук, но не на Windows 7 Enterprise ноутбук моего коллеги.

Наблюдатель файловой системы Spark не работает в Windows?

Answer 1

John, я бы предложил использовать скомпилированные двоичные файлы hasoop для 64-битных окон 7, размещенных на https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries. Чтобы использовать эту версию hadoop, вам нужно использовать искровую версию, которая предварительно создана для пользователя, предоставленного hadoop. Обязательно установите SPARK_DIST_CLASSPATH, как указано в https://spark.apache.org/docs/latest/hadoop-provided.html. Также добавьте% HADOOP_HOME% \ lib \ native в PATH. После настройки вам необходимо выполнить шаги 3.1.3.3.3.4 и 3.5, упомянутые в https://wiki.apache.org/hadoop/Hadoop2OnWindows, чтобы запустить локальную HDFS. При запуске HdfsWordCount вам необходимо передать hdfs: /// tmp в качестве каталога path arg. Всего наилучшего.