WARN о свече потокового по верам 2.0.1

Question

Когда я пытаюсь использовать последнюю искру Streaming с контрольной точкой:

cfg = SparkConf().setAppName('MyApp').setMaster('local[3]') 
sc = SparkContext(conf=cfg) 
ssc = StreamingContext(sparkContext=sc, batchDuration=1) 
ssc.checkpoint('checkpoint') 

Тогда я получил этот раз WARN:

------------------------------------------- 
Time: 2016-10-11 10:08:02 
------------------------------------------- 
('world', 1) 
('hello', 1) 

16/10/11 10:08:06 WARN DFSClient: Caught exception 
java.lang.InterruptedException 
    at java.lang.Object.wait(Native Method) 
    at java.lang.Thread.join(Thread.java:1281) 
    at java.lang.Thread.join(Thread.java:1355) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:609) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:370) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:546) 
------------------------------------------- 
Time: 2016-10-11 10:08:03 
------------------------------------------- 
('world', 1) 
('hello', 1) 

Что это? Похоже, что HDFS'S WARN

Это важная информация?

Я уверен, что не WARN с искрой версии 2.0.0

Answer 1

Для полноты я переместил мой комментарий к ответу

Я думаю, что проблема является Hadoop-hdfs.jar модернизированы от v2.7.2 до v2.7.3. Spark 2.0.0 использует 2.7.2, тогда как Spark 2.0.1 использует 2.7.3