Правильный способ записи двух поплавков в обычный txt

Question

Я запускаю большую работу в режиме кластера. Тем не менее, меня интересуют только два числа с плавающей точкой, которые я хочу как-то прочитать, когда работа преуспеет.

Вот что я пытаюсь:

from pyspark.context import SparkContext 

if __name__ == "__main__": 
    sc = SparkContext(appName='foo') 

    f = open('foo.txt', 'w') 
    pi = 3.14 
    not_pi = 2.79 
    f.write(str(pi) + "\n") 
    f.write(str(not_pi) + "\n") 
    f.close() 

    sc.stop() 

Однако «foo.txt» не по всей видимости, везде написано (вероятно, это будет записано в качестве исполнителя, или что-то). Я попробовал '/homes/gsamaras/foo.txt', который был бы pwd шлюза. Однако он говорит: No such file or directory: '/homes/gsamaras/myfile.txt'.

Как это сделать?

---

import os, sys 
import socket 
print "Current working dir : %s" % os.getcwd() 
print(socket.gethostname()) 

предполагают, что водитель на самом деле является узлом кластера, поэтому я не вижу файл в моем шлюзе.

Возможно, каким-то образом напишите файл в HDFS?

Это не будет работать:

Traceback (most recent call last): 
    File "computeCostAndUnbalancedFactorkMeans.py", line 15, in <module> 
    f = open('hdfs://myfile.txt','w') 
IOError: [Errno 2] No such file or directory: 'hdfs://myfile.txt' 

Answer 1

На первый взгляд нет ничего особенного (вы должны менеджер контекста, в случае, как это вместо того, чтобы вручную закрыть, но это не точка) неправильно с вашим кодом , Если этот скрипт передан в spark-submit, файл будет записан в каталог, локальный для кода драйвера.

Если вы отправляете свой код в режиме кластера, он будет произвольным рабочим узлом в вашем кластере. Если вы сомневаетесь, вы всегда можете регистрировать os.getcwd() и socket.gethostname(), чтобы выяснить, какая машина используется и что является рабочим каталогом.

Наконец, вы не можете использовать стандартные инструменты ввода-вывода Python для записи в HDFS. Есть несколько инструментов, которые могут достичь этого, включая родной dask/hdfs3.