Чтение файла свойств в Pyspark

Question

Я хотел прочитать .ini файлы (которые являются моими конфигурациями/файлами свойств) в моем приложении spark 1.6.0. Для этого я использую ConfigParser для чтения файлов свойств.

import ConfigParser 
import os 
config = ConfigParser.ConfigParser() 
config.read(os.path.join(os.path.dirname(__file__), 'config.ini')) 

print 'config sections : ', config.sections() 

В результате он возвращает пустой список. Я пробовал отправлять свою работу как в режиме клиента, так и в кластере, так как он не выполняет задание. Пожалуйста, дайте мне знать, если я ошибаюсь при чтении файлов.

Answer 1

Возможно чтение конфигурационных файлов. Вам просто нужно либо упаковать свой код в объявлении яйца или передать конфигурационный файл во искру подать как:

spark-submit --master yarn --deploy-mode cluster --py-files conf/config.ini my_pyspark_script.py 

Или, если запущен из файла яйца (который будет содержать ваши модули питона и config.ini)

spark-submit --master yarn --deploy-mode cluster files --py-files my.egg my_pyspark_script.py 
configFile = resource_filename(Requirement.parse("myapp"), "conf/config.ini") 
config = ConfigParser.ConfigParser() 
config.read(configFile)