Я пробовал запросы, pydap, URLLIB и netcdf4 и держать либо получать ошибки или ошибки разрешения перенаправления при попытке загрузить следующие данные NASA:Как скачать Nasa спутниковых данных OpenDAP с помощью Python
GLDAS_NOAH025SUBP_3H: GLDAS Noah земли Поверхностная модель L4 3 Часовая 0,25 x 0,25 градуса Подседельный V001 (http://disc.sci.gsfc.nasa.gov/uui/datasets/GLDAS_NOAH025SUBP_3H_V001/summary?keywords=Hydrology)
Я пытаюсь загрузить около 50 тыс. Файлов, вот пример одного из них, который работает при вставке в браузер Chrome Chrome (если у вас есть правильное имя пользователя и пароль):
У кого-нибудь есть опыт получения данных NASA OPeNDAP из Интернета с использованием python? Я рад предоставить дополнительную информацию по желанию.
Вот запросы попытка, которая дает 401 ошибку:
import requests
def httpdownload():
'''loop through each line in the text file and open url'''
httpfile = open(pathlist[0]+"NASAdownloadSample.txt", "r")
for line in httpfile:
print line
outname = line[-134:-122]+".hdf"
print outname
username = ""
password = "*"
r = requests.get(line, auth=("username", "password"), stream=True)
print r.text
print r.status_code
with open(pathlist[0]+outname, 'wb') as out:
out.write(r.content)
print outname, "finished" # keep track of progress
А вот pydap пример, который дает перенаправлять ошибки:
import install_cas_client
from pydap.client import open_url
def httpdownload():
'''loop through each line in the text file and open url'''
username = ""
password = ""
httpfile = open(pathlist[0]+"NASAdownloadSample.txt", "r")
fileone = httpfile.readline()
filetot = fileone[:7]+username+":"+password+"@"+fileone[7:]
print filetot
dataset = open_url(filetot)