2016-04-29 5 views
1

Я пытаюсь загрузить mp3-файлы с помощью python с веб-сайта с облачным флером. Я знаю о модуле cfscrape для python, но как его использовать, чтобы загрузить файл с URL-адреса.скачать файлы с сайта с помощью cloudflare с помощью Python

+0

Что вы пробовали до сих пор? Вы читали справку по адресу https://github.com/Anorov/cloudflare-scrape –

+0

Nevermind Я просто получил его. Это было так просто. – ahmadhas

+0

Итак, теперь пришло время поделиться с сообществом вашими выводами, поэтому мы все можем учиться. Вы можете ответить на свой вопрос и пометить его как правильный ответ;) –

ответ

1

Для скачивания нескольких файлов из файла 'csv', имеющего ссылки.

Примечание: У меня была помощь от здесь: Python download files by links stored in csv импорта cfscrape импорта CSV, SYS запросов на импорт импорт urllib2 импорт OS

scraper = cfscrape.create_scraper() 

filename = 'nazm_urls.csv' 
with open(filename, 'rb') as f: 
    reader = csv.reader(f) 
    try: 
     for row in reader: 
      if 'http' in row[0]: 
       reverse = row[0][::-1] 
       i = reverse.index('/') 
       tmp = reverse[0:i] 
       cfurl = scraper.get(row[0]).content 
       if not os.path.exists("./"+tmp[::-1]): 
        with open(tmp[::-1], 'wb') as f: 
         f.write(cfurl) 
         f.close() 
       else: 
        print "file: ", tmp[::-1], "already exist" 
    except csv.Error as e: 
     sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e)) 
3

У меня есть.

import cfscrape 

scraper = cfscrape.create_scraper() 

url = 'the website url' 
cfurl = scraper.get(url).content 
name = url.split('/')[-1] 

with open(name, 'wb') as f: 
    f.write(cfurl) 
+0

Это только для получения одного файла – ahmadhas