Программа только записывает в файл при запуске после первого

Question

Программа проверяет, приводит ли URL-адрес 404, и если он записывает имя пользователя в файл. Я попытался добавить многопроцессорность, чтобы программа работала быстрее, так как бывали случаи, когда я бы вводил текстовые файлы с 1000 строк, и это займет довольно много времени. Однако при первом запуске этой программы (когда выходной текстовый файл пуст), он ничего не записывает в выходной текстовый файл. Он только начинает записывать в выходной файл на 2-й, 3-й, 4-й ... запуск.

#program checks twitch accounts in a file. 
#writes accounts which aren't taken to another file. 
import requests 
from multiprocessing import Pool 
x = "0" 

accounts = open('accounts.txt', 'r') 
valid_accounts = open('valid accounts.txt', 'a') 

base_url = "https://www.twitch.tv/" 

def check(x): 
    for line in accounts: 
     url = base_url + line 
     twitch_r = requests.get(url) 
     if twitch_r.status_code == 404: 
      valid_accounts.write(line + "\n") 



def Main(): 
    p = Pool(processes=25) 
    p.imap(check, x) 
    accounts.close() 
    valid_accounts.close() 



if __name__ == "__main__": 
    Main() 

Answer 1

Ваша главная проблема заключается в том, что вы используете imap вместо map. imap неблокируется, это означает, что ваш основной процесс завершается до того, как процессы пройдут. Я немного удивлен, что он работал иногда, как я думаю, он должен был работать never.

Тем не менее, есть несколько проблем с программой:

• метода проверки, выполняющихся в различных процессах, акции один хендлер и перебирает линии. Это просто работает случайно (например, он не будет работать на Windows), и это плохая практика (чтобы поместить ее в середине). Сначала вы должны прочитать файл, а затем распространить строки на процессы.
• То же самое относится к записи в файл. Хотя добавление к файлу безопасно и для разных процессов, лучшим вариантом было бы поместить это в конец в родительский процесс.
• map и imap, как полагают, работают по списку аргументов, а затем возвращают результат (сопоставленный значение)
• оставить из processes=20 так питона может узнать лучшее количество процессов на основе того, сколько ядер вашего компьютер имеет

Исходя из этих вещей, это код, который я предлагаю:

# program checks twitch accounts in a file. 
# writes accounts which aren't taken to another file. 
import requests 
from multiprocessing import Pool, Queue 

base_url = "https://www.twitch.tv/" 

def check(line): 
    twitch_r = requests.get(base_url + line) 
    if twitch_r.status_code == 404: 
     return line 

def Main(): 
    queue_in = Queue() 
    queue_out = Queue() 
    p = Pool() 

    with open('accounts.txt', 'r') as accounts: 
     lines = accounts.readlines() 

    results = p.map(check, lines) 
    results = [r for r in results if r != None] 
    with open('valid accounts.txt', 'a') as valid_accounts: 
     for result in results: 
      valid_accounts.write(result) 

if __name__ == "__main__": 
    Main() 

Единственное, что нужно отметить, это то, что вам нужно вырезать None в results, потому что check(line) возвращает None для всех URL-адресов, результатом которых является не 404.

Обновления:

После использования раствора Джона, программа работает по назначению

Я сомневаюсь, что это делает. Так как вы на окнах, каждый процесс имеет свой собственный файловый манипулятор, указывающий на accounts.txt и будет циклически перемещаться по всем линиям. Таким образом, вы в конечном итоге проверяете каждый URL-адрес 20 раз, и многопроцессорность не помогла вам

Я использовал imap, потому что читал, что imap не возвращает список (?)

No. Разница карты по сравнению с IMAP в этой ситуации только то, что карта ждет, пока не сделаны все процессы (таким образом, вам не нужно вызывать join).

Для более подробного обсуждения о карте против see here IMAP

Answer 2

Вы должны позвонить p.close(), а затем p.join() в конце Main().

Answer 3

Вы не передавая свои счета в бассейн карте

p.imap(check, accounts)