Улучшите скорость при чтении очень больших файлов в Python

Question

Итак, я запускаю несколько функций, каждая из которых занимает раздел из миллионного файла .txt. Каждая функция имеет цикл for, который проходит через каждую строку в этом разделе из миллиона файлов строк.

Он берет информацию с этих строк, чтобы узнать, соответствует ли она информации в 2 других файлах, одна около 50 000-100 000 строк, другая около 500-1000 строк. Я проверил, соответствуют ли строки, запустив циклы через другие 2 файла. После совпадения информации я записываю вывод в новый файл, все функции записываются в один и тот же файл. Программа будет производить около 2500 строк в минуту, но будет замедлять работу дольше. Кроме того, когда я запускаю одну из функций, она работает примерно 500 в минуту, но когда я делаю это с 23 другими процессами, она составляет всего 2500 минут, почему?

Кто-нибудь знает, почему это произойдет? Во всяком случае, я мог бы импортировать что-то, чтобы ускорить выполнение программы/чтение файлов, я уже использую метод with "as file1:".

Можно ли переделать несколько процессов, чтобы они работали быстрее?

Answer 1

Поток может использовать только ваши ресурсы. 4 ядра = 4 потока с полным ресурсом. Есть несколько случаев, когда больше потоков может повысить производительность, но это не относится к вам. Поэтому держите количество потоков в количестве ядер, которые у вас есть.

Кроме того, поскольку у вас есть одновременный доступ к файлу, вам нужна блокировка этого файла, что немного замедлит процесс.

Что может быть улучшено, однако, это ваш код для сравнения строки, но это другой вопрос.