Имеет ли много потоков в приложении счетчик продуктивным?

Question

В настоящее время я пытаюсь реализовать многопоточный интерфейс подключения к базе данных для личного использования. Это осуществляется с помощью 3-х классов

• DatabaseManager База данных Connexion instancier инстанцирования нового потока для каждого соединения
• Database объекта наследования от QThread, предназначенный для запуска в главном потоке и подвергая интерфейс, чтобы сделать вещи объект работника
• DatabaseWorker объект рабочий, который запускает цикл обработки событий в рабочем потоке управляющий одно соединение с базой данных, ожидает запросов и доставки результатов с помощью Qt: QueuedConnections (сигнал/слотов)
• Когда соединение больше не используется (явный вызов к методу close()), связанный цикл события останавливается и поток удаляется. Цель состоит в том, чтобы сохранить создание и удаление потоков как минимум.

Эта архитектура имеет большой успех до сих пор с ограниченным количеством потоков (обычно не более 10 соединений). Моя основная проблема заключается в том, что я не знаю, как это будет выглядеть, если у меня есть 100+ соединений, которые означают более 100 потоков для одного приложения, которые приносят мой главный вопрос

Имеет ли много потока в приложении счетчик продуктивным? что произойдет, если я открою соединения 50/100/500/1000 одновременно? если я это сделаю, операции с базой данных ввода-вывода займут много времени (это не было разработано для этого в первую очередь), но сколько из этого отставания вызвано количеством потоков?

Answer 1

Количество нитей само по себе не является большой проблемой. Каждый из них использует некоторую память, но для современных машин эти накладные расходы невелики.

Основная проблема возникает, когда все эти потоки начинают пытаться работать сразу, они начинают сражаться за ресурсы, и вы можете получить более медленный результат, чем получить от меньшего количества потоков, работающих умнее.

Пул потоков является общим решением для такого рода ситуаций, где задачи выполняются в очереди, и у вас есть пул потоков с подходящим количеством потоков для вашего компьютера (например, один поток на ядро), который обрабатывает элементов из очереди. Если ваши потоки тратят много времени на ожидание ответов, тогда больше потоков может быть оправданным, если они постоянно делают расчеты, хотя добавление большего количества может привести к замедлению работы.

Измерьте производительность и отрегулируйте соответствующим образом :) «Чувство« Чувство »очень ненадежно при работе над производительностью.

Answer 2

Я бы сказал, что да, это счетчик продуктивности. Каждый поток использует значительную часть памяти для своего пространства стека, и если у вас есть только 6 ядер, вы не можете одновременно запускать 100 потоков. Вместо этого используйте пул потоков, например. через KF5 ThreadWeaver или Qt Concurrent и обратите внимание на идеальное количество потоков.