HTTP 1.1 сервер, отправляющий большие файлы

Question

Я прочитал статью об обслуживании множества клиентов с помощью настраиваемого сервера HTTP 1.1. Он сказал, что нужно использовать пул потоков с таким количеством потоков, как и ядра ЦП, а не создавать новый поток для каждого запроса. Но, скажем, файл имеет длину 1 ГБ. Это передача остановит одну из очередей в пуле потоков, в то время как файл передается, останавливая обработку новых запросов. Конечно, при передаче таких файлов возникает нить? Но какой критерий применяется для определения того, должен ли быть создан новый поток для обслуживания запроса, размер файла? Или какой-то другой? Возможно, используется какая-то форма совместной многозадачности?

Answer 1

Одна очередь на ядро ​​будет плохим дизайном. Как правило, для каждого потока пула и глобальной очереди есть одна очередь. Темы сначала проверяют свою очередь, затем глобальную очередь, затем очереди других потоков. Никакая работа не застрянет.

Вы можете использовать блокирующий и неблокирующий IO смешанным способом на одном и том же HTTP-сервере. Большинство запросов выполняются быстро, поэтому нет смысла использовать неблокирующий IO.

Может быть хорошей идеей, чтобы длительные запросы использовали неблокирующий IO, чтобы не задерживать слишком много потоков. Передача файлов на 1 ГБ, безусловно, звучит как хороший случай для этого.

Socket IO на HTTP-сервере обычно должен быть неблокирующим. HTTP-серверы часто запускаются в соответствии с предположением многих подключенных клиентов и многолетних подключений. Для создания этого масштаба почти требуется неблокирующий IO. Но учтите, что, хотя сетевая сторона должна быть неблокирующей, не требуется архитектурно требовать, чтобы обработка запросов также не блокировалась.

Существует много устаревших конструкций для серверов сокетов (как для реализации, так и для учебников). Используя современные API и современный дизайн, на самом деле не слишком сложно добиться масштабируемости и хорошего качества кода.