Синхронная многопоточность в Java (Apache HTTPClient)

Question

Мне интересно, как я буду заниматься этим. Скажем, я загружаю список из 1000 слов, и для каждого слова создается поток и говорят, что он выполняет поиск по каждому слову. Проблема здесь очевидна. У меня не может быть 1k потоков, я могу. Имейте в виду, что я чрезвычайно новичок в потоках и синхронизации. Поэтому в основном мне интересно, как я буду использовать меньше потоков. Я предполагаю, что мне нужно установить количество потоков на фиксированное число и синхронизировать потоки. Интересно, как это сделать с Apache HttpClient с помощью GetThread, а затем запустить его. Во время выполнения я получаю данные с веб-страницы и превращаю ее в строку, а затем проверяю, содержит ли она определенное слово.

Answer 1

Может быть, вы можете взглянуть на эту проблему таким образом.

У вас есть 1000 слов и для каждого слова, которое вы собираетесь выполнить. Другими словами, необходимо выполнить 1000 заданий, и они не связаны между собой , поэтому нет необходимости в синхронизации в случае этой проблемы в соответствии со следующим определением из Wiki.

«В информатике синхронизация относится к одной из двух различных, но взаимосвязанных концепций: синхронизации процессов и синхронизации данных. Синхронизация процессов относится к идее о том, что несколько процессов должны объединяться или квитироваться в определенной точке, в Синхронизация данных относится к идее сохранения нескольких копий набора данных в согласованности друг с другом или для сохранения целостности данных »

Так что в этой задаче вы не выполняете должны синхронизировать 1000 процессов, которые выполняют поиск слов, так как они могут работать независимо и не нуждаются в , чтобы объединить усилия. Таким образом, это не синхронизация процесса.

Это не синхронизация данных, так как данные каждого поиска не зависят от других 999 запросов.

Следовательно, когда Джошуа говорит, что синхронизация - это когда я блокирую вас, в этом случае нет необходимости блокировать.

Да все задачи могут одновременно выполняться в разных потоках. Разумеется, ваша система может не иметь ресурсов для запуска 1000 потоков одновременно (читается в то же время). Итак, вам нужны такие понятия, как пулы, где у пула есть определенное количество потоков ... скажем, если у него 10 потоков ... тогда эти 10 начнут 10 независимых поисков по 10 словам из вашего списка. Если какая-либо из них выполнена с ее задачей, тогда будет занята следующая задача поиска слов , и процесс продолжается.

Answer 2

У вас может быть столько потоков, сколько вы хотите. Но в целом не рекомендуется использовать больше потоков, чем на вашем компьютере. И не забывайте, что создание 1000 интернет-сессий сразу влияет на вашу сеть. Размер одной страницы google составляет около 0,3 мегабайта. Вы действительно собираетесь загрузить сразу 300 мегабайт данных?

Кстати,

Существует забавная вещь о параллельности. Некоторые люди говорят: «Синхронизация подобна параллелизму». Это не верно. Синхронизация - это противоположность параллелизма. Параллелизм - это когда происходит много вещей параллельно. Синхронизация - это когда я блокирую вас. (Joshua Bloch)