производитель-потребитель: как знать, сообщить, что prodcution завершена

Question

у меня есть следующая ситуация:

1. чтение данные из базы данных
2. работают «расчет» результат
3. записи в базу данных

У меня есть поток, который читает из базы данных и помещает сгенерированные объекты в BlockingQueue. Эти объекты чрезвычайно тяжелые, поэтому очередь ограничивает количество объектов в памяти. Несколько потоков берут объекты из очереди, выполняют работу и помещают результаты во вторую очередь. Последний поток принимает результаты второй очереди и сохраняет результат в базе данных.

Проблема в том, как предотвратить взаимоблокировки, например. «потоки вычислений» должны знать, когда больше объектов не будет помещено в очередь. В настоящее время я достигаю этого, передавая ссылки потоков (вызываемых) друг другу и проверяя thread.isDone() перед опросом или предложением, а затем, если элемент имеет значение null. Я также проверяю размер очереди, если в ней есть элементы, они должны быть уничтожены. Использование take или put приводит к взаимоблокировкам.

Есть ли более простой способ достичь этого?

Answer 1

Одним из способов достижения было бы поместить сообщение «фиктивное» или «ядовитое» в качестве последнего сообщения в очередь, если вы уверены, что в очередь не поступит больше задач. Например, после помещая сообщение, относящееся к последней строке запроса db. Поэтому производитель помещает фиктивное сообщение в очередь, потребитель, получая это фиктивное сообщение, знает, что в этой партии не ожидается более значимой работы.

Answer 2

Может быть, вы должны смотреть на CompletionService

Он предназначен для объединения исполнителя и функциональность очереди в одном. Задачи, которые закончили выполнение будет доступна службы заканчивания через

completionServiceInstance.take() 

Вы можете снова использовать другой исполнитель для 3. т.е. заполнить БД с результатами, которые вы будете кормить с результатами, взятых из completionServiceInstance.