Как «блокировать» обрабатываемые строки базы данных

Question

У меня есть база данных, заполненная строками и несколькими потоками, которые обращаются к этим строкам, вводят некоторые данные из них в функцию, производя вывод, а затем заполняя отсутствующие столбцы строки с выходом.

В этой строке: Каждая строка имеет флаг unprocessed, который по умолчанию является истинным. Поэтому каждый поток ищет строки с этим флагом. Но каждый поток получает САМУЮ строку, получается ... потому что строка помечена как обработанная после завершения работы потока, что может произойти через несколько секунд.

Один из способов избежать этого - вставить флаг currently_processed для каждой строки, пометить его как false, и как только поток обратится к строке, измените ее на true. Затем, когда поток будет выполнен, просто измените, если он вернулся к false. Проблема в том, что я должен использовать какую-то блокировку и не позволять никому другому потоку ничего делать, пока это не произойдет. Мне было интересно, есть ли альтернативный подход, когда мне не нужно будет блокировать потоки (через мьютекс или что-то еще) и тем самым замедлить весь процесс.

Если это помогает, код находится в Ruby, но эта проблема является агностикой языка, но вот код, демонстрирующий тип потоков, которые я использую. Так что ничего особенного, резьб на самом низком уровне, как почти во всех языках есть:

3.times do 
    Thread.new do 
    row = get_database_row 
    result = do_some_processing(row) 
    insert_results_into_row(result) 
    end 
end.each(&:join) 

Answer 1

«Реального» ответ здесь является то, что вам нужно транзакциюбазы данных. Когда один поток получает эту строку, то база должна знать, что эта строка в настоящее время готова для обработки.

Вы не можете решить это в своем приложении! Видите ли, когда два потока смотрят на одну и ту же строку одновременно, они могут и попытаться записать этот флаг ... и, конечно, он изменится на «обработанный»; а затем оба потока будут обновлять данные строк и записывать их обратно. Может быть, это не проблема, если какая-либо обработка результатов в равна конечный результат; но если нет, тогда возникнут все проблемы целостности данных.

Итак, реальный ответ заключается в том, что вы отступаете назад и смотрите, как ваша конкретная база данных предназначена для решения таких задач.

Answer 2

Мне было интересно, есть ли альтернативный подход, когда мне не нужно будет блокировать потоки (через мьютекс или что-то еще) и таким образом замедлить весь процесс.

Есть несколько способов сделать это:

1) Один общий диспетчеру для всех потоков. Он должен читать все строки и помещать их в общую очередь, откуда обрабатываются теги, получая строки.

2) Пойдите глубже в БД, узнайте, поддерживает ли он что-то вроде синтаксиса «выбрать для обновления пропустить блокировку» и использовать его. Для оракула вам нужно использовать его синтаксис в курсоре и сделать несколько громоздкое взаимодействие, но по крайней мере он может работать таким образом.

3) Вход в раздел, скажем, индекс рабочей нити. Итак, 1-й рабочий из 3 будет обрабатывать только строки 1,4,7 и т. Д. 2-й рабочий будет обрабатывать только строки 2, 5, 8 и т. Д.