эффективный способ получить удаленные документы

Question

Я ищу эффективный способ получить список документов, удаленных в базе данных Cloudant.

Фон: у меня есть база данных Cloudant, содержащая 4 миллиона записей. Бизнес-логика позволяет также удалить документы. Данные из этой базы данных ежедневно загружаются в хранилище данных SQL и также должны быть помечены как удаленные.

Полная перезагрузка не является вариантом, так как она занимает слишком много времени. Также запрос на поток _changes, похоже, не очень хорошо масштабируется, если в базе данных Cloudant содержится так много документов.

Answer 1

Я бы использовал фид _changes и применил функцию фильтра на стороне сервера (http://guide.couchdb.org/draft/notifications.html), чтобы устранить все документы, у которых нет набора свойств _deleted. Таким образом, ваш прослушиватель каналов изменений будет уведомляться только всякий раз, когда сообщается об операции DELETE, и сетевой трафик сведен к минимуму.