kinesis client worker logic

Question

Я хочу понять, когда метод processRecords от IRecordProcessor вызывается из рабочего. Если мой предыдущий вызов processRecords еще не завершен, рабочий вызовет следующий processRecords? Будет ли рабочий запускать новые записи из кинезиса или он будет ждать окончания выполнения текущих записей.

В принципе, я хочу долго ждать, если processRecords получает какое-то исключение, сохраняя записи во внешнем db, поскольку db не работает или какая-либо другая ошибка. Так что хотите подтвердить, что не будет никаких проблем в том случае, если рабочий не начнет получать новые записи до тех пор, пока ранее не завершит обработку?

Answer 1

Отрывок из других вопросов:

приложения (с помощью KCL) будет продолжать опрашивать «осколок итератора» в фоновом режиме, таким образом, вы будете получать уведомления о новых данных , когда речь идет о ,

Источник: https://stackoverflow.com/a/35582161/1622134

А также, по "рабочему" вы имеете в виду "Рабочий" потока в приложении; который является управляемым.

Каждый осколок обрабатывается ровно один KCL работника и имеет ровно один соответствующая запись процессора, поэтому вам не нужно несколько экземпляров обрабатывать один осколок. См. Класс Worker.java в источнике KCL.

Источник: https://stackoverflow.com/a/34509567/1622134

ответить вам вопрос, вы можете, что в вашем processRecords реализации. Во время обработки записей используйте блок try-catch и записывайте контрольную точку в DynamoDB тогда и только тогда, когда часть попытки выполнена успешно. Сюда; если во время записи на внешний db есть ошибка, вы не потеряете записи и после перезагрузки. Вы также должны сохранить эти данные записи (которые не могут быть вставлены в db) в другое место для последующей обработки.

Также см этот ответ: https://stackoverflow.com/a/32517002/1622134