Данные от Amazon Kinesis до DynamoDB

Question

Я должен передать свои данные от Kinesis до DynamoDB. Проблема в том, что не все данные поступают, когда мое программное обеспечение работает. Поэтому, когда я перезапускаю приложение, в DynamoDB добавляется много записей. Теперь я не знаю, почему записи не поступают во время выполнения, но это большая проблема. Мониторинг ресурсов хорош, я попробовал как InitialPositionInStream.LATEST, так и InitialPositionInStream.TRIM_HORIZON без каких-либо изменений. Это случилось у кого-то? Есть ли решение? Кажется, есть буфер, который сохраняет запись. Я использовал git-код aws. Возможно, это проблема с сетью?

Answer 1

Записи в Amazon Kinesis сохраняются в течение 24 часов.

Если вы используете TRIM_HORIZON, вы должны начать с самой старой записи (то есть до 24 часов) и пройти оттуда. LATEST означает, что вас интересуют только записи, полученные с момента запуска вашего нового приложения.

Я предлагаю вам использовать Amazon Kinesis Client Library, если вы еще этого не сделали, который будет управлять контрольной точкой записей, используя таблицу DynamoDB, которую он создает для себя, чтобы сохранить последовательность. Таким образом, когда вы остановите и перезапустите приложение, оно сохранит и возобновит работу с последней успешно обработанной записью (это все еще находится в модели «прием по меньшей мере один раз»).