Google Cloud Pub/Sub на Google App Engine хитов предел КООТ слишком скоро

Question

около 90 или 100 вызовов в секунду до

pubsub_client.projects().topics().publish(topic='projects/xxxx',body=body).execute(num_retries=0)

в секунду от Google App Engine App в Google Cloud Pub/Sub, результаты

HttpError: <HttpError 429 when requesting https://pubsub.googleapis.com/v1/projects/xxxx:publish?alt=json returned "Request throttled due to user QPS limit being reached.">

Я знаю, что есть предел административных операций на 100 КПТАХ, но, конечно, публикации на тему, не является административной операцией? Я знаю, что pub/sub должен поддерживать миллионы операций в секунду, поэтому я знаю, что что-то не так.

Любая помощь или понимание будут оценены. Мне нужно получить не менее 300 публикаций в секунду, пытаясь оптимизировать существующую реализацию с помощью pubsub. Я думаю, что это может быть ошибкой с реализацией.

Я запускаю этот код в Google App Engine python 2.7 - используя время выполнения appengine, а не гибкое, поскольку оно еще не одобрено для производственного кода.

Answer 1

Обратите внимание, что квота издателя не относится к QPS, а относится к пропускной способности. Предел по умолчанию - 100 МБ/с. См. Quotas documentation для более подробной информации. В зависимости от размера отправляемого сообщения вы можете столкнуться с этими ограничениями.

«Пользователь КПТ лимит был достигнут» сообщение на публикации обычно означает один из трех вещей:

1. Вы публикуете на пропускной способности, которая выше, чем ей квоты на 100MB по умолчанию /. Если это так, вы можете подать заявку на получение дополнительной квоты, нажав «Применить для более высокой квоты» на странице Pub/Sub Quota.

2. Вы не прошли аутентификацию против правильного проекта Cloud. Если вы аутентифицировали или запускали экземпляры вашего приложения Google App Engine в облачном проекте, который отличается от того, в котором указан ваш раздел, квота, с которой вы работаете, не может быть определена в ожидаемом проекте. Более подробную информацию можно найти на странице Google Application Defaults Credentials page.

3. Вы установили квоту вручную в Quota page, и это предел, в котором вы работаете.