Как избежать «безопасности» по отношению к квоте при доступе к хранилищу данных? (биллинг включен)

Question

Я развернул свой сайт в Google App Engine (используя Golang и хранилище данных с 1000 записями). биллинг включен и установлен ежедневный бюджет. На странице «Сведения о квотах» указано, что все находится под квотой. Я делаю Urlfetch для получения tsv-файла, который я использую для создания объектов данных в хранилище данных.

Две проблемы:

1. Только +778 субъекты создают - журнал указывает, что это длительный процесс работает, но это, кажется, прекращается досрочно без сообщения об ошибке. Документы говорят, что это нормально
2. Второй шаг заключается в создании json-файла из объектов в хранилище данных. Этот процесс вызывает «Панику: сверхворота», потому что процесс занимает слишком много времени, я полагаю.

Как продолжить? Должен ли я делить файл данных tsv на несколько файлов меньшего размера? Могу ли я запросить «больше времени», чтобы я не перешел на квоты безопасности?

Важно отметить, что в части хранилища данных консоли разработчика обнаружены некоторые проблемы: Хотя мое приложение имеет доступ к 778 объектам хранилища данных, консоль сообщает только 484 объекта такого типа, в которых всего 704 объекта всех (на самом деле 933)

Я работаю над этим некоторое время, и мне интересно, есть ли что-то в этой системе или есть какие-то вещи, которые я могу сделать, чтобы правильно настроить мои объекты данных. Я также хотел бы найти больше, чтобы узнать о квотах безопасности ... ... и получить удаленный api! благодаря!

Answer 1

Это действительно зависит от того, где вы делаете эту обработку для обоих этих вариантов использования в платформе appengine.

Например, если вы выполняете urlfetch для обработки файла во внешнем экземпляре, у вас есть 60 секунд, чтобы выполнить всю эту обработку. App Engine требует, чтобы интерфейсные экземпляры отвечали на каждый запрос в течение 60 секунд.

Я делаю предположение, что это то, что вы делаете, по мере того, как ваш запрос прекращается. Чтобы обойти это ограничение времени, вы должны перенести этот тип пакетной обработки данных на задачу, где каждая задача должна быть завершена в течение 10 минут.

То же самое справедливо и для ваших чтений. Либо вам нужно посмотреть, как ваши данные для чтения из хранилища данных, либо вам нужно выполнить его либо с отложенной задачей, либо с конвейером.

У вас есть фрагмент, который вы можете поделиться, как вы составляете свой json?