S3 Статический сайт: Возвращение HTTP 410

Question

фон

У меня есть статический сайт на S3 с 10000S из HTML-страниц, проиндексированных на Google. Я перехожу к новой версии, и я хочу удалить старые страницы (которые больше не могут существовать) из индекса Google. Я прочитал в Интернете, что наиболее эффективный способ сделать это, чтобы вернуть HTTP 410 (Унесенные)

Проблема

Согласно http://docs.aws.amazon.com/AmazonS3/latest/dev/CustomErrorDocSupport.html, вы не можете вернуть HTTP 410 при использовании S3 Статический сайт

Api Шлюз

Я создал макет интеграцию API шлюза, который возвращать HTTP 410. Затем я настроил мое S3 ведро автоматически перенаправлять конкретный префикс для этой ссылки. Тем не менее, код возврата - HTTP 301 (для первого перенаправления). Если я получаю API конечной точки непосредственно, я получаю 410 успешно, однако, если я получить доступ к API через GET S3, то код ошибки 301

Что дальше

Если кто-нибудь имеет представление о том, как чтобы вернуть HTTP 410 на статичный сайт, размещенный на S3, дайте мне знать.

Кроме того, если вы можете думать о лучшей альтернативы де-индекс старой страницы на Google (ручной инструмент не является решением, поскольку у меня есть большое количество страниц), дайте мне знать :)

Answer 1

Я действительно считают, что лучшим ответом было бы поставить сервер перед содержимым S3 с очень простой таблицей базы данных. Ваша настоящая проблема заключается в определении 410 против 404. То есть вы знаете, что страница ушла, но как вы отличаетесь от опечатки или другой ошибки?

Что бы я подумал, это таблица, которая индексируется по имени пути - например, /path/to/my/file.html и статусу какого-либо типа. Сервер принимает запрос на полный путь, выполняет поиск в базе данных и либо обслуживает страницу (при условии, что страница «активна» или «доступна»), либо 410, если вы знаете, что страница не активна. Если страница не может быть найден в базе данных, то возвращающие 404.

Две проблемы я вижу с этим подходом являются:

1. Начальная популяция базы данных. Если вы уже удалили страницы с S3, тогда как вы узнаете, когда поставить страницу и флаг «недоступен»? Я не уверен, сколько страниц мы говорим, но это может быть довольно большой в первый раз.
2. Техническое обслуживание - вам, скорее всего, потребуется какой-то административный интерфейс в будущем, когда вам нужно деактивировать некоторое количество страниц.

Существуют системы управления контентом, которые сделают это для вас, или было бы неплохо написать простой сервер, чтобы сделать это, пока не рассмотрю проблемы, которые я изложил.