Каков самый быстрый способ 302 ссылки на его окончательный URL?

Question

дал ссылку http://bit.ly/2994js

Что является наиболее эффективным способом или библиотеку, чтобы использовать, что бы получить Вас к окончательному URL в виде bit.ly, fb.me и т.д ... после 302 переадресовывает? Предположим, что масштаб будет составлять 10 миллионов из них в день с возможностью масштабирования по серверам.

Java HttpClient? PHP с cURL? прочее?

Answer 1

В случае бит.ly есть API-вызов (expand), который получает целевой URL из сокращенного URL-адреса. Другие службы сокращения URL-адресов могут иметь аналогичные вызовы API. В таких случаях вам не придется обрабатывать перенаправление.

Answer 2

cURL самый быстрый. Итак, если вы хотите абсолютную скорость, пойдите с написанием сценария bash, который делает это cURL.

Однако внесение 10+ миллионов запросов может привести к тому, что ваш IP-адрес заблокирован довольно скоро.

Answer 3

Язык реализации вряд ли будет иметь большие шансы с точки зрения производительности - почти ничего не поделаешь. Это будет латентность сети. Возможно, что использование настраиваемого сетевого стека может помочь, но я бы не стал беспокоиться, если бы мне действительно было нужно.

Я не уверен, что ответ 302 все еще способен поддерживать соединение с HTTP 1.1, но если это возможно, это действительно может быть благом. Это также аргумент против с использованием cURL (который собирается запустить новый процесс, требующий нового подключения) для каждого URL-адреса, если только не будет какой-либо способ поместить cURL в пакетный режим. (Может быть - стоит расследовать.)

Важно, чтобы вы не попали на какой-либо сервер так сильно, что думаете, что вы запускаете DDOS-атаку, но чтобы сделать так много запросов параллельно, вы можете в пределах этого предела.

Обратите внимание, что 10 000 000 в день составляют всего ~ 116 запросов в секунду. Если у вас есть адекватное сетевое подключение, и целевые серверы не блокируют вас, это не должно быть сложно.