Лучший способ получить статистику внешнего торрента на активном сайте

Question

Я делаю bittorrent трекер/сайт, похожий на The Pirate Bay, Kickass.to и т. Д. Необходимо получить статистику торрентов (сеялки, загрузки) в обоих индексах и торрент-страницу. Пример:

http://kat.cr/ubuntu-15-04-vivid-vervet-desktop-amd64-iso-final-t10550003.html
Сеялки: 3442 Личеры: 148

Если торрент использует мой трекер, это легко и быстро получить данные для обеих страниц. Однако, если торрент использует другой трекер, мне нужно будет очистить статистику от указанного трекера (делая запросы к нему), но обычно это занимает несколько секунд для каждого торрента, и, очевидно, я не могу заставить пользователей ждать, что чтобы увидеть список.

Я создал сценарий, который сбрасывает последние 90 торрентов в фоновом режиме, но я боюсь, что этого недостаточно. Веб-сайт будет расти, а общий торренты, вероятно, превысят 5000. Я не думаю, что соскабливает, что многие торренты в фоновом режиме будут работать.

Как это сделать?

Answer 1

следующие стратегии, чтобы получить статистические данные, перечисленные в порядке эффективности по убыванию:

1. полный скрип через интерфейс соскоба - используется, чтобы быть общим, в меньшей степени, сегодня на крупных трекеров из-за трафика он вызывает
2. полную очистку через пользовательские URL-адреса экспорта - вам нужно спросить администраторов трекера. иногда документируются на их сайтах.
3. UDP multi-scrape
4. HTTP multi-scrape via /scrape?info_hash=A&info_hash=B&info_hash=C - некоторые трекеры поддерживают его, некоторые - нет.
5. HTTP одного скрести
6. DHT scrape
7. присоединение роя и измерения с помощью PEX

Answer 2

Когда открытые трекеры использовали http, вы могли бы выполнить полную очистку после Tracker 'scrape' Convention.
Теперь, когда трекеры используют UDP, больше невозможно выполнить полную очистку.

Как альтернатива, некоторые открытые трекеры публиковать полные потертости на своих веб-сайтах:

• http://coppersurfer.tk/ ->full.tar.gz

• http://leechers-paradise.org/ ->static_scrape.gz или static_scrape

• http://www.blackunicorn.xyz ->scrape.gz

Другие трекеры могут или не могут предоставить доступ к такому файлу по запросу.