Я пытаюсь отменить сайт с помощью Node.js, но я заблокирован с сайта. Как я могу это решить?

Question

http://pslsource.com/buy_tennessee_titans_psl/

Это сайт, на котором я пытаюсь отказаться. Он имеет несколько таблиц с ценами, и я больше не могу получить доступ к нему через приложение Node (которое находится на Heroku). Как я могу снова получить к нему доступ? Любые прокси или другие предложения?

Вот код, а также:

var Horseman = require("node-horseman"); 

var h = new Horseman({timeout: 50000}); 

h.open("http://pslsource.com/buy_tennessee_titans_psl/") 
.waitForSelector("body") 
.text("body") 
.then(function(data) { 
    console.log(data); 
}); 

Примечание: Все кредиты будут выплачены на оригинальный сайт, я не буду утверждать данные, как мои собственные.

Answer 1

Тот факт, что вы были заблокированы с сайта, ясно показывает, что обход сайта противоречит намерениям владельцев. Вы можете «решить» это, используя прокси-серверы и отправив запросы на свои API.

Однако, если обход сайта на самом деле является законным действием, отправьте им электронное письмо и объясните им, почему вы намерены сканировать их сайт, убедить их в том, что ваши намерения не противоречат их интересам. Они могут дать вам экспорт. Если нет, то не пытайтесь извлечь данные оттуда.