Кто-нибудь знает, как извлекать данные с веб-страницы с помощью Import.io, где данные загружаются на страницу через Ajax. Я не могу извлечь данные из указанных ниже страниц. Нет проблем при извлечении данных первой страницы. Но как перейти на вторую страницу и извлечь данные со второй страницы. http://www.amazon.com/gp/aag/main?ie=UTF8&asin=&isAmazonFulfilled=&isCBA=&marketplaceID=ATVPDKIKX0DER&orderID=&seller=A13JB7253Q5S1B?Невозможно извлечь данные с помощью Import.io с веб-страницы Amazon, где данные загружаются на страницу через Ajax
ответ
данные на этой странице, развертываются с помощью интересного сочетания технологий; он в значительной степени зависит от кода на стороне сервера и Javascript. Этот тип страницы может быть проблемой, однако всегда есть методы для получения данных. Например, некоторые продавцы имеют страницы, как это:
, который очень легко извлекать данные из, даже используя магический алгоритм - https://magic.import.io/?site=http:%2F%2Fwww.amazon.co.uk%2Fgp%2Fnode%2Findex.html%3Fie%3DUTF8%26marketplaceID%3DA1F83G8C2ARO7P%26me%3DA2WO1PQ2OIOIGM%26merchant%3DA2WO1PQ2OIOIGM
я должен был снять с перенаправлением = истина от URL-адреса, прежде чем они будут работать - только FYI.
Другие времена, когда в некоторых магазинах нет такого URL-адреса, его немного боль, и URL-адреса могут быть сложными для определения.
Мы действительно помогаем нашим заказчикам создавать индивидуальные API, когда данные очень важны для них, поэтому не стесняйтесь обращаться к ним. Я предполагаю, что более масштабным решением будет создание набора данных/API на основе интересующих вас категорий, а затем для фильтрации этого более крупного набора данных (стиль python или CSV) по имени продавца. Возможно, это сработает!
Мне удалось получить статический набор данных, но не API. Вы можете обнаружить, что набор данных по следующему GUID: c7c63f1c-7081-4d4a-ad91-afe9789a6620
Благодарности
Можете ли вы предоставить полную ссылку, а не только GUID? –
Hey Kamran Mehnas, вот полная ссылка. Если вы откроете его в браузере import.io, вы можете скопировать его и сделать его своим. https://import.io/data/mine/?id=c7c63f1c-7081-4d4a-ad91-afe9789a6620 – CavemanDan
У кого-нибудь есть идея относительно вышеупомянутой проблемы-благодарности –
Вам нужен статический набор данных данных только от одного торговца или вам нужен API, чтобы извлекать данные у этого продавца и много продавцов? –
Мне нужен API, который работает для этого типа шаблонов. Если API невозможно, то набор данных. –