получение IOException: преждевременное EOF при запуске import.io

Question

Я создал искатель, использующий import.io . Первая проблема, с которой я столкнулся, заключалась в том, что import.io не смог идентифицировать данные на веб-странице после нажатия «Обнаружение оптимальных настроек». Он спрашивает: «Это данные, которые вы хотите извлечь из браузера?» Поскольку данные не подсвечиваются, нажмите «Нет». Даже тогда данные все еще не подсвечиваются. То же самое происходит с экстрактором. Я продолжал эту проблему, нажав «да», когда он спросил «это данные, которые вы хотите извлечь из браузера?» хотя данные не были выделены. Я продолжал строить гусеничный ход, и он отлично работает. Я разместил около 15 тыс. URL-адресов в начальном URL-адресе с глубиной страницы 0.

Что происходит, так это то, что из 15 тыс. Страниц около 10% страниц не сканируются. Я проверил файл журнала, и он показывает IOException: Premature EOF против строк, которые не были сканированы.

Если я вручную перейду на эту страницу в браузере, страница загрузится нормально и находится в том же формате, в котором я обучил сканера. Я даже попытался подготовить страницы, которые показали эту ошибку, но это не помогает.

Как я могу обойти эту ошибку?

Answer 1

Поскольку я ответил на ваш билет поддержки, подумал, что было бы неплохо разместить эту информацию здесь. Эта ошибка, скорее всего, связана с тем, что веб-сайт обнаружил, что вы используете искатель и блокируете URL-адреса. Я бы предложил повторно запустить сканер с увеличением «паузы между страницами», поскольку вы проходите через столько страниц, чтобы сайт не блокировал вас.