Как «сканировать» веб-сайт (или страницу) для получения информации и вносить его в мою программу?

Question

Ну, я очень стараюсь выяснить, как извлекать информацию с веб-страницы и переносить ее в мою программу (на Java).

Например, если я знаю точную страницу, я хочу получить информацию, для простоты на странице «Лучшая покупка», как мне получить нужную информацию, которая мне нужна, с этой страницы? Как название, цена, описание?

Что бы этот процесс даже назывался? Я понятия не имею, чтобы даже начать исследовать это.

Edit: Хорошо, я бегу тест для JSoup (тот, отправленный BalusC), но я получаю эту ошибку:

Exception in thread "main" java.lang.NoSuchMethodError: java.util.LinkedList.peekFirst()Ljava/lang/Object; 
at org.jsoup.parser.TokenQueue.consumeWord(TokenQueue.java:209) 
at org.jsoup.parser.Parser.parseStartTag(Parser.java:117) 
at org.jsoup.parser.Parser.parse(Parser.java:76) 
at org.jsoup.parser.Parser.parse(Parser.java:51) 
at org.jsoup.Jsoup.parse(Jsoup.java:28) 
at org.jsoup.Jsoup.parse(Jsoup.java:56) 
at test.main(test.java:12) 

У меня есть Apache Commons

Answer 1

Использовать HTML-парсер, например Jsoup. У меня есть предпочтение выше other HTML parsers available in Java, так как оно supportsjQuery нравится CSS selectors. Кроме того, его класс, представляющий список узлов, Elements, реализует Iterable, так что вы можете перебирать его в enhanced for loop (так что нет необходимости хлопотать с подробными Node и NodeList как классы в среднем парсе Java DOM).

Вот простой пример стартового (просто поставить latest Jsoup JAR file в пути к классам):

package com.stackoverflow.q2835505; 

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element; 
import org.jsoup.select.Elements; 

public class Test { 

    public static void main(String[] args) throws Exception { 
     String url = "https://stackoverflow.com/questions/2835505"; 
     Document document = Jsoup.connect(url).get(); 

     String question = document.select("#question .post-text").text(); 
     System.out.println("Question: " + question); 

     Elements answerers = document.select("#answers .user-details a"); 
     for (Element answerer : answerers) { 
      System.out.println("Answerer: " + answerer.text()); 
     } 
    } 

} 

Как вы уже догадались, это печатает свой вопрос и имена всех отвечающими.

Answer 2

Вы может использовать html-парсер (много полезных ссылок здесь: java html parser).

Этот процесс называется «захват содержимого веб-сайта». Поиск «захватить содержимое веб-сайта java» для дальнейшей инверсии.

Answer 3

Загляните в библиотеку cURL. Я никогда не использовал его в Java, но я уверен, что для него должны быть привязки. В основном, то, что вы сделаете, это отправить запрос cURL на любую страницу, которую вы хотите «очистить». Запрос вернет строку с исходным кодом на страницу. Оттуда вы будете использовать регулярное выражение для анализа любых данных, которые вы хотите получить из исходного кода. В общем, как вы собираетесь это делать.

Answer 4

Это упоминается как скребок экрана, wikipedia содержит эту статью по контенту web scraping. Это может быть серьезной проблемой, потому что там есть какой-то уродливый, беспорядочный, взломанный, если не для браузера, умный HTML, так что удачи.

Answer 5

Возможно, вы захотите просмотреть HTML-код, чтобы узнать, можете ли вы найти строки, которые уникальны и рядом с вашим текстом, а затем вы можете использовать линии/char-offsets для доступа к данным.

Может быть неудобно в Java, если нет классов XML, подобных тем, которые были найдены в System.XML.Linq в C#.

Answer 6

Сам процесс обычно называется «соскабливанием». Вы можете использовать синтаксический анализатор, например TagSoup, для обработки страницы, как только вы ее извлекли.

Answer 7

Я бы использовал JTidy - это simlar для JSoup, но я не знаю JSoup хорошо. JTidy обрабатывает разбитый HTML и возвращает документ w3c, поэтому вы можете использовать это как источник для XSLT для извлечения интересующего вас контента.Если вы не знаете XSLT, то вы также можете пойти с JSoup, так как модель документа лучше работать, чем с w3c.

EDIT: быстрый просмотр веб-сайта JSoup показывает, что JSoup действительно может быть лучшим выбором. Кажется, он поддерживает селектора CSS из коробки для извлечения материала из документа. С этим легче работать, чем с XSLT.

Answer 8

решение JSoup велик, но если вам нужно извлечь только то, что на самом деле это просто может быть проще использовать регулярные выражения или String.indexOf

Как и другие уже упоминали процесс называется выскабливание

Answer 9

jsoup опоры Java 1,5

https://github.com/tburch/jsoup/commit/d8ea84f46e009a7f144ee414a9fa73ea187019a3

выглядит, что стопка была ошибкой, и был исправлен

Answer 10

Вы также можете попробовать jARVEST.

Он основан на JRuby DSL на чистом-Java-движке для веб-сайтов с расширением паутины.

Пример:

Найти все ссылки внутри веб-страницы (wget и xpath являются конструкциями языка jARVEST в):

wget | xpath('//a/@href') 

Внутри программы Java:

Jarvest jarvest = new Jarvest(); 
    String[] results = jarvest.exec(
    "wget | xpath('//a/@href')", //robot! 
    "http://www.google.com" //inputs 
); 
    for (String s : results){ 
    System.out.println(s); 
    }