индекс документации URL со стеком ELK

Question

Я хочу, чтобы загрузить ниже документации с использованием logstash сделать индексацию его эластичным поиска:

https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html

В настоящее время я нахожусь в состоянии индексировать все журналы с elasticsearch, но я не уверен, как индексировать документацию с помощью URL-адреса.

Этот сценарий действителен с помощью logstash, если да, пожалуйста, помогите мне в этом.

Answer 1

Вы могли бы дать ему идти, используя http poller плагин, который был released недавно, в вашем logstash самой конфигурации. input может выглядеть примерно так:

input { 
    http_poller { 
    urls => { 
     myurl=> "https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html" 
     } 
    } 
    request_timeout => 60 
    interval => 60 
    codec => "json" <--- to decode the results to json 
    } 
} 

выше всего лишь пример, чтобы вы могли воспроизвести. Надеюсь это поможет!