2017-01-28 8 views
1

Я импортирую данные в стек ELK с использованием Bulk API.Elastic Search Bulk API, Pipeline и Geo IP

{"index":{"_index":"waf","_type":"logs","_id":"325d05bb6900440e"}} 
{"id":"325d05bb6900440e","country":"US","ip":"1.1.1.1","protocol":"HTTP/1.1","method":"GET","host":"xxxxx","user_agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36","uri":"/?a=><script>alert(1)</script>","request_duration":1999872,"triggered_rule_ids":["100030"],"action":"challenge","cloudflare_location":"unknown","occurred_at":"2017-01-23T17:38:58.46Z","rule_detail":[{"id":"","description":"ARGS:A"}],"rule_message":"Generic XSS Probing","type":"waf","rule_id":"100030"} 

У меня есть внутрибрюшинно в данных, которые я хочу, чтобы включить в долготе и широте использования GeoIP аддон.

Я создал pipleine:

PUT _ingest/pipeline/geoip-info 
{ 
"description": "Add geoip info", 
"processors": [ 
{ 
    "geoip": { 
    "field": "ip", 
    "target_field": "client_geoip", 
    "properties": ["location"], 
    "ignore_failure": true 
    } 
} 
] 
}` 

Однако, когда я импортировать данные трубопровод игнорировали может кто-нибудь объяснить, как я изменить насыпной API для передачи информации через трубопровод, чтобы добавить длинный и лат для меня создать карты.

Благодаря

ответ

2

В вашей насыпи вызова вы пропустили название трубопровода

                here 
                     | 
                     V 
{"index":{"_index":"waf","_type":"logs","_id":"325d05bb6900440e", "pipeline": "geoip-info"}} 
{"id":"325d05bb6900440e","country":"US","ip":"1.1.1.1","protocol":"HTTP/1.1","method":"GET","host":"xxxxx","user_agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36","uri":"/?a=><script>alert(1)</script>","request_duration":1999872,"triggered_rule_ids":["100030"],"action":"challenge","cloudflare_location":"unknown","occurred_at":"2017-01-23T17:38:58.46Z","rule_detail":[{"id":"","description":"ARGS:A"}],"rule_message":"Generic XSS Probing","type":"waf","rule_id":"100030"} 

Или вы можете также установить его в объемном URL

POST _bulk?pipeline=geoip-info 

 Смежные вопросы

  • Нет связанных вопросов^_^