找到问题的解决办法了么?

Logstash使用ES的template创建索引问题

Logstash | 作者 Julian | 发布于2017年11月02日 | 阅读数:12891

我希望logstash在自动创建索引的时候使用ES中定义好的template,但是我配置好之后,logstash自动创建的索引都不是我定义的template,请问要如何让logstash使用ES中定义的template创建索引?
logstash配置如下:
output {
elasticsearch {
action => "index"
hosts => ["localhost:9200"]
index => "%{team}-%{+YYYY.MM.dd}"
manage_template => false
template_name => "logstash"
template_overwrite => true
document_type => "%{[@metadata][type]}"
}
}
ES中的template如下:
{
"logstash": {
"order": 1,
"version": 50002,
"template": "logstash-*",
"settings": {
"index": {
"refresh_interval": "5s"
}
},
"mappings": {
"_default_": {
"dynamic_templates": [
{
"message_field": {
"path_match": "message",
"mapping": {
"norms": false,
"type": "text"
},
"match_mapping_type": "string"
}
}
,
{
"string_fields": {
"mapping": {
"norms": false,
"type": "text",
"fields": {
"keyword": {
"type": "keyword"
}
}
},
"match_mapping_type": "string",
"match": "*"
}
}
],
"_all": {
"enabled": false
},
"properties": {
"@timestamp": {
"include_in_all": false,
"type": "date"
},
"geoip": {
"dynamic": true,
"properties": {
"ip": {
"type": "ip"
},
"latitude": {
"type": "half_float"
},
"location": {
"type": "geo_point"
},
"longitude": {
"type": "half_float"
}
}
},
"@version": {
"include_in_all": false,
"type": "keyword"
}
}
}
},
"aliases": { }
}
}
已邀请:

xiaoke - http://blog.51cto.com/kexiaoke

赞同来自: Julian

你模板中的定义的是"template": "logstash-*",而Logstash output到es中使用的是index => "%{team}-%{+YYYY.MM.dd}"。肯定不会用默认的模板了。如果你要用默认的模板,索引名字应该为index => "logstash-%{team}-%{+YYYY.MM.dd}"

xwldyx

赞同来自:

模板方面没仔细研究过,可以查查两方面问题。一个是index的命名规则应该要符合template:logstash-*,一个是logstash那边也有个template,匹配规则应该是先匹配logstash的,如果es还有匹配的就用es的覆盖。

要回复问题请先登录注册