在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

ES生成的索引都是.ds开头的

Elasticsearch | 作者 xiao901231 | 发布于2021年11月12日 | 阅读数:1943

filebeat收集日志到Elasticsearch,生成Data Stream正常的,索引不对,试过好几种配置都不行
    source: monitor-api
  multiline:
    pattern: ^\d{4}\-\d{2}\-\d{2}
    negate: true
    match: after
    
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false


setup.ilm.enabled: false
setup.template:
  name: 'logs'
  pattern: 'logs-*'
  enabled: false
  
setup.template.settings:
  index.number_of_shards: 1
  
output.elasticsearch:
  # 定义ES的IP:PORT
  hosts: ["192.168.0.223:9200"]
  index: "logs-monitor-api-%{+yyyy-MM-dd}"
  username: "mlxg"
  password: "Mlxg2234"
# 定义模板的相关信息  
#setup.template:
#  name: '%{[fields.source]}'
#  pattern: '%{[fields.source}-*'
#  enabled: false
#  overwrite: true


processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
 
1636689777(1).jpg 1636689788(1).jpg
已邀请:

kin122

赞同来自:

es新版本中,logs开头的会被默认的模板写成datastream的形式,.ds就是datastream的简写

kin122

赞同来自:

就这些名字开头得

要回复问题请先登录注册