在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

logstash-input-jdbc 数据已经导入完成 不退出一直循环导入

Logstash | 作者 ruyanxiang | 发布于2017年06月15日 | 阅读数:7493

我测试了10W数据 数据已经导入到ES集群中 但是logstash并不退出 日志还在一直输出 查询数据库的消息 又从头开始查数据库 是我哪设置的不对吗
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

把定时任务那里取消了,
或者设置记录最大值。

lz8086 - es小司机

赞同来自:

https://www.elastic.co/guide/e ... edule
 
定时任务改下,其次也可看下执行的sql

redhat

赞同来自:

我之前也是遇到过同样的问题,其实是需要增量导入的。可以看下这篇文章,说的更详细些http://www.cnblogs.com/licongyu/p/5383334.html

Aoseala

赞同来自:

use_column_value => true
tracking_column => updated_time
schedule => "* * * * *"
statement => "SELECT * from principal_clause where principal_clause.updated_time > :sql_last_value order by principal_clause.updated_time ASC"
        last_run_metadata_path => "d:\dev\last_run_metadata_path\last_run_metadata_path"
 

QQ截图20170621180349.jpg

 
 
设置一下这几个参数,是要一直监听的,因为有修改,或新增是会同步到es的,可以设置一下schedule  相当于linux的计划任务,所以logstash 会一直跑着的,你可以手动退出。

要回复问题请先登录注册