绊脚石乃是进身之阶。

请教下写入es的并发量.

Elasticsearch | 作者 coolloves | 发布于2016年04月05日 | 阅读数：15000
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
目前使用的rsyslog写入es,有些离线数据想导入es,就通过rsyslog的imfile读入后解析然后传给es,看了下,大约5k doc/s的速度导入,那么几百g的日志导入进去,貌似时间也挺久的,有什么其他的途径能更快点吗?
2016-04-05 添加评论

没有找到相关结果

    已邀请:

    helloes

    赞同来自: stab 、coolloves

    • 用SSD
    • 多线程bulk
    • 尽量设置每个bulk的大小在5~15M左右
    • 增加节点、分片
    • 设置多个path.data目录，或配置RAID 0阵列
    • 如果用的是SSD，设置index.store.throttle.type：none
    • 禁用_all
    • 增大index.refresh_interval的值，默认1s
    • 增大index.translog.flush_threshold_size的值
    • 设置0副本，建完索引优化后再增加副本
    • 增大indices.memory.index_buffer_size的值
    • 用比较新版本的ES
    2016-04-05 2 2
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2025 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助