每天大概50亿条日志，主shard数据3T左右，没有分词。
11台机器，32核，800G*6 raid0 ssd，每个服务器部署2个datanode，28GheapSize，其中3台有masternode 10GB heapSize.
10w每秒的写入抗住没问题，但是单天50亿日志，到了下午感觉查起来有点费力。。
而且现在想做hot-warm结构，warm由N台sata大硬盘组成， 数据保留2个月，这样大的索引在warm机器上应该会变得更慢。
请问有什么办法优化么？
11台机器，32核，800G*6 raid0 ssd，每个服务器部署2个datanode，28GheapSize，其中3台有masternode 10GB heapSize.
10w每秒的写入抗住没问题，但是单天50亿日志，到了下午感觉查起来有点费力。。
而且现在想做hot-warm结构，warm由N台sata大硬盘组成， 数据保留2个月，这样大的索引在warm机器上应该会变得更慢。
请问有什么办法优化么？
0 个回复