项目中重建索引,将数据用多线程bulk的方式写入elasticsearch就会经常发生gc overhead的错误。但是文档的数据量远小于分配的内存,请问是什么原因。
JVM arguments [-Xms2g, -Xmx2g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -Djdk.io.permissionsUseCanonicalPath=true, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Dlog4j.skipJansi=true, -XX:+HeapDumpOnOutOfMemoryError, -Delasticsearch, -Des.path.home=D:\elasticsearch-5.5.1]
构建的索引只有一个不到20mb的
yellow open demo yT3z2mApSAKmAlg8166HJg 5 1 13687 0 18.5mb 18.5mb
,
根据网上的解答,添加了
discovery.zen.fd.ping_timeout: 1000s
discovery.zen.fd.ping_retries: 100
也没有解决
JVM arguments [-Xms2g, -Xmx2g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -Djdk.io.permissionsUseCanonicalPath=true, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Dlog4j.skipJansi=true, -XX:+HeapDumpOnOutOfMemoryError, -Delasticsearch, -Des.path.home=D:\elasticsearch-5.5.1]
构建的索引只有一个不到20mb的
yellow open demo yT3z2mApSAKmAlg8166HJg 5 1 13687 0 18.5mb 18.5mb
,
根据网上的解答,添加了
discovery.zen.fd.ping_timeout: 1000s
discovery.zen.fd.ping_retries: 100
也没有解决
1 个回复
laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net
赞同来自: