python使用elasticsearch模块中的search函数连接es抓取数据时,python程序内存泄漏
Elasticsearch | 作者 bloodstone | 发布于2020年01月09日 | 阅读数:2330
medcl工,您好,我司最近使用elk做了一套日志分析平台。由于需要对部分数据进行逻辑处理,我们选取了python进行这部分工作。由于我们的业务需求,python客户端需要一直处于启动状态,每隔五分钟或十分钟从es中抓取10000条数据。但是在测试的过程中,我们发现python存在内存泄漏问题,随着时间递增,内存会无上限的增长。我们删除了有关数据处理逻辑的代码,只剩下了python与es建立连接,并使用elasticsearch模块中的search函数从抓取数据的循环,每次10000条,每三秒抓取一次,我们发现内存泄漏依然存在。用python memory_profiler的@profile观察我们的代码的内存占用情况,有点像这个帖子里楼主的情况,内存不会每次增加,但是有时候会增加,有时候增加之后还会回落,但有时不会回落(https://github.com/elastic/ela ... es/212)。这种内存泄漏应该怎么样解决呢?
1 个回复
匿名用户
赞同来自: bloodstone
python 这种语言 问题非常多,而且对内存的占用非常的大,不要在意内存问题。
最好配置个大内存的服务器,例如64或者128GB。
以前 我们公司,技术栈有python的,后来干脆取消了。问题非常多,内存占用非常大。