目前有个项目,数据先被存储到ES中,ES每天新建一个index,可能时刻都会往ES里面存数据。 然后,又需要将ES中的数据取出来,用python做一些处理,再转存到postgresql数据库中。 看了python的helper.scan 函数,如果是对今天以前的index遍历存储,是没有问题的。问题是 对ES中当天的index数据怎么比较有效的获取?
因为如果还是用scan函数的话,是不是就存在重复读取数据的问题?效率有点低感觉。
才接触es,很多不懂,望各位大神点拨一下,不甚感激啊啊啊~~~~
因为如果还是用scan函数的话,是不是就存在重复读取数据的问题?效率有点低感觉。
才接触es,很多不懂,望各位大神点拨一下,不甚感激啊啊啊~~~~
0 个回复