社区日报 第783期 (2019-11-15)
1、Elasticsearch在NLP领域实践(梯子)
http://t.cn/Ai1V7SUo
2、在Kubernetes中运行Elasticsearch
http://t.cn/Airjq0WT
3、使用Elasticsearch和fscrawler构建基本的搜索引擎(梯子)
http://t.cn/AirjqWkF
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
1、Elasticsearch在NLP领域实践(梯子)
http://t.cn/Ai1V7SUo
2、在Kubernetes中运行Elasticsearch
http://t.cn/Airjq0WT
3、使用Elasticsearch和fscrawler构建基本的搜索引擎(梯子)
http://t.cn/AirjqWkF
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »
社区日报 第782期 (2019-11-14)
http://t.cn/AirpGazj
2.elasticSearch terms aggregation不准确的总结
http://t.cn/AirpGKrS
3.在elastic机器学习中对异常值检测结果进行基准测试
http://t.cn/AirpGNnt
编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/AirpGazj
2.elasticSearch terms aggregation不准确的总结
http://t.cn/AirpGKrS
3.在elastic机器学习中对异常值检测结果进行基准测试
http://t.cn/AirpGNnt
编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »
【深圳ES Meetup】阿里云欧阳楚才:ES实践中最大的业务挑战是保障线上服务稳定
分享嘉宾 欧阳楚才 搜索技术专家 @阿里巴巴
在阿里巴巴负责Elasticsearch云服务研发工作,有比较丰富的搜索引擎研发经验,熟悉Lucene、Elasticsearch等开源技术,擅长高并发系统架构设计。
Q1、ES 在阿里云实践中遇到最大的业务挑战是什么?如何解决的?
A:阿里云Elasticsearch最大的业务挑战是保障线上服务稳定。通过支持多可用区部署,避免单机房异常导致服务不可用。通过ECS本地盘、ESSD云盘提供高IOPS的存储,避免IO瓶颈导致查询响应慢,使用ECS本地盘也可以降低存储成本。通过ElasticFlow离线构建索引,避免写入和查询争抢资源导致查询响应变慢。通过智能诊断服务Eyou定期检查Elasticsearch服务健康状况,及时发现系统存在的隐患。
Q2、您在高并发系统架构设计方面有哪些心得为大家分享?
A:结合业务场景做容量规划,评估系统需要支撑的写入TPS、查询QPS、最大响应延迟时间。对于Elasticsearch而言,通常最大的瓶颈在磁盘IO,尽量使用SSD盘高性能存储设备。为了系统稳定,单个节点Elasticsearch的JVM内存尽量不要超过32G,单节点存储数据量尽量不要超过5TB,高并发搜索场景推荐单节点配置16核CPU、64G内存、2TB SSD盘。Elasticsearch集群节点数不要超过300个,数据量大的集群根据业务拆分多个集群,配置跨集群搜索。系统上线前做全链路压测,找到系统瓶颈。生产环境开启慢查询日志,分析bad case。
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?
A:Elasticsearch是开源的分布式搜索和分析引擎,开箱即用、弹性扩展方便。从早期的ELK到现在的Elastic技术栈,版本迭代持续加速,Elasticsearch的性能、扩展性、相关性不断优化。Elasticsearch最开始设计用于搜索引擎,后来不断被应用到日志分析、数据库加速、安全风控等领域,通过插件扩展机制可以用于图像、视频等非结构化数据分析。
Q4、您对本次技术沙龙活动的主题分享有什么期待?
A:期待能看到更多Elasticsearch应用案例,跟大家一起交流最佳实践。
Q5、您对 Elastic 中文社区发展有什么意见或建议呢?
A:Elastic中文社区之前组织过翻译《Elasticsearch权威指南》中文文档,当时的Elasticsearch版本为2.x,现在的Elasticsearch7.x版本在API、功能方面已经有很大变化,建议组织志愿者更新文档。
11月16日 Elastic 中文社区深圳 Meetup 火热报名中
主题分享:《阿里云Elasticsearch内核优化与应用实践》欧阳楚才
主题摘要:Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。
分享嘉宾 欧阳楚才 搜索技术专家 @阿里巴巴
在阿里巴巴负责Elasticsearch云服务研发工作,有比较丰富的搜索引擎研发经验,熟悉Lucene、Elasticsearch等开源技术,擅长高并发系统架构设计。
Q1、ES 在阿里云实践中遇到最大的业务挑战是什么?如何解决的?
A:阿里云Elasticsearch最大的业务挑战是保障线上服务稳定。通过支持多可用区部署,避免单机房异常导致服务不可用。通过ECS本地盘、ESSD云盘提供高IOPS的存储,避免IO瓶颈导致查询响应慢,使用ECS本地盘也可以降低存储成本。通过ElasticFlow离线构建索引,避免写入和查询争抢资源导致查询响应变慢。通过智能诊断服务Eyou定期检查Elasticsearch服务健康状况,及时发现系统存在的隐患。
Q2、您在高并发系统架构设计方面有哪些心得为大家分享?
A:结合业务场景做容量规划,评估系统需要支撑的写入TPS、查询QPS、最大响应延迟时间。对于Elasticsearch而言,通常最大的瓶颈在磁盘IO,尽量使用SSD盘高性能存储设备。为了系统稳定,单个节点Elasticsearch的JVM内存尽量不要超过32G,单节点存储数据量尽量不要超过5TB,高并发搜索场景推荐单节点配置16核CPU、64G内存、2TB SSD盘。Elasticsearch集群节点数不要超过300个,数据量大的集群根据业务拆分多个集群,配置跨集群搜索。系统上线前做全链路压测,找到系统瓶颈。生产环境开启慢查询日志,分析bad case。
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?
A:Elasticsearch是开源的分布式搜索和分析引擎,开箱即用、弹性扩展方便。从早期的ELK到现在的Elastic技术栈,版本迭代持续加速,Elasticsearch的性能、扩展性、相关性不断优化。Elasticsearch最开始设计用于搜索引擎,后来不断被应用到日志分析、数据库加速、安全风控等领域,通过插件扩展机制可以用于图像、视频等非结构化数据分析。
Q4、您对本次技术沙龙活动的主题分享有什么期待?
A:期待能看到更多Elasticsearch应用案例,跟大家一起交流最佳实践。
Q5、您对 Elastic 中文社区发展有什么意见或建议呢?
A:Elastic中文社区之前组织过翻译《Elasticsearch权威指南》中文文档,当时的Elasticsearch版本为2.x,现在的Elasticsearch7.x版本在API、功能方面已经有很大变化,建议组织志愿者更新文档。
11月16日 Elastic 中文社区深圳 Meetup 火热报名中
主题分享:《阿里云Elasticsearch内核优化与应用实践》欧阳楚才
主题摘要:Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。
收起阅读 »
ES脚本性能优化一例
使用painless脚本为文档自定义打分是很常见的场景,对新人来说也是最容易造成性能问题的地方。本文中使用两个例子简单谈一下脚本性能优化。
目标
ES本身是基于倒排等数据结构实现的查询,因此在做类似Term、Match等可以利用底层数据结构的场景进行查询时,性能是很好的。
脚本和term等查询不一样,无法利用现有的各种数据结构,可以简单理解成循环:
docs = getDocs(xxx); // 获取满足条件的文档列表
for(Doc doc : docs) {
score = getScoreByScript(doc);
}
因此脚本的性能取决于两个地方:脚本的复杂度和满足条件的文档数。
例子1
我们有个场景是查询指定坐标指定范围内的POI列表,例如5公里内的景点列表。
由于我们的距离公式和ES默认的都不一致,如下:
/**
* 计算距离,返回单位:米
*/
public static Double getDistance(Double lat1, Double lng1, Double lat2, Double lng2) {
double diffLon = Math.abs(lng1 - lng2);
if (diffLon > 180)
diffLon -= 360;
return Math.sqrt(Math.pow(diffLon, 2) + Math.pow(lat1 - lat2, 2)) * 110.0 * 1000;
}
所以该同学把这段Java代码转成了Painless,在sort里使用这个该方法计算出距离。上线以后发现ES有了很多慢查询,对应的服务也95线、99线也比较高。
原因是其他脚本没有有效地缩小数据量,导致有几百万的数据需要使用该脚本做距离计算,给ES的CPU造成很大压力,查询性能也比较差。
该例子优化起来很简单,即使用ES自带的distance做较大范围的限制,例如需要5公里的数据,可以用ES的plain距离做限制,再加上之前的自定义脚本逻辑。由于ES的plain距离计算性能好很多,因此经过该过滤以后,自定义脚本的文档量少了很多,因此整体性能有了很大提升。
例子2
有个场景是对文章进行搜索,如果文章关联的城市是指定的几个城市,则给额外的加分。例如:
{
"query": {xxx},
"sort": [
{
"_script": {
"script": {
"source": "def score = 0;def cityIds = doc['cityIds']; def paramCityIds = params.cityIds; for (int i=0; i<cityIds.size(); i++){if (paramCityIds.contains(cityIds[i])){score += 100;}} return score;",
"lang": "painless",
"params": {
"cityIds": [2,1,3]
}
},
"type": "number",
"order": "desc"
}
}
]
}
问题和例子1一样,该功能的性能比较差。虽然脚本简单,但是满足的文档量比较大,带来的计算量也比较多,因此性能上不去。
这是一个比较常见的场景,问题的根源还是对ES的机制不够了解,优化起来也很简单,想办法利用到倒排就可以了。
ES里有个专门针对改场景的查询:constant_score,因此以上查询可以修改为:
{
"query": {
"should": [
{
"constant_score": {
"filter": {
"term": {
"cityIds": 2
}
},
"boost": 5
}
},
{
"constant_score": {
"filter": {
"term": {
"cityIds": 1
}
},
"boost": 5
}
},
{
"constant_score": {
"filter": {
"term": {
"cityIds": 3
}
},
"boost": 5
}
}
]
},
"sort": [
{
"_score": "desc"
]
}
性能即可得到极大改善。
使用painless脚本为文档自定义打分是很常见的场景,对新人来说也是最容易造成性能问题的地方。本文中使用两个例子简单谈一下脚本性能优化。
目标
ES本身是基于倒排等数据结构实现的查询,因此在做类似Term、Match等可以利用底层数据结构的场景进行查询时,性能是很好的。
脚本和term等查询不一样,无法利用现有的各种数据结构,可以简单理解成循环:
docs = getDocs(xxx); // 获取满足条件的文档列表
for(Doc doc : docs) {
score = getScoreByScript(doc);
}
因此脚本的性能取决于两个地方:脚本的复杂度和满足条件的文档数。
例子1
我们有个场景是查询指定坐标指定范围内的POI列表,例如5公里内的景点列表。
由于我们的距离公式和ES默认的都不一致,如下:
/**
* 计算距离,返回单位:米
*/
public static Double getDistance(Double lat1, Double lng1, Double lat2, Double lng2) {
double diffLon = Math.abs(lng1 - lng2);
if (diffLon > 180)
diffLon -= 360;
return Math.sqrt(Math.pow(diffLon, 2) + Math.pow(lat1 - lat2, 2)) * 110.0 * 1000;
}
所以该同学把这段Java代码转成了Painless,在sort里使用这个该方法计算出距离。上线以后发现ES有了很多慢查询,对应的服务也95线、99线也比较高。
原因是其他脚本没有有效地缩小数据量,导致有几百万的数据需要使用该脚本做距离计算,给ES的CPU造成很大压力,查询性能也比较差。
该例子优化起来很简单,即使用ES自带的distance做较大范围的限制,例如需要5公里的数据,可以用ES的plain距离做限制,再加上之前的自定义脚本逻辑。由于ES的plain距离计算性能好很多,因此经过该过滤以后,自定义脚本的文档量少了很多,因此整体性能有了很大提升。
例子2
有个场景是对文章进行搜索,如果文章关联的城市是指定的几个城市,则给额外的加分。例如:
{
"query": {xxx},
"sort": [
{
"_script": {
"script": {
"source": "def score = 0;def cityIds = doc['cityIds']; def paramCityIds = params.cityIds; for (int i=0; i<cityIds.size(); i++){if (paramCityIds.contains(cityIds[i])){score += 100;}} return score;",
"lang": "painless",
"params": {
"cityIds": [2,1,3]
}
},
"type": "number",
"order": "desc"
}
}
]
}
问题和例子1一样,该功能的性能比较差。虽然脚本简单,但是满足的文档量比较大,带来的计算量也比较多,因此性能上不去。
这是一个比较常见的场景,问题的根源还是对ES的机制不够了解,优化起来也很简单,想办法利用到倒排就可以了。
ES里有个专门针对改场景的查询:constant_score,因此以上查询可以修改为:
{
"query": {
"should": [
{
"constant_score": {
"filter": {
"term": {
"cityIds": 2
}
},
"boost": 5
}
},
{
"constant_score": {
"filter": {
"term": {
"cityIds": 1
}
},
"boost": 5
}
},
{
"constant_score": {
"filter": {
"term": {
"cityIds": 3
}
},
"boost": 5
}
}
]
},
"sort": [
{
"_score": "desc"
]
}
性能即可得到极大改善。
收起阅读 »社区日报 第781期 (2019-11-13)
http://t.cn/Airah1qx
2、 海量日志分析平台在 58 集团的实践
http://t.cn/Aira7yLu
3、Elasticsearch实战 磁盘IO被打满
http://t.cn/AiraqfUb
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/Airah1qx
2、 海量日志分析平台在 58 集团的实践
http://t.cn/Aira7yLu
3、Elasticsearch实战 磁盘IO被打满
http://t.cn/AiraqfUb
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »
【深圳ES Meetup】字节跳动黄杨锋:从0到1构建 ES 服务平台的挑战
分享嘉宾 黄杨锋 高级工程师 @字节跳动
目前在头条深圳负责ES服务平台相关的研发工作;此前曾就职于华为、YY、腾讯等企业,在腾讯基于ES做微信支付数据的检索。
Q1、从0到1构建 ES 服务平台的过程中有哪些痛点?分别是如何解决的?
A:(1)需要隔离,远离大集群,是通过 k8s来解决。
(2)性能分析方面相对还比较薄弱 ,打算增加metric和trace日志来看看具体耗时。
Q2、在 ES 服务平台方面未来还有什么样的规划?
A:相关规划详见下图
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?
A: ES 发展很快,周边生态也越来越丰富,希望 ES 在快速发展的过程中,更加注重查询性能的优化提升,以及集群的稳定性。
Q4、您对本次技术沙龙活动的主题分享有什么期待?
A:期望看到性能优化、机器学习相关的最新进展。
Q5、您对 Elastic 中文社区发展有什么意见或建议呢?
A:(1)ES 在中国程序员中的影响力感觉可以加强,希望可以做到像 Google/Amazon 在中国程序员群体上那样有很大的影响力;
(2)希望官方出一些内核相关的书籍或文章;
(3)希望价钱可以再调低点。
11月16日 Elastic 中文社区深圳 Meetup 火热报名中
主题分享:《基于K8S的ES服务平台在头条的实践介绍》黄杨锋
主题摘要:ES 服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍 ES 服务平台从 0 到 1 的创建过程中所做的一些工作,包括 K8S 碰到的一些难点、ES 功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。
分享嘉宾 黄杨锋 高级工程师 @字节跳动
目前在头条深圳负责ES服务平台相关的研发工作;此前曾就职于华为、YY、腾讯等企业,在腾讯基于ES做微信支付数据的检索。
Q1、从0到1构建 ES 服务平台的过程中有哪些痛点?分别是如何解决的?
A:(1)需要隔离,远离大集群,是通过 k8s来解决。
(2)性能分析方面相对还比较薄弱 ,打算增加metric和trace日志来看看具体耗时。
Q2、在 ES 服务平台方面未来还有什么样的规划?
A:相关规划详见下图
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?
A: ES 发展很快,周边生态也越来越丰富,希望 ES 在快速发展的过程中,更加注重查询性能的优化提升,以及集群的稳定性。
Q4、您对本次技术沙龙活动的主题分享有什么期待?
A:期望看到性能优化、机器学习相关的最新进展。
Q5、您对 Elastic 中文社区发展有什么意见或建议呢?
A:(1)ES 在中国程序员中的影响力感觉可以加强,希望可以做到像 Google/Amazon 在中国程序员群体上那样有很大的影响力;
(2)希望官方出一些内核相关的书籍或文章;
(3)希望价钱可以再调低点。
11月16日 Elastic 中文社区深圳 Meetup 火热报名中
主题分享:《基于K8S的ES服务平台在头条的实践介绍》黄杨锋
主题摘要:ES 服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍 ES 服务平台从 0 到 1 的创建过程中所做的一些工作,包括 K8S 碰到的一些难点、ES 功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。
收起阅读 »
社区日报 第780期 (2019-11-12)
http://t.cn/AirIlimU
2、每秒5000万的存储能力,我们是如何做到的。
http://t.cn/Ai1s3aVT
3、MySQL 慢查询日志导入 Elasticsearch 可视化查询分析。
http://t.cn/AirIl9cm
编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
http://t.cn/AirIlimU
2、每秒5000万的存储能力,我们是如何做到的。
http://t.cn/Ai1s3aVT
3、MySQL 慢查询日志导入 Elasticsearch 可视化查询分析。
http://t.cn/AirIl9cm
编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub 收起阅读 »
社区日报 第779期 (2019-11-11)
http://t.cn/AirbIiTh
2、 剖析ElasticSearch核心概念,NRT,索引,分片,副本等
http://t.cn/Air4o9fn
3、为什么Elasticsearch查询速度比B-tree块
http://t.cn/Air49zm1
编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/AirbIiTh
2、 剖析ElasticSearch核心概念,NRT,索引,分片,副本等
http://t.cn/Air4o9fn
3、为什么Elasticsearch查询速度比B-tree块
http://t.cn/Air49zm1
编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »
社区日报 第778期 (2019-11-10)
http://t.cn/EMBiRNp
2.(自备梯子)AWS Elasticsearch入门。
http://t.cn/AirhxMeL
3.(自备梯子)Apple试图杀死基于Web的App?
http://t.cn/Airhidlj
编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/EMBiRNp
2.(自备梯子)AWS Elasticsearch入门。
http://t.cn/AirhxMeL
3.(自备梯子)Apple试图杀死基于Web的App?
http://t.cn/Airhidlj
编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »
【深圳ES Meetup】李猛:DB与ES结合,是业务系统实践值得探讨的事
李猛 架构师/Elastic认证工程师
Elastic Stack产品深度用户,2012/2013年接触Elasticsearch,对Elastic Stack开发、架构、运维等方面有深入体验,实践过多种ES项目,最暴力的大数据分析应用,最复杂的业务系统应用等。
Q1、作为深度用户,当初是基于什么样的动机和考量选择使用 ES 产品并持续深入探索的?
A:易用性与功能强大,个人平常比较爱好算法研究,选择任何数据产品本质上都是选择算法,算法的本质决定了产品的强大。
架构是个宏观问题,ES的设计是标准的分布式,架构的优秀设计带来的是易用性;
算法是个微观问题,ES集成了很多优秀的算法,这样在很多业务场景下都可满足,而不用更换不同的数据产品,这样也会带来产品运维方面的便利性,保障应用的技术栈不至于过多复杂。
Q2、在探索 DB 与 ES 的互通方面,有遇到什么难题吗?最后是如何解决的呢?
A:数据一致性与实时性问题。应用架构思维变化,业务调整变化与技术方案变化。
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?
A:ES目前主要应用是在单索引条件下查询,附带有简单的聚合分析能力。复杂的分析能力不具备,ES未来会增强复杂的分析能力,比如有条件的支持2个索引的关联分析。
Q4、您对本次技术沙龙活动的主题分享有什么期待?
A:期望更多人参加探讨更多的业务应用场景,比如传统应用方面、大数据方面、机器学习方面;帮助大家以后项目实战有更多的案例参考。
Q5、您对 Elastic 中文社区发展有什么意见或建议呢?
A:ES目前在国内的热度几乎超过任何数据库,几乎大大小小的公司,都在使用;从开始入门到成熟运用多多少少都会遇到很多问题, 希望社区活动更加多一点,业余的交流更多一点。比如可以办一些,走进某些企业的活动。
11月16日 Elastic 中文社区深圳 Meetup 火热报名中
分享主题:《DB到ES数据实时同步之路》 李猛
主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷;如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。
李猛 架构师/Elastic认证工程师
Elastic Stack产品深度用户,2012/2013年接触Elasticsearch,对Elastic Stack开发、架构、运维等方面有深入体验,实践过多种ES项目,最暴力的大数据分析应用,最复杂的业务系统应用等。
Q1、作为深度用户,当初是基于什么样的动机和考量选择使用 ES 产品并持续深入探索的?
A:易用性与功能强大,个人平常比较爱好算法研究,选择任何数据产品本质上都是选择算法,算法的本质决定了产品的强大。
架构是个宏观问题,ES的设计是标准的分布式,架构的优秀设计带来的是易用性;
算法是个微观问题,ES集成了很多优秀的算法,这样在很多业务场景下都可满足,而不用更换不同的数据产品,这样也会带来产品运维方面的便利性,保障应用的技术栈不至于过多复杂。
Q2、在探索 DB 与 ES 的互通方面,有遇到什么难题吗?最后是如何解决的呢?
A:数据一致性与实时性问题。应用架构思维变化,业务调整变化与技术方案变化。
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?
A:ES目前主要应用是在单索引条件下查询,附带有简单的聚合分析能力。复杂的分析能力不具备,ES未来会增强复杂的分析能力,比如有条件的支持2个索引的关联分析。
Q4、您对本次技术沙龙活动的主题分享有什么期待?
A:期望更多人参加探讨更多的业务应用场景,比如传统应用方面、大数据方面、机器学习方面;帮助大家以后项目实战有更多的案例参考。
Q5、您对 Elastic 中文社区发展有什么意见或建议呢?
A:ES目前在国内的热度几乎超过任何数据库,几乎大大小小的公司,都在使用;从开始入门到成熟运用多多少少都会遇到很多问题, 希望社区活动更加多一点,业余的交流更多一点。比如可以办一些,走进某些企业的活动。
11月16日 Elastic 中文社区深圳 Meetup 火热报名中
分享主题:《DB到ES数据实时同步之路》 李猛
主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷;如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。
收起阅读 »
社区日报 第777期 (2019-11-09)
1.从Elasticsearch到ElasticStack的技术演进之路 http://t.cn/AiBeonIc
2.利用dense_vector类型实现词向量搜索 http://t.cn/AiBekFwz
3.文本检索课程笔记系列: http://t.cn/AiBekFwh http://t.cn/AiBekFwP http://t.cn/AiBekFw7
1.从Elasticsearch到ElasticStack的技术演进之路 http://t.cn/AiBeonIc
2.利用dense_vector类型实现词向量搜索 http://t.cn/AiBekFwz
3.文本检索课程笔记系列: http://t.cn/AiBekFwh http://t.cn/AiBekFwP http://t.cn/AiBekFw7
收起阅读 »社区日报 第776期 (2019-11-08)
http://1t.click/aYvT
2、 一文带您快速入门可视化分析平台 Kibana
http://1t.click/aYvV
3、分布式搜索引擎面试题
(一)https://dwz.cn/Dcya8QQB
(二)https://dwz.cn/bMMIjkMJ
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://1t.click/aYvT
2、 一文带您快速入门可视化分析平台 Kibana
http://1t.click/aYvV
3、分布式搜索引擎面试题
(一)https://dwz.cn/Dcya8QQB
(二)https://dwz.cn/bMMIjkMJ
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »
社区日报 第775期 (2019-11-07)
http://t.cn/AiBR3PuQ
2、(自备梯子)使用 ELK 导出 CouchDB 的数据
http://t.cn/AiBRBlFN
3、(自备梯子)引入 BERT,在 es 上实现语义搜索
http://t.cn/AiBRg9JP
编辑:rockybean
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/AiBR3PuQ
2、(自备梯子)使用 ELK 导出 CouchDB 的数据
http://t.cn/AiBRBlFN
3、(自备梯子)引入 BERT,在 es 上实现语义搜索
http://t.cn/AiBRg9JP
编辑:rockybean
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »
社区日报 第774期 (2019-11-06)
http://t.cn/AiBlrpMC
2、Elastic:应用程序性能监控/管理(APM)实践
http://t.cn/Ai1saCNR
3、Flink 实时写入数据到 ElasticSearch 性能调优
http://t.cn/AiujKITJ
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/AiBlrpMC
2、Elastic:应用程序性能监控/管理(APM)实践
http://t.cn/Ai1saCNR
3、Flink 实时写入数据到 ElasticSearch 性能调优
http://t.cn/AiujKITJ
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »
社区日报 第773期 (2019-11-05)
http://t.cn/RmQhDoR
2、Elasticsearch在日志分析领域应用和运维实践。
http://t.cn/AiBocweP
3、go操作ElasticSearch实战。
http://t.cn/AiBocyxj
编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
http://t.cn/RmQhDoR
2、Elasticsearch在日志分析领域应用和运维实践。
http://t.cn/AiBocweP
3、go操作ElasticSearch实战。
http://t.cn/AiBocyxj
编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »