Well,不要刷屏了

社区日报 第1269期 (2021-06-29)

1. 使用ElasticSearch构建一个完整的搜索引擎
https://nladuo.github.io/2018/ ... 258E/
2. 使用 Elasticsearch 实现博客站内搜索
https://imququ.com/post/elasticsearch.html
3. FastAPI 完成对 Elasticsearch 的异步数据插入
https://blog.csdn.net/qq_45668 ... 29750

编辑:wt
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 使用ElasticSearch构建一个完整的搜索引擎
https://nladuo.github.io/2018/ ... 258E/
2. 使用 Elasticsearch 实现博客站内搜索
https://imququ.com/post/elasticsearch.html
3. FastAPI 完成对 Elasticsearch 的异步数据插入
https://blog.csdn.net/qq_45668 ... 29750

编辑:wt
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

【北京站】Elastic中文社区 & 阿里云 Meetup 2021-07-10

banner 

活动介绍

本次Meetup北京站由阿里云和Elastic联合举办,邀请多位资深技术专家探讨在搜索、安全、内核优化等方向的实践与创新,共同分享 Elasticsearch技术大咖的一线经验与深度思考。

报名方式

链接:https://www.bagevent.com/event/7567032

活动时间

2021年07月10日 13:00-18:00

活动地址

北京朝阳区望京阿里中心A座5F-14岳麓书院

活动流程

13:00,观众入场签到
13:15 - 13:30,Elasticsearch百人大作战二期正式启动
13:30 - 14:10,Elastic Stack on Kubernetes 实践方案
        吴斌
        Elastic中文社区副主席
14:10 - 14:50,Elasticsearch 在字节跳动的内核优化实践
        张超
        字节跳动,负责 Elasticsearch 的内核优化工作
14:50 - 15:30,云原生下的超大规模es集群运维
        吴迪
        阿里巴巴集团高级技术专家

15:30 - 16:00,茶歇
16:00 - 16:40,基于canal和debezium的企业级数据实时同步
        王明亚
        阿里云DataWorks数据集成技术专家
16:40 - 17:20,Delta Lake 数据湖和 Lakehouse 架构介绍以及在 ES 中的应用
        刘林宏
        先后在 Intel, Baidu, Databricks 从事 Spark 相关研发工作
17:20 - 17:40,抽奖,合影
17:40,活动结束
继续阅读 »

banner 

活动介绍

本次Meetup北京站由阿里云和Elastic联合举办,邀请多位资深技术专家探讨在搜索、安全、内核优化等方向的实践与创新,共同分享 Elasticsearch技术大咖的一线经验与深度思考。

报名方式

链接:https://www.bagevent.com/event/7567032

活动时间

2021年07月10日 13:00-18:00

活动地址

北京朝阳区望京阿里中心A座5F-14岳麓书院

活动流程

13:00,观众入场签到
13:15 - 13:30,Elasticsearch百人大作战二期正式启动
13:30 - 14:10,Elastic Stack on Kubernetes 实践方案
        吴斌
        Elastic中文社区副主席
14:10 - 14:50,Elasticsearch 在字节跳动的内核优化实践
        张超
        字节跳动,负责 Elasticsearch 的内核优化工作
14:50 - 15:30,云原生下的超大规模es集群运维
        吴迪
        阿里巴巴集团高级技术专家

15:30 - 16:00,茶歇
16:00 - 16:40,基于canal和debezium的企业级数据实时同步
        王明亚
        阿里云DataWorks数据集成技术专家
16:40 - 17:20,Delta Lake 数据湖和 Lakehouse 架构介绍以及在 ES 中的应用
        刘林宏
        先后在 Intel, Baidu, Databricks 从事 Spark 相关研发工作
17:20 - 17:40,抽奖,合影
17:40,活动结束
收起阅读 »

社区日报 第1268期 (2021-06-25)

1.结合 Elasticsearch 词干分析器和同义词来提高搜索相关性
https://www.elastic.co/blog/im ... onyms
2.ElastricSearch存储原理
https://mp.weixin.qq.com/s/0Roq7Xyh6jJ6I8atnKBXfw
3.运用 Filebeat 来对微服务 API 进行分析
https://elasticstack.blog.csdn ... 45104

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.结合 Elasticsearch 词干分析器和同义词来提高搜索相关性
https://www.elastic.co/blog/im ... onyms
2.ElastricSearch存储原理
https://mp.weixin.qq.com/s/0Roq7Xyh6jJ6I8atnKBXfw
3.运用 Filebeat 来对微服务 API 进行分析
https://elasticstack.blog.csdn ... 45104

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

户匿名访问 Kibana 中的 Dashboard

在我之前的文章 “如何让匿名的用户访问受限的资源” 中,我介绍了如何让开发者在不输入用户名和密码的情况下访问 Elasticsearch 集群中的索引(ES 集群配置有用户名及密码)。在很多的场合这个是非常有用的。针对 Kibana,我们可能也会遇到同样的情况。比如我们有一个很好的 Dashboard,我们想分析这个 Dashboard 给没有访问权限的人进行查看。当然这种也使用大屏幕 Canvas。我们可以让一个实时动态的 Canvas 给大众访问。在这种情况下,我们必须使用一种匿名的访问方式才能完成。在今天的文章中,我来介绍如何完成这个。

原文链接:https://blog.csdn.net/UbuntuTo ... 52293
继续阅读 »
在我之前的文章 “如何让匿名的用户访问受限的资源” 中,我介绍了如何让开发者在不输入用户名和密码的情况下访问 Elasticsearch 集群中的索引(ES 集群配置有用户名及密码)。在很多的场合这个是非常有用的。针对 Kibana,我们可能也会遇到同样的情况。比如我们有一个很好的 Dashboard,我们想分析这个 Dashboard 给没有访问权限的人进行查看。当然这种也使用大屏幕 Canvas。我们可以让一个实时动态的 Canvas 给大众访问。在这种情况下,我们必须使用一种匿名的访问方式才能完成。在今天的文章中,我来介绍如何完成这个。

原文链接:https://blog.csdn.net/UbuntuTo ... 52293 收起阅读 »

Beats:运用 Filebeat 来对微服务 API 进行分析

在之前的文章 “Logstash:使用 ELK 堆栈进行 API 分析”,我展示了如何使用 Logstash 的 http_poller input plugin 来对微服务的 API 数据进行分析。如果我们只是为了对微服务的数据采集使用 Logstash,感觉有些 Logstash 有些大材小用了,比较 Logstash 的部署还是蛮耗资源的。相比较而言,我们可以使用 Filebeat 的 HTTP JSON input 来对微服务的数据进行采集。我们知道 Beats 的架构是属于一种轻量级的部署。可以直接运用于客户端,或者需要采集的服务器中。


原文链接:https://blog.csdn.net/UbuntuTo ... 45104
继续阅读 »
在之前的文章 “Logstash:使用 ELK 堆栈进行 API 分析”,我展示了如何使用 Logstash 的 http_poller input plugin 来对微服务的 API 数据进行分析。如果我们只是为了对微服务的数据采集使用 Logstash,感觉有些 Logstash 有些大材小用了,比较 Logstash 的部署还是蛮耗资源的。相比较而言,我们可以使用 Filebeat 的 HTTP JSON input 来对微服务的数据进行采集。我们知道 Beats 的架构是属于一种轻量级的部署。可以直接运用于客户端,或者需要采集的服务器中。


原文链接:https://blog.csdn.net/UbuntuTo ... 45104 收起阅读 »

Elasticsearch:Ingest Pipeline 实践

相比较 Logstash 而言,由于其丰富的 processors 而受到越来越多人的喜欢。最重要的一个优点就是它基于 Elasticsearch 极具可拓展性和维护性而受到开发者的喜欢。我在之前创建了很多关于 Ingest Pipeline 的文章。你可以参阅文章 “Elastic:菜鸟上手指南” 中的 Ingest pipeline 章节。

在今天的文章中,我想同一个一个例子来展示两种创建 Ingest Pipeline 的方法尽管在我之前的文章中都有介绍:

通过 API 的方法来创建
通过 Kibana 的界面来进行创建
————————————————
原文链接:https://blog.csdn.net/UbuntuTo ... 33366
继续阅读 »
相比较 Logstash 而言,由于其丰富的 processors 而受到越来越多人的喜欢。最重要的一个优点就是它基于 Elasticsearch 极具可拓展性和维护性而受到开发者的喜欢。我在之前创建了很多关于 Ingest Pipeline 的文章。你可以参阅文章 “Elastic:菜鸟上手指南” 中的 Ingest pipeline 章节。

在今天的文章中,我想同一个一个例子来展示两种创建 Ingest Pipeline 的方法尽管在我之前的文章中都有介绍:

通过 API 的方法来创建
通过 Kibana 的界面来进行创建
————————————————
原文链接:https://blog.csdn.net/UbuntuTo ... 33366 收起阅读 »

社区日报 第1267期 (2021-06-21)

1.使用FAISS搭配elasticsearch增加向量搜索
https://zhuanlan.zhihu.com/p/260023678

2. 基于ElasticSearch 实现 join 查询
https://segmentfault.com/a/1190000004468130

3.ElasticSearch 和 LSM 树的写入模型
https://www.cnblogs.com/luxiaoxun/p/13025019.html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用FAISS搭配elasticsearch增加向量搜索
https://zhuanlan.zhihu.com/p/260023678

2. 基于ElasticSearch 实现 join 查询
https://segmentfault.com/a/1190000004468130

3.ElasticSearch 和 LSM 树的写入模型
https://www.cnblogs.com/luxiaoxun/p/13025019.html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1266期 (2021-6-20)

1.全文搜索 PostgreSQL 或 ElasticSearch。
https://fueled.com/the-cache/p ... arch/
2.在树莓派上部署 Elasticsearch。
https://schneefux.xyz/tech/ela ... rypi/
3.种树最好的时间是20年前。 建半导体代工厂最好的时间是5年前。
https://www.theregister.com/20 ... _may/
 
编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.全文搜索 PostgreSQL 或 ElasticSearch。
https://fueled.com/the-cache/p ... arch/
2.在树莓派上部署 Elasticsearch。
https://schneefux.xyz/tech/ela ... rypi/
3.种树最好的时间是20年前。 建半导体代工厂最好的时间是5年前。
https://www.theregister.com/20 ... _may/
 
编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1264期 (2021-06-18)

1、如何设置分片数更为合理?
https://blog.trifork.com/2014/ ... ards/
2、Elasticsearch 如何与关系型数据库同步数据?
https://dzone.com/articles/how ... ional
3、Elasticsearch 同义词插件
https://github.com/bells/elast ... nonym
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、如何设置分片数更为合理?
https://blog.trifork.com/2014/ ... ards/
2、Elasticsearch 如何与关系型数据库同步数据?
https://dzone.com/articles/how ... ional
3、Elasticsearch 同义词插件
https://github.com/bells/elast ... nonym
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1263期 (2021-06-17)

1.Elasticsearch数据库加速实践
https://bbs.huaweicloud.com/blogs/265550
2.Elasticsearch复杂搜索
https://www.cnblogs.com/leizzige/p/14790672.html
3.ES中URI Search和RequestBody Search分析
https://www.cnblogs.com/lonely ... .html

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elasticsearch数据库加速实践
https://bbs.huaweicloud.com/blogs/265550
2.Elasticsearch复杂搜索
https://www.cnblogs.com/leizzige/p/14790672.html
3.ES中URI Search和RequestBody Search分析
https://www.cnblogs.com/lonely ... .html

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1262期 (2021-06-10)

1.搜索引擎的检索模型-查询与文档的相关度计算
https://blog.csdn.net/hguisu/a ... 81145
2.lucene教程
https://xie.infoq.cn/article/a ... 062d9
3.检索模型与搜索排序
http://lionheartwang.github.io ... i-xu/

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.搜索引擎的检索模型-查询与文档的相关度计算
https://blog.csdn.net/hguisu/a ... 81145
2.lucene教程
https://xie.infoq.cn/article/a ... 062d9
3.检索模型与搜索排序
http://lionheartwang.github.io ... i-xu/

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Elasticsearch 使得 Data Science 变得更简单了 - Eland

Eland 是一个全新的 Python 包,它在 Elasticsearch 和数据科学生态系统之间架起了一座桥梁。Elasticsearch 是一个功能丰富的开源搜索引擎,它构建在 Apache Lucene 之上,Apache Lucene 是市场上最重要的全文搜索引擎之一。Elasticsearch 以其提供的广泛而通用的 REST API 体验而闻名,包括用于全文搜索、排序和聚合任务的高效 wrapper,使得在现有后端中实现此类功能变得更加容易,而无需进行复杂的重新设计。自 2010 年推出以来,Elasticsearch 在软件工程领域获得了广泛的关注,到 2016 年,根据 DBMS 知识库 DB-engines,它成为最受欢迎的企业搜索引擎软件堆栈,超越了行业标准的 Apache Solr( 也建立在 Lucene 之上)。

Elasticsearch 如此受欢迎的原因之一是它生成的生态系统。 世界各地的工程师开发了开源 Elasticsearch 集成和扩展,其中许多项目被 Elastic(Elasticsearch 项目背后的公司)吸收作为其堆栈的一部分其中一些项目是 Logstash(数据处理管道,通常用于解析基于文本的文件)和 Kibana(建立在 Elasticsearch 之上的可视化层),导致现在广泛采用的 ELK(Elasticsearch、Logstash、Kibana)堆栈。Elastic Stack 因其在新兴和整合技术领域(例如 DevOps、站点可靠性工程以及最近的数据分析)的优异表现而得到广泛的使用。

Data science
如果您是一名阅读本文的数据科学家,并且将 Elasticsearch 作为你雇主技术堆栈的一部分,那么在尝试使用 Elasticsearch 提供的所有功能进行数据分析甚至简单的机器学习任务时,你可能会遇到一些问题。

数据科学家通常不习惯使用 NoSQL 数据库引擎执行常见任务,甚至不习惯依赖复杂的 REST API 进行分析。例如,使用 Elasticsearch 的低级 Python 客户端处理大量数据也不是那么直观,对于来自与 SWE 不同领域的人来说,学习曲线有些陡峭。

尽管 Elastic 在增强用于分析和数据科学用例的 Elastic Stack 方面做出了重大努力,但它仍然缺乏与现有数据科学生态系统(pandas、numpy、scikit-learn、PyTorch 和其他流行库)的简单接口。

2017 年,Elastic 向数据科学领域迈出了第一步,作为对机器学习和预测技术在软件行业日益普及的回应,发布了第一个支持 ML 的 X-pack(扩展包)用于 Elastic Stack,将异常检测和其他无监督 ML 任务添加到其功能中。不久之后,回归和分类模型也被添加到 Elastic Stack 中可用的 ML 任务集中。

原文链接:https://blog.csdn.net/UbuntuTo ... 45670
继续阅读 »
Eland 是一个全新的 Python 包,它在 Elasticsearch 和数据科学生态系统之间架起了一座桥梁。Elasticsearch 是一个功能丰富的开源搜索引擎,它构建在 Apache Lucene 之上,Apache Lucene 是市场上最重要的全文搜索引擎之一。Elasticsearch 以其提供的广泛而通用的 REST API 体验而闻名,包括用于全文搜索、排序和聚合任务的高效 wrapper,使得在现有后端中实现此类功能变得更加容易,而无需进行复杂的重新设计。自 2010 年推出以来,Elasticsearch 在软件工程领域获得了广泛的关注,到 2016 年,根据 DBMS 知识库 DB-engines,它成为最受欢迎的企业搜索引擎软件堆栈,超越了行业标准的 Apache Solr( 也建立在 Lucene 之上)。

Elasticsearch 如此受欢迎的原因之一是它生成的生态系统。 世界各地的工程师开发了开源 Elasticsearch 集成和扩展,其中许多项目被 Elastic(Elasticsearch 项目背后的公司)吸收作为其堆栈的一部分其中一些项目是 Logstash(数据处理管道,通常用于解析基于文本的文件)和 Kibana(建立在 Elasticsearch 之上的可视化层),导致现在广泛采用的 ELK(Elasticsearch、Logstash、Kibana)堆栈。Elastic Stack 因其在新兴和整合技术领域(例如 DevOps、站点可靠性工程以及最近的数据分析)的优异表现而得到广泛的使用。

Data science
如果您是一名阅读本文的数据科学家,并且将 Elasticsearch 作为你雇主技术堆栈的一部分,那么在尝试使用 Elasticsearch 提供的所有功能进行数据分析甚至简单的机器学习任务时,你可能会遇到一些问题。

数据科学家通常不习惯使用 NoSQL 数据库引擎执行常见任务,甚至不习惯依赖复杂的 REST API 进行分析。例如,使用 Elasticsearch 的低级 Python 客户端处理大量数据也不是那么直观,对于来自与 SWE 不同领域的人来说,学习曲线有些陡峭。

尽管 Elastic 在增强用于分析和数据科学用例的 Elastic Stack 方面做出了重大努力,但它仍然缺乏与现有数据科学生态系统(pandas、numpy、scikit-learn、PyTorch 和其他流行库)的简单接口。

2017 年,Elastic 向数据科学领域迈出了第一步,作为对机器学习和预测技术在软件行业日益普及的回应,发布了第一个支持 ML 的 X-pack(扩展包)用于 Elastic Stack,将异常检测和其他无监督 ML 任务添加到其功能中。不久之后,回归和分类模型也被添加到 Elastic Stack 中可用的 ML 任务集中。

原文链接:https://blog.csdn.net/UbuntuTo ... 45670 收起阅读 »

Elasticsearch:Painless scripting 编程实践

在我之前的文章 “Elastic:菜鸟上手指南”,我有许多的文章关于 Painless 编程的。你可以参考其中的 “Painless 编程” 章节。针对许多刚接触 Elasticsearch 的开发者来说,对于 Painless 编程而言,可能也是雾里看花,不能完整地了解 Painless scripting 的所有应用场景。在我之前的很多文章中,我用到了脚本编程。在今天的文章中,我将就 Painless 的编程做一个总结。方便大家学习。针对 Painless 编程的调试,我们可以参考之前的文章 “Elasticsearch:Painless 编程调试”。这里就不在赘述了。


原文链接:https://blog.csdn.net/UbuntuTo ... 89222
继续阅读 »
在我之前的文章 “Elastic:菜鸟上手指南”,我有许多的文章关于 Painless 编程的。你可以参考其中的 “Painless 编程” 章节。针对许多刚接触 Elasticsearch 的开发者来说,对于 Painless 编程而言,可能也是雾里看花,不能完整地了解 Painless scripting 的所有应用场景。在我之前的很多文章中,我用到了脚本编程。在今天的文章中,我将就 Painless 的编程做一个总结。方便大家学习。针对 Painless 编程的调试,我们可以参考之前的文章 “Elasticsearch:Painless 编程调试”。这里就不在赘述了。


原文链接:https://blog.csdn.net/UbuntuTo ... 89222 收起阅读 »

社区日报 第1261期 (2021-06-07)

1.Elastic Stack 7.13.1发布,来看看有哪些更新吧
https://www.elastic.co/guide/e ... .html

2.十亿级别下的数据如何做到毫秒级返回
https://zhuanlan.zhihu.com/p/60458049

3.来看看《Elasticsearch 源码解析与优化实战》一书作者最新的文章:forcemerge,类型选择和 oom
https://www.easyice.cn/archives/386

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elastic Stack 7.13.1发布,来看看有哪些更新吧
https://www.elastic.co/guide/e ... .html

2.十亿级别下的数据如何做到毫秒级返回
https://zhuanlan.zhihu.com/p/60458049

3.来看看《Elasticsearch 源码解析与优化实战》一书作者最新的文章:forcemerge,类型选择和 oom
https://www.easyice.cn/archives/386

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »