社区日报 第1371期 (2022-04-12)
社区日报 • God_lockin 发表了文章 • 0 个评论 • 1076 次浏览 • 2022-04-12 10:32
1. 这么多ES的提供方,我该选哪个?(需要梯子)
https://medium.com/gigasearch/ ... 5e704
2. 可持续发展的ES集群设计(需要梯子)
https://medium.com/gong-tech-b ... 131d9
3. 我们在 shipt 这样做搜索(需要梯子)
https://shipt.tech/search-rele ... 6504e
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
社区日报 第1370期 (2022-04-11)
社区日报 • pangying 发表了文章 • 0 个评论 • 1065 次浏览 • 2022-04-11 22:06
1.AWS OpenSearch 部署 EFK 日志分析收集系统
https://blog.csdn.net/weixin_4 ... .4450
2.如何提高我的 Amazon OpenSearch Service 集群上的索引性能?
https://aws.amazon.com/cn/prem ... ance/
3.如何排查 Amazon OpenSearch Service 集群上的高 JVM 内存压力问题?
https://aws.amazon.com/cn/prem ... sure/
编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
社区日报 第1373期 (2022-04-10)
社区日报 • cyberdak 发表了文章 • 0 个评论 • 1088 次浏览 • 2022-04-10 21:49
https://bbs.huaweicloud.com/blogs/265550
2. 使用 Elasticsearch 时间点读取器获得随时间推移而保持一致的数据视图
https://www.elastic.co/cn/blog ... eader
3. 将DSL查询转为kibana短链接
https://blog.csdn.net/u0111272 ... 29659
https://www.elastic.co/guide/e ... .html
编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
社区日报 第1368期 (2021-04-09)
社区日报 • taoxiyang 发表了文章 • 0 个评论 • 985 次浏览 • 2022-04-09 11:30
https://www.v2tn.com/content/1649218370572400
2. Elasticsearch 27亿数据泄露:10亿明文 波及中国大厂
https://app.myzaker.com/news/a ... c393a
3. AWS分叉Elasticsearch重新命名为OpenSearch
https://www.ithome.com.tw/news/143812
编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
父子关系查询如何根据子元素的个数来对父元素进行排序
Elasticsearch • yixiongmao 回复了问题 • 2 人关注 • 2 个回复 • 1401 次浏览 • 2022-04-11 17:12
社区日报 第1367期 (2021-04-08)
社区日报 • laoyang360 发表了文章 • 0 个评论 • 974 次浏览 • 2022-04-08 15:22
https://blog.csdn.net/UbuntuTo ... 21216
2、Elastic Stack最佳实践系列:用官方诊断工具,故障排查,快人一步
https://cloud.tencent.com/deve ... 57644
3、Elastic Stack最佳实践系列:Beats->ES,一个更轻型的架构选择
https://cloud.tencent.com/deve ... 72598
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
Open Source@Scale!2022年国际开源节(IOSF)全球首发!
默认分类 • OSTech 发表了文章 • 0 个评论 • 5 次浏览 • 2022-04-07 11:36
由OSTech携手环球资源,联合中国信息通信研究院、Linux基金会亚太区发起策划,在CTIS消费者科技及创新展览会落地,并聚集了包括中国科学院软件研究所、CNCF、LF AI & Data、LFOSSA、LF Edge、OpenSSF、Hyperledger基金会等国际一流开源基金会和机构,GDG、开源中国等全球知名开发者社区,以及上海开源信息技术协会等本地开源力量的共建支持。国际开源节旨在汇聚全球开源技术与项目,融合国际文化、开源社区生态和开源产业发展,构建“共创共赢”的开源文化,打造中国开源新生态。
由OSTech携手环球资源,联合中国信息通信研究院、Linux基金会亚太区发起策划,在CTIS消费者科技及创新展览会落地,并聚集了包括中国科学院软件研究所、CNCF、LF AI & Data、LFOSSA、LF Edge、OpenSSF、Hyperledger基金会等国际一流开源基金会和机构,GDG、开源中国等全球知名开发者社区,以及上海开源信息技术协会等本地开源力量的共建支持。国际开源节旨在汇聚全球开源技术与项目,融合国际文化、开源社区生态和开源产业发展,构建“共创共赢”的开源文化,打造中国开源新生态。
elasticsearch索引库某个属性配置英文分词报不能更改默认分词问题
Elasticsearch • envy666 回复了问题 • 2 人关注 • 1 个回复 • 1046 次浏览 • 2022-04-08 09:04
elastic / support-diagnostics诊断工具使用问题
回复开源项目 • 匿名用户 回复了问题 • 2 人关注 • 2 个回复 • 2942 次浏览 • 2022-04-07 11:35
社区日报 第1366期 (2021-04-07)
社区日报 • Se7en 发表了文章 • 0 个评论 • 911 次浏览 • 2022-04-07 09:55
https://mp.weixin.qq.com/s/53etNPHrDnQtcV5WNKZKog
2.新版 ElasticSearch Java Client 尝鲜
https://juejin.cn/post/7046759829255225351
3.ElasticSearch Operator 工作原理浅析
https://mp.weixin.qq.com/s/33igpMj3mZrjbEK4rBKi2Q
编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
极限网关初探(2)配置
Elasticsearch • xushuhui 发表了文章 • 0 个评论 • 2605 次浏览 • 2022-04-06 17:03
配置
上一篇我们先学习了极限网关的安装和启动,今天学习配置。
读写分离
现在我们遇到读写分离的需求,用网关该怎么做呢?
假设服务端现在从 http://127.0.0.1:8000 写入数据,从 http://127.0.0.1:9000 读取数据,怎么设计呢?
首先查看文档[配置文档](https://xn--d6q905cs0q16u.com/zh/docs/overview/)
我们在 gateway.yml 中定义两个 entry,分别绑定不同的端口,配置不同的 router
```yaml
entry:
- name: write_es
enabled: true
router: write_router
network:
binding: 0.0.0.0:8000 - name: read_es
enabled: true
router: read_router
network:
binding: 0.0.0.0:9000
router: - name: write_router
default_flow: default_flow
tracing_flow: logging - name: read_router
default_flow: default_flow
tracing_flow: logging
<br /> 为了演示效果,只配置一个 Elasticsearch<br />
yaml
elasticsearch:
- name: dev
enabled: true
schema: http
hosts: - 192.168.3.188:9206
```
启动项目

我们从 http://127.0.0.1:8000 写入一条数据,再从 http://127.0.0.1:9000 读取该条数据


添加接口
返回字符串
我们想自定义添加一个接口,怎么在不写代码的情况下通过配置实现返回字符串
```yaml
flow:
- name: dev
- name: hello_flow
filter:
- echo:
message: "hello flow"
router:
- echo:
- name: read_router
default_flow: hello_flow
```
修改配置后启动

返回 json 数据
返回字符串不符合标准的 restful 接口规范,怎么返回给调用方标准 json 数据?
```yaml
filter: - set_response:
content_type: application/json
body: '{"message":"hello world"}'
```
修改配置后启动

修改路由
我们已经新加了接口,返回 json 数据,但是接口是直接定义在 http://127.0.0.1:9000 中,之前网关的接口就无法使用,所以我们需要单独为自定义的接口指定单独的路由
```yaml
router: - name: read_router
default_flow: default_flow
tracing_flow: logging
rules:
- method:
- GET
pattern: - "/hello"
flow: - hello_flow
```
default_flow: 默认的处理流,也就是业务处理的主流程,请求转发、过滤、缓存等操作都在这里面进行
tracing_flow:用于追踪请求状态的流,用于记录请求日志、统计等
如果我们有过开发经验,了解 MVC 模式,flow 就类似 MVC 中的 Controller,rules 中类似路由规则,当请求匹配到配置中的路由规则时,由配置的 flow 处理业务逻辑。
数据整体流向,从服务端发到网关,网关为每个 Elasticsearch 绑定不同的 IP 地址,每个 Elasticsearch 都有唯一一个 router 和它对应,根据请求的 method 和 path 匹配到 router 中的一个 flow,flow 中包含多个 filter 处理对数据进行流式处理。
如下图所示

流式处理是什么,假设水从一个管子里面流出来,管子旁边每一段依次站了几个人,第一个人往水里放点鱼,鱼和水到了第二个人,第二个人往水里放点草,鱼、水和草到了第三人等等,每个人对水做一定的操作,水经过这些操作后最后到达水池里。
我们可以把数据当成水,filter 是管子旁边的人,水池就是 Elasticsearch
总结
在学习了router/flow/filter后,我们已经对极限网关的配置有了初步的了解,后续开发的时候直接查阅文档。
- GET
- method:
极限网关初探(1) 安装启动
Elasticsearch • xushuhui 发表了文章 • 0 个评论 • 2627 次浏览 • 2022-04-06 16:54
产品介绍
极限网关(INFINI Gateway)是一个面向 Elasticsearch 的高性能应用网关。特性丰富,使用简单。
它和其他业务型网关最大的区别是业务网关把请求转发给各个底层微服务,而它把请求转发给 Elasticsearch,更多是类似 Mycat 的中间件的作用。
没有使用网关之前,服务端请求多个节点

使用网关后

下载地址
打开 [下载地址](http://release.infinilabs.com/gateway/stable/),根据操作系统版本选择。
Windows 安装和启动
安装
下载 gateway-1.6.0_SNAPSHOT-597-windows-amd64.zip,解压如下。

gateway-windows-amd64.exe 是启动文件,gateway.yml 是默认配置文件。
启动失败
当 gateway.yml 的 elasticsearch 选项中的 hosts 不能正常响应请求的时候,启动界面如下。

为什么 elasticsearch 不能访问的时候,网关还要继续提供服务呢,为什么不像业务接口启动时在基础业务组件如 MySQL/Redis 不能正常响应就直接 panic?
一方面网关作为 elasticsearch 抵挡流量冲击的城墙,在 elasticsearch 不能提供服务的时候,对之前成功的请求缓存结果,继续提供有限度的服务,为 elasticsearch 修复后上线争取时间。
另一方面业务接口和基础组件是强耦合关系,没有基础组件就完全无法对外提供数据读写服务,而网关与 elasticsearch 是松耦合关系,网关在没有 elasticsearch 的情况下也能对外提供有限度的服务。
在 gateway.yml 的 elasticsearch 选项中的 hosts 改成能够正常响应的 elasticsearch 请求地址。启动成功
双击 gateway-windows-amd64.exe 文件,启动成功界面如下

访问
API 访问
由启动后终端显示可知,网关的 API 接口地址是 http://localhost:2900
sh<br /> [api.go:262] api listen at: <a href="http://0.0.0.0:2900" rel="nofollow" target="_blank">http://0.0.0.0:2900</a><br />
打开浏览器输入 http://localhost:2900,显示所有可以对外提供的 API 接口

我们选择其中一个,在浏览器中输入 http://localhost:2900/_framework/api/_version 从路由上看该接口是查询产品的版本信息,显示如下

gateway.yml 中可以看到有被注释掉的一段配置,看起来应该是配置 api 地址的地方。
```yamlapi:
enabled: true
network:
binding: 127.0.0.1:2900
<br /> 把注释去掉后尝试把端口改成 2901。<br />
yaml
api:
enabled: true
network:
binding: 127.0.0.1:2901
```
改完后启动

打开浏览器先输入 http://localhost:2900,无法正常响应请求,再输入 http://localhost:2901,可以正常响应,界面和修改配置前访问 http://localhost:2900 的界面一样,说明 API 请求地址成功修改Elasticsearch 访问
启动日志中显示监听 8000 端口,猜测应该是 elasticsearch 请求地址,打开浏览器输入 http://127.0.0.1:8000/
sh<br /> entry [my_es_entry] listen at: <a href="http://0.0.0.0:8000" rel="nofollow" target="_blank">http://0.0.0.0:8000</a><br />

gateway.yml 中可以看到 my_es_entry 的 network 绑定 8000 端口,显而易见的这部分就是配置代理转发给 elasticsearch 的地址,所以安装后只需要把以前请求 elasticsearch 的地址修改为该地址。
```yaml
entry:
- name: my_es_entry
enabled: true
router: my_router
max_concurrency: 10000
network:
binding: 0.0.0.0:8000
```
总结
我们成功安装和启动极限网关,接下来我们学习怎么根据需求修改配置。
请问如何在ES日志中打印所有查询或者操作ES的请求日志?
回复Elasticsearch • ziyuan2246 发起了问题 • 1 人关注 • 0 个回复 • 3703 次浏览 • 2022-04-06 15:07
Elasticsearch nested 聚合后的排序问题
Elasticsearch • duanxiaobiao 回复了问题 • 2 人关注 • 1 个回复 • 1616 次浏览 • 2022-05-15 22:19
elasticsearch 模糊查询
Elasticsearch • JimmyGao 回复了问题 • 4 人关注 • 3 个回复 • 1472 次浏览 • 2022-04-27 16:35