文章 - 搜索客，搜索人自己的社区

极限网关 INFINI Gateway 初体验

最近在elasticsearch中文社区看到medcl大神写的一篇文章《Elasticsearch 极限网关测试版本发布》，在es外层接了一个极限网关gateway，所有的请求先走网关，再到es。gateway能提供索引级别的限速限流，降低重复请求，缓存常见查询，起到查询加速的效果等等很多特性。看着很强大的样子，赶紧下载体验了一下。

下载

下载地址：https://github.com/medcl/infini-gateway/releases

找到当前最新版1.1.0_SNAPSHOT

根据自己的操作系统环境选择相应的包下载，本人用的是Macbook，选择了GATEWAY-darwin64.tar.gz

#切换该路径下（路径自定）

cd /Users/shiyang/code/elastic/gateway

#下载

wget https://github.com/medcl/infin ... ar.gz

#下载完后解压

tar -zxvf GATEWAY-darwin64.tar.gz

#解压后能看到两个新文件，一个可执行二进制文件，一个yml配置文件

ls

#gateway-darwin64   gateway.yml

安装部署

在run之前需要先运行elastisearch，否则会报错，如图所示：

接下来先启动es集群（如果你本地还没有部署es，建议先参考官网的es安装教程下载部署）

本机用的es版本为7.9.0，如下图表示启动es成功：

接下来再启动gateway，yml配置文件可以先默认,后续可根据需要再修改。

#启动 

./gateway-darwin64

启动成功如下图所示：

成功启动后，我们就可以直接访问gateway了。

curl http://0.0.0.0:8000

到此，gateway就算本地部署完毕了。

是不是很简单？嗯，下载即使用，简单方便。

（接下来可以试用一下gateway的特性了。将发布在下一篇文章。）

继续阅读 »

最近在elasticsearch中文社区看到medcl大神写的一篇文章《Elasticsearch 极限网关测试版本发布》，在es外层接了一个极限网关gateway，所有的请求先走网关，再到es。gateway能提供索引级别的限速限流，降低重复请求，缓存常见查询，起到查询加速的效果等等很多特性。看着很强大的样子，赶紧下载体验了一下。

下载

下载地址：https://github.com/medcl/infini-gateway/releases

找到当前最新版1.1.0_SNAPSHOT

根据自己的操作系统环境选择相应的包下载，本人用的是Macbook，选择了GATEWAY-darwin64.tar.gz

#切换该路径下（路径自定）

cd /Users/shiyang/code/elastic/gateway

#下载

wget https://github.com/medcl/infin ... ar.gz

#下载完后解压

tar -zxvf GATEWAY-darwin64.tar.gz

#解压后能看到两个新文件，一个可执行二进制文件，一个yml配置文件

ls

#gateway-darwin64   gateway.yml

安装部署

在run之前需要先运行elastisearch，否则会报错，如图所示：

接下来先启动es集群（如果你本地还没有部署es，建议先参考官网的es安装教程下载部署）

本机用的es版本为7.9.0，如下图表示启动es成功：

接下来再启动gateway，yml配置文件可以先默认,后续可根据需要再修改。

#启动 

./gateway-darwin64

启动成功如下图所示：

成功启动后，我们就可以直接访问gateway了。

curl http://0.0.0.0:8000

到此，gateway就算本地部署完毕了。

是不是很简单？嗯，下载即使用，简单方便。

（接下来可以试用一下gateway的特性了。将发布在下一篇文章。）收起阅读 »

社区日报第1132期 (2020-12-08)

1、分布式搜索引擎Elasticsearch的架构分析。
https://www.jianshu.com/p/429e563bb33e
2、ES中9款JavaScript Query构造库推荐。
https://openbase.io/categories ... aries
3、File Beat+ELK日志入门教程。
https://www.javainuse.com/elas ... t-elk

编辑：叮咚光军
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

从零基础到能够完成微服务可观测性的专家 - Service Map 实践

对于一些大型的 IT 系统来说，微服务的个数可能达到 1000 多个或者更多。如果我们的系统变得很慢，我们想查出是哪个环节出了问题。如果没有一个很好的可观测性的工具。我们有时是一头的雾水。很幸运的是 Elastic Stack 提供了一套完整的 APM （应用性能监控）可观测性软件栈，为我们对微服务的调试提供了完美的解决方案。详细阅读请参阅文章 https://elasticstack.blog.csdn ... 50836

继续阅读 »

为 Logstash 日志启动索引生命周期管理

在 Elastic Stack 中，Logstash 作为一种 ETL 的摄入工具，它为大量摄入数据提供可能。Elastic Stack 提供索引生命周期管理可以帮我们管理被摄入的数据到不同的冷热节点中，并根据一定的条件删除不需要保存的索引。我们可以在 Logstash 摄入数据的时候运用索引生命周期管理。详细阅读，请参阅 “为 Logstash 日志启动索引生命周期管理” https://elasticstack.blog.csdn ... 16948

继续阅读 »

社区日报第1131期 (2020-12-07)

1.基于 Elasticsearch 开发垂直搜索系统
https://byronhe.com/post/elasticsearch-dev-arch/

2.集群稳定性的相关讨论
https://elasticsearch.cn/question/84

3.es对比TiDB
http://www.machengyu.net/elast ... .html

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

社区日报第1130期 (2020-12-06)

1.基于tweepy，elasticsearch和nltk的简单股票分析器。
https://github.com/kentsyx/stock-insight-engine
2.全文搜索性能：Postgres与Elasticsearch。
https://rocky.dev/full-text-search
3.比特币（仍然）没有意义。
https://thinkoutloudnews.subst ... sense

编辑：至尊宝
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

社区日报第1129期 (2020-12-05）

1.es防止字段数量爆炸的一些策略

https://medium.com/handy-tech/elasticsearch-field-explosion-ca0a21f97a4a

2.es查找缺失多个字段的文档

https://stackoverflow.com/questions/65125012/elasticsearch-find-documents-missing-two-fields

3.es查询相关性优化（需翻墙）

https://www.youtube.com/watch?v=1iwQFuLVoMk

继续阅读 »

社区日报第1128期 (2020-12-04)

1、比Nginx牛逼——Elasticsearch Gateway 发布一个测试版本
https://elasticsearch.cn/article/14165

2、使用Flink实现索引数据到Elasticsearch
https://mp.weixin.qq.com/s/fIvDfa7uekO4WHaxFICnmg

3、剖析Elasticsearch的IndexSorting:一种查询性能优化利器
https://mp.weixin.qq.com/s/dpGzHwXQ4PERADViLrjuqw

编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

Elasticsearch 极限网关测试版本发布

感谢以下社区同学提供的试用报告与经验分享：

每日构建：http://release.elasticsearch.cn/
镜像地址：https://hub.docker.com/r/infinilabs/gateway
文档手册：https://极限网关.com

目前提供的功能：

索引级别的请求限速
重复请求可以缓存
Kibana 无缝提速
Elasticsearch 节点自动发现
基于权重的节点选择，权重可配置
可控制到每个后端节点的最大连接数
查询日志统计分析，用于追踪请求排错审计

性能优异，经过测试，比 Nginx 都更胜一筹。

[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m

[11-12 22:09:38] [INF] [main.go:461,main] start data migration..

Scroll 20377840 / 20387840   99.95% 1m20s

Bulk 20371785 / 20387840   99.92% 1m53s

[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.

使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出，分别走 Nginx 和 Elasticsearch 网关，网关和 Nginx 都部署在同一台16 核 32GB 的机器上，16 核全部跑满，Nginx 可以达到 20w/s，网关可以达到 25w/s。

Kibana 走网关可以降低重复请求，缓存常见查询，起到查询加速的效果，如下：

演示视频：https://v.qq.com/x/page/e3209mhh9kj.html
索引级别的限速限流，给后端 ES 稳稳的幸福。

可以开启请求日志，用来分析 ES 查询情况，如下：

追求性能极限，此网关名为极限网关（INFINI Gateway）。
欢迎帮忙测试，提供反馈意见。

继续阅读 »

感谢以下社区同学提供的试用报告与经验分享：

每日构建：http://release.elasticsearch.cn/
镜像地址：https://hub.docker.com/r/infinilabs/gateway
文档手册：https://极限网关.com

目前提供的功能：

索引级别的请求限速
重复请求可以缓存
Kibana 无缝提速
Elasticsearch 节点自动发现
基于权重的节点选择，权重可配置
可控制到每个后端节点的最大连接数
查询日志统计分析，用于追踪请求排错审计

性能优异，经过测试，比 Nginx 都更胜一筹。

[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m

[11-12 22:09:38] [INF] [main.go:461,main] start data migration..

Scroll 20377840 / 20387840   99.95% 1m20s

Bulk 20371785 / 20387840   99.92% 1m53s

[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.

使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出，分别走 Nginx 和 Elasticsearch 网关，网关和 Nginx 都部署在同一台16 核 32GB 的机器上，16 核全部跑满，Nginx 可以达到 20w/s，网关可以达到 25w/s。

Kibana 走网关可以降低重复请求，缓存常见查询，起到查询加速的效果，如下：

演示视频：https://v.qq.com/x/page/e3209mhh9kj.html
索引级别的限速限流，给后端 ES 稳稳的幸福。

可以开启请求日志，用来分析 ES 查询情况，如下：

追求性能极限，此网关名为极限网关（INFINI Gateway）。
欢迎帮忙测试，提供反馈意见。收起阅读 »

社区日报第1127期 (2020-12-03)

1.Elasticsearch 集群故障排查及修复指南
https://mp.weixin.qq.com/s/7pWdS_zPDNiXKzrUOCTVfg
2.Elastic财报上调财年前景
https://news.futunn.com/stock/15709137
3.美图全链路监控实战
https://zhuanlan.zhihu.com/p/313069055

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

社区日报第1126期 (2020-12-2)

1.Elasticsearch 如何实现查询/聚合不区分大小写？
https://mp.weixin.qq.com/s/_at38HfkKotB8pdp4wgItg
2.使用Grafana监视Kubernetes的最佳实践
https://www.metricfire.com/blo ... fana/
3.Elasticsearch 父子关系
https://mp.weixin.qq.com/s/SyLA7mjrmZoRuUzoq9jrbw

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

社区日报第1123期 (2020-11-29)

1.(自备梯子)了解Lucene了解ElasticSearch。
https://medium.com/dev-genius/ ... 7ae80
2.(自备梯子)使用Tyk，Elasticsearch和Kibana观察您的API流量。
https://medium.com/%40asoorm/o ... 46c39
3.大多数开发人员工具尚未为M1 Macs准备，但下一代Apple Mx Macs明年将在其推出时成为完全功能强大的主要开发机器。
https://steipete.com/posts/app ... tive/

编辑：至尊宝
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

社区日报第1125期 (2020-12-1)

1.如何监视Kubernetes服务网格Istio
https://sysdig.com/blog/monitor-istio/
2.从 Splunk 迁移至ES ，Elastic助力新东方低成本、高效率应对数据增长
https://www.elastic.co/cn/blog ... iency
3.在Docker上使用Kibana和Elasticsearch监视Nginx
https://www.bmc.com/blogs/moni ... cker/

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

社区日报第1124期 (2020-11-30)

1.磁盘空间不足导致 Elasticsearch 锁定索引无法写入数据问题排查
https://anonymity94.github.io/ ... %2598

2.在K8S上部署elasticsearch
https://staight.github.io/2019 ... arch/

3.ElasticSearch 中使用衰减函数来完美你的搜索结果
http://www.shiguopeng.cn/archives/444

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

继续阅读 »

【腾讯】【深圳/北京】招聘Elasticsearch高级研发工程师

工作职责
负责腾讯Elasticsearch内核的架构优化、新特性开发；
负责预研分布式存储系统、NoSQL等相关技术，推动Elasticsearch技术发展；
负责腾讯Elasticsearch产品的运营建设、日常维护。

工作要求
本科及以上学历，计算机、软件等相关专业；
编程能力扎实，熟悉Java/C 中的一种，具有良好的数据结构、算法、操作系统等计算机基本知识；
熟悉ElasticSearch、Lucene、Solr开源系统，有实际开发经验者优先；
熟悉Hadoop、HBase、Presto等开源分布式系统，有大规模分布式系统开发经验者优先；
对新技术敏感，追求卓越，能快速学习并具备较强的技术领悟能力。

工作地点
深圳、北京

联系方式
欢迎发送简历至：johngqjiang@tencent.com 或微信联系：18519283579
相关链接：https://careers.tencent.com/jo ... 65248

继续阅读 »

极限网关 INFINI Gateway 初体验

社区日报第1132期 (2020-12-08)

从零基础到能够完成微服务可观测性的专家 - Service Map 实践

为 Logstash 日志启动索引生命周期管理

社区日报第1131期 (2020-12-07)

社区日报第1130期 (2020-12-06)

社区日报第1129期 (2020-12-05）

社区日报第1128期 (2020-12-04)

Elasticsearch 极限网关测试版本发布

社区日报第1127期 (2020-12-03)

社区日报第1126期 (2020-12-2)

社区日报第1123期 (2020-11-29)

社区日报第1125期 (2020-12-1)

社区日报第1124期 (2020-11-30)

【腾讯】【深圳/北京】招聘Elasticsearch高级研发工程师

活动推荐

热门文章

热门话题