是时候用 ES 拯救发际线啦

社区日报 第1395期 (2022-05-15)

社区日报cyberdak 发表了文章 • 0 个评论 • 964 次浏览 • 2022-05-15 14:52 • 来自相关话题

1.解决elasticsearch集群分片lock锁无法分配问题
https://developer.aliyun.com/article/887340

2.Elasticsearch系列---实现分布式锁
https://www.cnblogs.com/huangy ... .html

3. ElasticSearch的jvm堆内存设置:真的是越大越好吗?
https://blog.csdn.net/avenger1 ... 80793

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

社区日报 第1394期 (2022-05-14)

社区日报jingli 发表了文章 • 0 个评论 • 995 次浏览 • 2022-05-15 11:10 • 来自相关话题


1、 Elasticsearch 在 AnyTag 中的应用实践
https://anymindgroup.com/tech- ... ytag/(需要梯子)
2、使用 Elasticsearch 搜索引擎来为用户提供商品搜索功能
https://support.huaweicloud.co ... .html
3、如何在 .NET Core 中使用 Elasticsearch
https://www.cncf.io/blog/2021/ ... tion/

编辑:李静
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 

社区日报 第1393期 (2022-05-13)

社区日报laoyang360 发表了文章 • 0 个评论 • 1019 次浏览 • 2022-05-14 06:36 • 来自相关话题

1、Elasticsearch VS TDengine 在车辆位置跟踪项目的实战对比
https://tdengine.com/2022/05/09/5713.html
2、在 Kubernetes 集群上运行企业级 Elasticsearch 技术栈(梯子)
https://medium.com/%40siddhart ... 677bb
3、生产环境部署Elasticsearch集群注意事项
https://www.cncf.io/blog/2021/ ... tion/

编辑:铭毅天下   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

如何深入了解ES中的快照

回复

ElasticsearchCharele 回复了问题 • 1 人关注 • 5 个回复 • 2029 次浏览 • 2022-05-14 01:05 • 来自相关话题

极限网关无缝集成ldap,哇哈哈

Elasticsearchyangmf2040 发表了文章 • 0 个评论 • 1767 次浏览 • 2022-05-12 20:50 • 来自相关话题

本文目的为例验证极限网关和ldap之间的集成功能:

  • 直接访问网关,走ldap验证
  • kibana连接网关,走ldap验证

    最近公司对Elasticsearch集群安全抓的紧了,免费的用户名密码固然是好,但还是免不了得给不同的部门、应用创建账户,不想搞。直接LDAP不完了吗?领导说“官方ldap要买license 这么些节点得50w左右。” 我擦,难道没有别的方案了吗?一圈打听下来,还真有。

    实验步骤:

    1. 既然是验证ldap,肯定要先准备个ldap
      访问 https://github.com/glauth/glauth,下载对应的软件:https://github.com/glauth/glauth/releases
      下载ldap的配置文件:https://github.com/glauth/glau ... e.cfg
      运行ldap:./glauth64 -c sample-simple.cfg
      1.png



      手工验证下ldap是否正常:
      ldapsearch -LLL -H ldap://localhost:3893 -D cn=serviceuser,ou=svcaccts,dc=glauth,dc=com -w mysecret -x -bdc=glauth,dc=com cn=hackers
      能正常返回hackers的信息,则ldap运行正常:

      2.png



    2. 配置极限网关
      下载极限网关:http://release.infinilabs.com/gateway/snapshot/
      本次测试下载的最新版本:gateway-1.6.0_SNAPSHOT-643
      下载完后,去sample里找下ldap的配置。

      3.png



      修改成自己的环境:
      ```
      修改 set_basic_auth
      flow:

      • name: hello_world
        filter:
      • ldap_auth:
        host: "localhost"
        port: 3893
        bind_dn: "cn=serviceuser,ou=svcaccts,dc=glauth,dc=com"
        bind_password: "mysecret"
        base_dn: "dc=glauth,dc=com"
        user_filter: "(cn=%s)"
        group_attribute: "ou"
        bypass_api_key: true
      • set_basic_auth:
        username: elastic
        password: password

        修改elasticsearch资源
        elasticsearch:
      • name: 717
        enabled: true
        endpoints:
      • http://192.168.56.3:7171
        basic_auth:
        username: elastic
        password: password
      • name: logging
        enabled: false
        endpoints:
      • http://192.168.3.188:9206
        basic_auth:
        username: elastic
        password: Bp2HyArQDd+5PdgEJ4QH


        pipeline:

        pipelines for logging

        - name: consume-request_logging_index-to-backup

        auto_start: true

        keep_running: true

        processor:

        - json_indexing:

        index_name: "test-gateway_requests"

        elasticsearch: "logging"

        input_queue: "request_logging"

        ```

        启动网关:./gateway-linux-amd64 -config sample-configs/elasticsearch-with-ldap.yml

        5.png



    3. 测试ldap是否正常
    4. 直接访问网关,使用ldap中的用户
      curl localhost:8000 -u hackers:dogood

      6.png



      正常返回es的信息
      搜索下

      61.png



    5. kibana连接网关,输入ldap用户名和密码后登录到Elastic
      <br /> kibana 配置网关的地址和ldap中的用户<br /> elasticsearch.hosts: ["<a href="http://127.0.0.1:8000"" rel="nofollow" target="_blank">http://127.0.0.1:8000"</a>]<br /> elasticsearch.username: "hackers"<br /> elasticsearch.password: "dogood"<br />
      启动kibana后,用ladap用户登录

      7.png





      71.png




      72.png



      逻辑:ldap验证通过后,使用 set_basic_auth 中设置的用户名和密码登录到Elasticsearch

      至此,本次测试就结束了,ldap功能集成功能正常。而且本方案对Elasticsearch集群无侵入,部署简单。顺手翻了下网站,其实网关还有很多其他高大上的功能:跨站数据查询,高可用,在线查询修改等。阔以,一举多得。
      期待后续为各个ldap用户增加到Elastic用户的映射就更加完美了。
      目前准备预发环境搞起来。发文冒个泡,希望有在使用的小伙伴一起多交流。

一个关于ES的简单的问题

回复

ElasticsearchCharele 回复了问题 • 1 人关注 • 1 个回复 • 1202 次浏览 • 2022-05-13 14:18 • 来自相关话题

社区日报 第1392期 (2022-05-12)

社区日报Se7en 发表了文章 • 0 个评论 • 994 次浏览 • 2022-05-12 09:43 • 来自相关话题

1.使用 Testcontainers 来测试 Elasticsearch 插件(需要梯子)
https://spinscale.de/posts/202 ... .html
2.开发你的第一个 Elasticsearch 插件
https://codeburst.io/how-to-ma ... 382d5
3.编写 Elastic APM Java Agent 插件(需要梯子)
https://spinscale.de/posts/202 ... .html

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

PrimaryReplicaSyncer用在什么场合???

回复

ElasticsearchCharele 发起了问题 • 1 人关注 • 0 个回复 • 1222 次浏览 • 2022-05-12 07:11 • 来自相关话题

社区日报 第1391期 (2022-05-11)

社区日报kin122 发表了文章 • 0 个评论 • 985 次浏览 • 2022-05-11 19:03 • 来自相关话题

1. Elasticsearch:运用 doc-value-only 字段来实现更快的索引速度并节省空间 - Elastic Stack 8.1
https://elasticstack.blog.csdn ... 72978
2. Understanding Index Life Cycle (ILM) Management
https://mkonda007.medium.com/e ... 98b6a
3. 如何将定制日志与Elastic Agent集成(需要梯子)
https://medium.com/zenika/how- ... 5aec7

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

ES官网文档的出入(ilm部分)

回复

ElasticsearchCharele 回复了问题 • 1 人关注 • 2 个回复 • 1326 次浏览 • 2022-05-10 13:32 • 来自相关话题

社区日报 第1390期 (2022-05-10)

社区日报God_lockin 发表了文章 • 0 个评论 • 967 次浏览 • 2022-05-10 09:47 • 来自相关话题

1. Devops的起点,日志的奇幻漂流(需要梯子)
https://joachim8675309.medium. ... 20206
2. 在Windows和Linux里用Elastic Stack做SIEM怎么样(需要梯子)
https://mohomedarfath.medium.c ... f470b
3. 在kibana上定制一个region地图?你来你也行(需要梯子)
https://medium.com/rahasak/cus ... b1dd5
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 

多大集群规模需要增加Coordinating节点

Elasticsearchliujiacheng 回复了问题 • 2 人关注 • 1 个回复 • 1031 次浏览 • 2022-05-09 22:22 • 来自相关话题

社区日报 第1389期 (2022-05-09)

社区日报yuebancanghai 发表了文章 • 0 个评论 • 921 次浏览 • 2022-05-09 09:07 • 来自相关话题

Elastic日报 第1389期 (2022-05-09)
1. Elasticsearch 不停机重建索引(需要梯子)
   https://betterprogramming.pub/ ... 12070

2. Elasticsearch IK分词器自动更新词库
   https://zhuanlan.zhihu.com/p/381936025

3. Elasticsearch 词频统计
   https://blog.csdn.net/laoyang3 ... 92026

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

求职:找一个ES相关的工作

求职招聘xiongge.club 回复了问题 • 3 人关注 • 2 个回复 • 2547 次浏览 • 2022-08-03 15:11 • 来自相关话题

build_snapshot代表什么意思???

Elasticsearchlocatelli 回复了问题 • 2 人关注 • 1 个回复 • 2166 次浏览 • 2022-05-09 10:30 • 来自相关话题