居然是你

Bilibili诚招ElasticSearch高级/资深研发工程师

回复

求职招聘bilibili2233 发起了问题 • 1 人关注 • 0 个回复 • 4365 次浏览 • 2022-02-18 09:41 • 来自相关话题

同时查询不同的条件 查询出来的结果跟当前所输入的查询条件不一致

Elasticsearchtongchuan1992 回复了问题 • 2 人关注 • 1 个回复 • 896 次浏览 • 2022-02-21 09:17 • 来自相关话题

跑lucene的单测有点问题,谁知道怎么处理

回复

Lucenezhaocheng 发起了问题 • 1 人关注 • 0 个回复 • 1929 次浏览 • 2022-02-18 09:41 • 来自相关话题

ShardLongFieldRange的作用

回复

ElasticsearchCharele 发起了问题 • 1 人关注 • 0 个回复 • 1321 次浏览 • 2022-02-17 16:30 • 来自相关话题

使用极限网关来代理 Kibana

Kibanamedcl 发表了文章 • 0 个评论 • 2449 次浏览 • 2022-02-15 20:29 • 来自相关话题

我的 Kibana 版本太旧了,我的 Kibana 没有密码保护,我的 Kibana 没有权限控制。烦不胜烦。
 来来来,几个简单步骤告别不舒服的这几个问题,如下:

下载最新的 530 版本:http://release.elasticsearch.cn/gateway/snapshot/
 
找到配置:
entry:
- name: my_es_entry
enabled: true
router: my_router
max_concurrency: 10000
network:
binding: 0.0.0.0:8000
skip_occupied_port: true
tls:
enabled: true

flow:
- name: default_flow
filter:
- basic_auth:
valid_users:
medcl: passwd
- http:
schema: "http" #https or http
host: "192.168.3.98:5601"
router:
- name: my_router
default_flow: default_flow
修改里面的 ip 为你实际的 Kibana IP 地址,如需多个,使用 hosts 参数,详见文档手册:
 
https://极限网关.com/docs/references/filters/http/
 
启动网关,因为自动开启了 https,访问网关的服务地址:https://localhost:8000,如下:

Jietu20220215-202309.jpg

 
输入配置的用户名密码,即可。
 

Jietu20220215-202414.jpg

Elasticsearch8.0新特性概览

Elasticsearchliujiacheng 发表了文章 • 1 个评论 • 12765 次浏览 • 2022-02-14 16:30 • 来自相关话题

8.x 重要更新


  • Rest API相比较7.x而言做了比较大的改动(比如彻底删除_type),为了降低用户的升级成本,8.x会暂时的兼容7.x的请求。兼容方式:

    [REST API compatibility | Elasticsearch Guide [8.0] | Elastic](https://www.elastic.co/guide/e ... y.html)
  • 默认开启安全配置(三层安全),并极大简化了开启安全需要的工作量,可以这么说:7.x开启安全需要10步复杂的步骤比如CA、证书签发、yml添加多个配置等等,8.x只需要一步即可)。

    [elasticsearch-create-enrollment-token | Elasticsearch Guide [8.0] | Elastic](https://www.elastic.co/guide/e ... n.html)
  • 存储空间优化:对倒排文件使用新的编码集,对于keyword、match_only_text、text类型字段有效,有3.5%的空间优化提升,对于新建索引和segment自动生效。
  • 优化geo_point,geo_shape类型的索引(写入)效率:15%的提升。
  • 新特性:支持上传pyTorch模型,在ingest的时候使用。比如在写入电影评论的时候,如果我们想要知道这个评论的感情正负得分,可以使用对应的AI感情模型对评论进行运算,将结果一并保存在ES中。

    [Overview | Machine Learning in the Elastic Stack [8.0] | Elastic](https://www.elastic.co/guide/e ... w.html)
  • 技术预览版KNN API发布,(K邻近算法),跟推荐系统、自然语言排名相关。之前的KNN是精确搜索,在大数据集合的情况会比较慢,新的KNN提供近似KNN搜索,以提高速度。[https://www.elastic.co/guide/e ... .html](https://www.elastic.co/guide/e ... h.html)
  • 对ES内置索引的保护加强了:elastic用户默认只能读,如果需要写权限的时候,需有allow_restrict_access权限。
  • 其他更新

    [Elasticsearch breaking changes | Elastic Installation and Upgrade Guide [8.0] | Elastic](https://www.elastic.co/guide/e ... s.html)

大家好,新人报道多多指教

回复

Elasticsearchsssadadadad 发起了问题 • 1 人关注 • 0 个回复 • 1598 次浏览 • 2022-02-12 19:47 • 来自相关话题

简直无语,升级到 Elasticsearch 8.0 之后,我的数据居然写不进去了

Elasticsearchmedcl 发表了文章 • 5 个评论 • 8909 次浏览 • 2022-02-11 19:45 • 来自相关话题

我破防了,今天看到 8.0 发布的消息,这个版本真的是期待已久了,一激动就升级到了最新版,各种激动人心的新功能,简直是爽歪歪啊。
 

WX20220211-192336@2x.png

 
瞧!有图有真相。
 
体验了一把新的 8.0 正式版的 Kibana,啧啧,真不错。
 
还没从喜悦的心情平复,我的手机已然切到了震动模式,是谁在呼唤我??
 
我的妈,各种服务器大量报错,我抓过日志,各位请看:
{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Action/metadata line [1] contains an unknown parameter [_type]"
      }
    ],
    "type": "illegal_argument_exception",
    "reason": "Action/metadata line [1] contains an unknown parameter [_type]"
  },
  "status": 400
}
熟悉的 type,不一样的问题,大爷的,还是大意了。
 
type 这厮在 8.0 里面已经被正式干掉了,而我还傻傻的等在原地。
 
怎么办,我几万个 agent、上千个 Filebeat 和 Logstash 大军总不能现在就升级吧,还不知道有没有幺蛾子在前方等待我,心里有点方。
 
恩,这个时候我想到了鲁迅说的,用 Elasitcsearch 之前先看看极限网关(文档地址:http://极限网关.com) ,所以我立马就去南山寺问了问极限网关,他说可以, O 了。
 
首先,从这里下载最新的极限网关 523 版本:http://release.elasticsearch.cn/gateway/snapshot/
 
然后,解压,可以看到立马有一个配置,佛祖显灵,居然有一个配置文件`sample-configs/v8-bulk-indexing-compatibility.yml` 在闪光,就是它:

WechatIMG553.png

 
恩,看来是这个 filter 可以帮我去掉了当前 whatever 版本生成的多余的不要的 type,修改配置我就试试看。
 
启动启动启动,如下:

WX20220211-193936@2x.png

 
没有报错!yes。
 
查看索引的统计指标:

WX20220211-194316@2x.png

 
O 了,数据都正常写入了,采集端啥都不用动,就能用上新版的 Elasticsearch,真是快哉。晚上自己加个卤蛋。

以上情节,纯属虚构,如有雷同,哪又咋地。
 

Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单

Elasticsearchliuxg 发表了文章 • 0 个评论 • 1842 次浏览 • 2022-02-11 12:10 • 来自相关话题

在 8.0 中,我们很高兴为所有用户带来简化的安全功能。 从 7.1 开始,我们向所有人免费提供了确保 Elastic Stack 安全所需的所有功能。

然而,我们知道设置安全性并不好玩,你需要专注于你的项目目标。 好消息给你! 从 8.0 开始,自管理集群默认启用 Elastic Stack 安全性,配置工作几乎为零。 只需启动新的 Elasticsearch 和 Kibana 版本并继续充分利用 Elastic Stack,我们将为你提供支持! 如果你使用的是 Elastic Cloud,请不要担心——我们已经为你解决了安全问题。

轻松获得所需的所有安全性
简化的安全性包括以下功能,这些功能跨越多个层和产品,默认启用:

用户认证
具有基于角色的访问控制的用户授权
Kibana Spaces 多租户
使用 TLS 的加密节点到节点通信
使用 HTTPS 与 Elasticsearch API 进行加密通信

原文链接:https://elasticstack.blog.csdn ... 74932

logstash从es实时读数据输出到kafka (跪求)

Logstashlocatelli 回复了问题 • 2 人关注 • 1 个回复 • 2940 次浏览 • 2022-02-15 07:00 • 来自相关话题

极限科技招聘啦,快来看看 :)

求职招聘medcl 发表了文章 • 2 个评论 • 3004 次浏览 • 2022-02-10 17:40 • 来自相关话题

极限科技开始招聘啦,目前正在寻找攻城狮,方向分别是 Golang 后端和 React 前端。

目前正在开发的两款产品:

  • https://极限数据.com
  • https://极限网关.com

    两款产品都是围绕 Elasticsearch 来打造,大家可以去体验试试,使用和下载都是非常简单,因为我们产品的设计理念是:简单、易用、极致、创新,和大家喜爱的 Elasticsearch 一样,我们只做简单好用的产品,现寻觅优秀的工程师一起来打造世界级的数据产品!

    欢迎加入我们,挑战数据极限,简历投递:hello@infini.ltd

    目前开放的职位坐标位于长沙研发中心。

    React 前端开发工程师(10k-30k)


    岗位职责:

    1. 负责公司数据管理产品前端端部分的开发和维护;
    2. 参与前端框架和组件易用性改善、基础建设,提升团队开发效率;
    3. 持续学习和分享前端前沿技术;
    4. 编写可以在多平台使用的响应式/自适应的网页解决方案;
    5. 与团队合作,编写最出色的用户界面;
    6. 优化用户体验,与设计师和产品经理合作,编写用户喜爱的用户界面。

      岗位要求

    7. 计算机相关专业大学本科及以上学历;
    8. 具有扎实的计算机基础知识;
    9. 熟练掌握 react 框架,有一定项目经验;
    10. 熟悉 ES6, antd, react-router, webpack, 有一定的项目经验;
    11. 熟悉大型网站页面结构与布局,了解网站性能和技术体验优化方案;
    12. 对前端工程化、组件化、模块化有自己的理解;
    13. 具有文档撰写,code review 和单元测试,确保项目的进度和质量能力;
    14. 良好英语读、写能力;
    15. 对于新技术的自主学习和探索能力。

      加分项:

  • 有自己的博客、Github、开源项目优先;
  • 有管理后台相关工作经验优先;
  • 有数据可视化相关工作经验优先。


    Golang 后端开发工程师(10k-30k)


    岗位职责:

    1、负责 Golang 开发与后端数据模型设计;
    2、合理定义后端接口 API,并实现 API 业务逻辑;
    3、确保业务逻辑正确性,能通过 Unit Test 进行检验;
    4、与前端工程师紧密合作,确保项目准时上线,且保证交付质量;
    5、对后端技术的发展趋势保持关注,不断学习并升级现有的后端技术;
    6、关注产品的代码质量、高性能、服务可靠性、系统可扩展性、可维护性等。

    岗位要求:

    1、本科及以上学历,1 年以上 Golang 开发经验;
    2、熟悉 Golang 编程语言,熟练掌握技术核心原理;
    3、熟悉 Linux,了解服务器性能优化、负载均衡、文件系统等知识;
    4、了解 Redis、Elasticsearch 等常用 NoSQL 解决方案;
    5、具备分布式基础理论知识;
    6、有代码洁癖;

    1. 具有文档撰写,code review 和单元测试,确保项目的进度和质量能力;
    2. 良好英语读、写能力;
    3. 对于新技术的自主学习和探索能力。

      加分项:

  • 有自己的博客、Github、开源项目优先
  • 具备 ToB SaaS 相关开发经验;
  • 熟悉其他后端编程语言,包括但不限于 Java、Nodejs、Python 等;
  • 有较强的学习能力,愿意致力于新技术的研究。

    关于极限科技


    极限数据(北京)科技有限公司,简称极限科技,我们是一家专注于开源搜索与实时数据分析的软件公司。公司产品的设计理念是:简单、易用、极致、创新,旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。自研产品及解决方案包括:Elasticsearch 多集群管理、企业级异地多活容灾、平台化数据治理等多种解决方案。

    追求极致无限可能!

    欢迎投递简历:hello@infini.ltd

高亮关键字 去除html标签内的

Elasticsearchyanyl 回复了问题 • 2 人关注 • 1 个回复 • 1512 次浏览 • 2022-02-18 14:51 • 来自相关话题

elasticsearch IllegalArgumentException[Operation term is newer than the current term; current term[2

Elasticsearchlocatelli 回复了问题 • 2 人关注 • 1 个回复 • 2220 次浏览 • 2022-02-15 11:17 • 来自相关话题

Kibana:Kibana 入门 (一)

Kibanaliuxg 发表了文章 • 0 个评论 • 3941 次浏览 • 2022-02-08 11:01 • 来自相关话题

Kibana
Kibana 是你进入 Elastic Stack 的窗口。 Kibana 使你能够:

分析和可视化你的数据。搜索隐藏的见解,编制图表仪表板,仪表、地图和其他可视化显示您发现的内容,并与他人分享。
搜索、观察和保护你的数据。向你的应用或网站添加搜索框,分析日志,指标,并发现安全漏洞。
管理、监控和保护 Elastic Stack。管理您的索引和摄入管道,监控 Elastic Stack 集群的运行状况,并控制哪些用户可以访问哪些特征和数据。
在今天的练习中,你将学习如何在 Kibana 中探索数据,如何使用 Kibana 创建可视化镜头,并将它们组合在仪表板中。你将使用 Kibana 的示例数据集。一个数据集描述了过去 10 天的航班信息。第二个数据集代表电子商务平台的订单。你将使用不同的 Kibana可视化来探索数据。你将深入了解运营商的典型延误等主题,以及票价波动。

在今天的练习中,我们将使用最新的 Elastic Stack 7.17 来进行展示。针对之前的版本,界面可能有所不同,但是很多操作基本是一样的。

原文链接:https://elasticstack.blog.csdn ... 05096

Elasticsearch 查询示例 - 动手练习(一)

Elasticsearchliuxg 发表了文章 • 5 个评论 • 2639 次浏览 • 2022-02-07 14:29 • 来自相关话题

Elasticsearch 提供了一组强大的选项来查询各种用例的文档,因此了解将哪个查询应用于特定案例很有用。 以下是一个动手教程,可帮助你利用 Elasticsearch 提供的最重要的查询。

在本指南中,你将学习许多 带有详细解释的流行查询示例。 此处涵盖的每个查询将分为 2 种类型:
  • 结构化查询:用于检索结构化数据的查询,例如日期、数字、密码等。
  • 全文查询:用于查询纯文本的查询。


原文链接:https://blog.csdn.net/UbuntuTo ... 53295
Elasticsearch 提供了一组强大的选项来查询各种用例的文档,因此了解将哪个查询应用于特定案例很有用。 以下是一个动手教程,可帮助你利用 Elasticsearch 提供的最重要的查询。

在本指南中,你将学习许多 带有详细解释的流行查询示例。 此处涵盖的每个查询将分为 2 种类型:
  • 结构化查询:用于检索结构化数据的查询,例如日期、数字、密码等。
  • 全文查询:用于查询纯文本的查询。


原文链接:https://blog.csdn.net/UbuntuTo ... 53295