ELK,萌萌哒

并行多次对es发起同样条件的查询请求,es如何处理?

zhuangzilian 回复了问题 • 4 人关注 • 3 个回复 • 1612 次浏览 • 2022-03-01 14:46 • 来自相关话题

【急】求助连接超时问题

回复

sf386255178 发起了问题 • 1 人关注 • 0 个回复 • 1569 次浏览 • 2022-02-23 10:46 • 来自相关话题

使用 Elastic Stack 来分析奥运数据(一)

liuxg 发表了文章 • 0 个评论 • 1085 次浏览 • 2022-02-23 06:45 • 来自相关话题

 原文地址 使用 Elastic Stack 来分析奥运数据(一)

最近冬奥会在中国北京顺利举行。这是一件举国高兴的事。在历届都有许多的奥运数据,我们是否可以使用 Elastic Stack 来分析这些数据,并为我国的体育事业提供一些洞察呢?


olympic.png


最近,孩子学校布置了一个寒假的科技信息作用。内容如下:


1、使用网络及其他方式,完成数据搜集,收集2014、2018、2022三届冬奥会的相关数据,例如举办国家、城市、日期、吉祥物、获得前20(以金牌计)的国家,金、银、铜牌数量等相关信息,同学可以根据爱好,选择五种自己喜爱的运动,并查找此三届冬奥会中,中国、美国、俄罗斯、日本、德国在此五个项目上的奖牌情况。同学可以根据自己的思考,搜集更多的相关数据或信息。

同学思考:(1)如何才能保证自己所搜集数据的准确性。

                 (2)如何才能通过整理、分析以上数据,从我国运动员的获奖数据等信息中,对我国青少年冰雪体育教育提出自己的小建议。

2、在获得以上数据后,同学可以根据需要,把它们填写在EXCEL等数据处理软件中。可以自主决定是放在一个文件中,还是放在多个文件中,是整理在一个工作表中,还是放置在不同的工作表中。

3、对数据进行整理后,可以用图表等方式形象表达出来,并根据数据表、图表,撰写自己对于我国青少年冰雪体育教育提出自己的见解,如发现的问题,造成问题的原因,你的解决方案等。



首先,我得申明,我不是什么 Excel 表格高手,我也不知道该如何来使用 Excel 表来完成上面的工作。我倒是觉得使用 Elastic Stack 能完美地解决这个问题。

在今天的展示中,我将使用 Elastic Stack 8.0 来解决这个问题,尽管其他版本的 Elastic Stack 没有多大区别。在 Elastic Stack 8.0 中,一个最大的变化就是 Index patterns 界面变为 Data views。

原文链接:https://blog.csdn.net/UbuntuTo ... 43103

兼容不同版本的查询响应结果的 Count 结构

medcl 发表了文章 • 0 个评论 • 3 次浏览 • 2022-02-21 16:08 • 来自相关话题

Elasticsearch 在 7.0 之后的版本中,为了优化性能,搜索结果的命中数默认不进行精确的计数统计,同时对搜索结果的响应体进行了调整, 这样势必会造成已有代码的不兼容,如何快速修复呢?
Elasticsearch 在 7.0 之后的版本中,为了优化性能,搜索结果的命中数默认不进行精确的计数统计,同时对搜索结果的响应体进行了调整, 这样势必会造成已有代码的不兼容,如何快速修复呢?

Elasticsearch:创建多个节点的集群 - Elastic Stack 8.0

liuxg 发表了文章 • 0 个评论 • 1707 次浏览 • 2022-02-20 19:34 • 来自相关话题

在我之前的文章:


我详细描述了如何安装单节点的 Elastic Stack。在今天的教程中,我详述如何安装3个节点的 Elasticsearch 集群。我将使用 Docker 来进行部署。

首先,我们使用如下的命令来创建第一个 Elasticsearch 节点:

docker network create elastic
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.0.0
docker run -e ES_JAVA_OPTS="-Xms1g -Xmx1g" --name es-node01 --net elastic -p 9200:9200 -p 9300:9300 -it docker.elastic.co/elasticsearch/elasticsearch:8.0.0


原文链接:https://elasticstack.blog.csdn ... 27404

同时查询不同的条件 查询出来的结果跟当前所输入的查询条件不一致

tongchuan1992 回复了问题 • 2 人关注 • 1 个回复 • 923 次浏览 • 2022-02-21 09:17 • 来自相关话题

ShardLongFieldRange的作用

回复

Charele 发起了问题 • 1 人关注 • 0 个回复 • 1359 次浏览 • 2022-02-17 16:30 • 来自相关话题

Elasticsearch8.0新特性概览

liujiacheng 发表了文章 • 1 个评论 • 12940 次浏览 • 2022-02-14 16:30 • 来自相关话题

8.x 重要更新


  • Rest API相比较7.x而言做了比较大的改动(比如彻底删除_type),为了降低用户的升级成本,8.x会暂时的兼容7.x的请求。兼容方式:

    [REST API compatibility | Elasticsearch Guide [8.0] | Elastic](https://www.elastic.co/guide/e ... y.html)
  • 默认开启安全配置(三层安全),并极大简化了开启安全需要的工作量,可以这么说:7.x开启安全需要10步复杂的步骤比如CA、证书签发、yml添加多个配置等等,8.x只需要一步即可)。

    [elasticsearch-create-enrollment-token | Elasticsearch Guide [8.0] | Elastic](https://www.elastic.co/guide/e ... n.html)
  • 存储空间优化:对倒排文件使用新的编码集,对于keyword、match_only_text、text类型字段有效,有3.5%的空间优化提升,对于新建索引和segment自动生效。
  • 优化geo_point,geo_shape类型的索引(写入)效率:15%的提升。
  • 新特性:支持上传pyTorch模型,在ingest的时候使用。比如在写入电影评论的时候,如果我们想要知道这个评论的感情正负得分,可以使用对应的AI感情模型对评论进行运算,将结果一并保存在ES中。

    [Overview | Machine Learning in the Elastic Stack [8.0] | Elastic](https://www.elastic.co/guide/e ... w.html)
  • 技术预览版KNN API发布,(K邻近算法),跟推荐系统、自然语言排名相关。之前的KNN是精确搜索,在大数据集合的情况会比较慢,新的KNN提供近似KNN搜索,以提高速度。[https://www.elastic.co/guide/e ... .html](https://www.elastic.co/guide/e ... h.html)
  • 对ES内置索引的保护加强了:elastic用户默认只能读,如果需要写权限的时候,需有allow_restrict_access权限。
  • 其他更新

    [Elasticsearch breaking changes | Elastic Installation and Upgrade Guide [8.0] | Elastic](https://www.elastic.co/guide/e ... s.html)

大家好,新人报道多多指教

回复

sssadadadad 发起了问题 • 1 人关注 • 0 个回复 • 1634 次浏览 • 2022-02-12 19:47 • 来自相关话题

简直无语,升级到 Elasticsearch 8.0 之后,我的数据居然写不进去了

medcl 发表了文章 • 5 个评论 • 9042 次浏览 • 2022-02-11 19:45 • 来自相关话题

我破防了,今天看到 8.0 发布的消息,这个版本真的是期待已久了,一激动就升级到了最新版,各种激动人心的新功能,简直是爽歪歪啊。
 

WX20220211-192336@2x.png

 
瞧!有图有真相。
 
体验了一把新的 8.0 正式版的 Kibana,啧啧,真不错。
 
还没从喜悦的心情平复,我的手机已然切到了震动模式,是谁在呼唤我??
 
我的妈,各种服务器大量报错,我抓过日志,各位请看:
{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Action/metadata line [1] contains an unknown parameter [_type]"
      }
    ],
    "type": "illegal_argument_exception",
    "reason": "Action/metadata line [1] contains an unknown parameter [_type]"
  },
  "status": 400
}
熟悉的 type,不一样的问题,大爷的,还是大意了。
 
type 这厮在 8.0 里面已经被正式干掉了,而我还傻傻的等在原地。
 
怎么办,我几万个 agent、上千个 Filebeat 和 Logstash 大军总不能现在就升级吧,还不知道有没有幺蛾子在前方等待我,心里有点方。
 
恩,这个时候我想到了鲁迅说的,用 Elasitcsearch 之前先看看极限网关(文档地址:http://极限网关.com) ,所以我立马就去南山寺问了问极限网关,他说可以, O 了。
 
首先,从这里下载最新的极限网关 523 版本:http://release.elasticsearch.cn/gateway/snapshot/
 
然后,解压,可以看到立马有一个配置,佛祖显灵,居然有一个配置文件`sample-configs/v8-bulk-indexing-compatibility.yml` 在闪光,就是它:

WechatIMG553.png

 
恩,看来是这个 filter 可以帮我去掉了当前 whatever 版本生成的多余的不要的 type,修改配置我就试试看。
 
启动启动启动,如下:

WX20220211-193936@2x.png

 
没有报错!yes。
 
查看索引的统计指标:

WX20220211-194316@2x.png

 
O 了,数据都正常写入了,采集端啥都不用动,就能用上新版的 Elasticsearch,真是快哉。晚上自己加个卤蛋。

以上情节,纯属虚构,如有雷同,哪又咋地。
 

Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单

liuxg 发表了文章 • 0 个评论 • 1870 次浏览 • 2022-02-11 12:10 • 来自相关话题

在 8.0 中,我们很高兴为所有用户带来简化的安全功能。 从 7.1 开始,我们向所有人免费提供了确保 Elastic Stack 安全所需的所有功能。

然而,我们知道设置安全性并不好玩,你需要专注于你的项目目标。 好消息给你! 从 8.0 开始,自管理集群默认启用 Elastic Stack 安全性,配置工作几乎为零。 只需启动新的 Elasticsearch 和 Kibana 版本并继续充分利用 Elastic Stack,我们将为你提供支持! 如果你使用的是 Elastic Cloud,请不要担心——我们已经为你解决了安全问题。

轻松获得所需的所有安全性
简化的安全性包括以下功能,这些功能跨越多个层和产品,默认启用:

用户认证
具有基于角色的访问控制的用户授权
Kibana Spaces 多租户
使用 TLS 的加密节点到节点通信
使用 HTTPS 与 Elasticsearch API 进行加密通信

原文链接:https://elasticstack.blog.csdn ... 74932

高亮关键字 去除html标签内的

yanyl 回复了问题 • 2 人关注 • 1 个回复 • 1585 次浏览 • 2022-02-18 14:51 • 来自相关话题

elasticsearch IllegalArgumentException[Operation term is newer than the current term; current term[2

locatelli 回复了问题 • 2 人关注 • 1 个回复 • 2340 次浏览 • 2022-02-15 11:17 • 来自相关话题

Elasticsearch 查询示例 - 动手练习(一)

liuxg 发表了文章 • 5 个评论 • 2743 次浏览 • 2022-02-07 14:29 • 来自相关话题

Elasticsearch 提供了一组强大的选项来查询各种用例的文档,因此了解将哪个查询应用于特定案例很有用。 以下是一个动手教程,可帮助你利用 Elasticsearch 提供的最重要的查询。

在本指南中,你将学习许多 带有详细解释的流行查询示例。 此处涵盖的每个查询将分为 2 种类型:
  • 结构化查询:用于检索结构化数据的查询,例如日期、数字、密码等。
  • 全文查询:用于查询纯文本的查询。


原文链接:https://blog.csdn.net/UbuntuTo ... 53295
Elasticsearch 提供了一组强大的选项来查询各种用例的文档,因此了解将哪个查询应用于特定案例很有用。 以下是一个动手教程,可帮助你利用 Elasticsearch 提供的最重要的查询。

在本指南中,你将学习许多 带有详细解释的流行查询示例。 此处涵盖的每个查询将分为 2 种类型:
  • 结构化查询:用于检索结构化数据的查询,例如日期、数字、密码等。
  • 全文查询:用于查询纯文本的查询。


原文链接:https://blog.csdn.net/UbuntuTo ... 53295

copy_to字段内容如何清除

Charele 回复了问题 • 2 人关注 • 1 个回复 • 1112 次浏览 • 2022-02-21 16:12 • 来自相关话题