ES冷热架构，如何只查询热节点数据

贡献

Elasticsearch • zqc0512 回复了问题 • 4 人关注 • 2 个回复 • 1603 次浏览 • 2023-09-20 20:57 • 来自相关话题

社区日报第1700期 (2023-09-12）

社区日报 • God_lockin 发表了文章 • 0 个评论 • 1418 次浏览 • 2023-09-12 12:02 • 来自相关话题

让 Easysearch 运行在 LoongArch(3C5000L) 上

Easysearch • Hardy 发表了文章 • 3 个评论 • 1880 次浏览 • 2023-09-11 12:53 • 来自相关话题

简介

在上一次，我介绍了在国产操作系统 Kylin V10 (Lance)-aarch64 上安装单机版 Easysearch/Console/Agent/Gateway/Loadgen，小伙伴们可[查看原文](https://elasticsearch.cn/article/14908)。今天我重点介绍下在 Loongnix-Server Linux release 8.4.1 (3C5000L)上安装 Easysearch。

系统配置

在安装之前，需要先进行系统参数调整并创建操作用户，以下命令均需要使用 root 用户操作。

```bash

配置nofile和memlock

tee /etc/security/limits.d/21-infini.conf <<-'EOF'

soft nofile 1048576
hard nofile 1048576
soft memlock unlimited
hard memlock unlimited
root soft nofile 1048576
root hard nofile 1048576
root soft memlock unlimited
root hard memlock unlimited
EOF

关闭THP

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
grep -i HugePages_Total /proc/meminfo

grep -wq transparent_hugepage /etc/rc.local || cat <<-'EOF' >> /etc/rc.local

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF
chmod 755 /etc/rc.local

内核调优

tee /etc/sysctl.d/70-infini.conf <<-'EOF'
vm.max_map_count = 262145
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_timestamps=1
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_keepalive_time = 900
net.ipv4.tcp_max_tw_buckets = 2000000
net.ipv4.ip_local_port_range = 1024 65535
EOF
sysctl -p /etc/sysctl.d/70-infini.conf
```

用户配置

```bash

创建Easysearch操作用户

groupadd -g 602 es
useradd -u 602 -g es -m -d /home/es -c 'easysearch' -s /bin/bash es
```

配置 JDK

```bash

在各个节点上分别操作

wget -N http://ftp.loongnix.cn/Java/op ... ar.gz -P /usr/src

mkdir -p /usr/local/jdk
tar -zxf /usr/src/loongson*.tar.gz -C /usr/local/jdk --strip-components 1

tee /etc/profile.d/java.sh <<-'EOF'

set java environment

JAVA_HOME=/usr/local/jdk
CLASSPATH=$CLASSPATH:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
export PATH JAVA_HOME CLASSPATH
EOF
source /etc/profile
java -version
```

Easysearch 部署

部署及密码配置

```bash

在线安装

curl -sSL http://get.infini.sh | bash -s -- -p easysearch -d /data/easysearch

初始化证书(若不采用默认证书，如需要调整证书可修改证书生成文件)

cd /data/easysearch

默认会生成随机密码

bin/initialize.sh
ll /data/easysearch/config/{.crt,.key,*.pem}
```

配置文件及 JVM 调整

```bash
cat < /data/easysearch/config/easysearch.yml
cluster.name: infinilabs
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

cluster.initial_master_nodes: ["node-1"]

path.home: /data/easysearch
path.data: /data/easysearch/data
path.logs: /data/easysearch/logs

http.compression: true

security.enabled: true
security.audit.type: noop
security.ssl.transport.cert_file: instance.crt
security.ssl.transport.key_file: instance.key
security.ssl.transport.ca_file: ca.crt
security.ssl.transport.skip_domain_verify: true
security.ssl.http.enabled: true
security.ssl.http.cert_file: instance.crt
security.ssl.http.key_file: instance.key
security.ssl.http.ca_file: ca.crt

security.allow_default_init_securityindex: true

security.nodes_dn:
- 'CN=infini.cloud,OU=UNIT,O=ORG,L=NI,ST=FI,C=IN'
  
  security.restapi.roles_enabled: [ "superuser", "security_rest_api_access" ]
  
  security.system_indices.enabled: true
  security.ssl.http.clientauth_mode: OPTIONAL
  security.system_indices.indices: [".infini-*"]
  
  for admin dn
  
  specify admin certs to operate against system indices, basic_auth is not required
  
  curl -k --cert config/admin.crt --key config/admin.key -XDELETE 'https://localhost:9200/.infini-*/'
  
  security.authcz.admin_dn:
- 'CN=admin.infini.cloud,OU=UNIT,O=ORG,L=NI,ST=FI,C=IN'
  EOF
  
  根据实际机器内存的大小进行配置，推荐配置为机器内存一半，且不超过31G
  
  sed -i "s/1g/4g/g" $ES_HOME/config/jvm.options
```

备份目录及权限调整

```bash
  
  创建备份目录
  
  mkdir -p /data/easysearch/backup
  
  更新目录权限
  
  chown -R es.es /data/easysearch
```

环境变量及启动服务

```bash
  su - es
  grep -wq easysearch ~/.bashrc || cat<> ~/.bashrc
  export ES_HOME=/data/easysearch
  EOF
  source ~/.bashrc
  
  jna替换<龙芯平台有独立的jna实现>
  
  rm -rvf $ES_HOME/lib/jna*.jar
  wget -N https://release.infinilabs.com ... 1.jar -P $ES_HOME/lib
  
  以后台方式启动服务
  
  $ES_HOME/bin/easysearch -d
```

Easysearch 验证

bash<br /> curl -ku "admin:$pass" <a href="https://127.0.0.1:9200" rel="nofollow" target="_blank">https://127.0.0.1:9200</a><br /> curl -ku "admin:$pass" <a href="https://127.0.0.1:9200/_cluster/health?pretty" rel="nofollow" target="_blank">https://127.0.0.1:9200/_cluster/health?pretty</a><br /> curl -ku "admin:$pass" <a href="https://127.0.0.1:9200/_cat/nodes?v" rel="nofollow" target="_blank">https://127.0.0.1:9200/_cat/nodes?v</a><br />

![Easysearch信息](https://infinilabs.com/img/blo ... ch.jpg)

部署 Console

```bash
  curl -sSL http://get.infini.sh | bash -s -- -p console
  
  安装服务并启动
  
  cd /opt/console
  ./console-linux-loong64 -service install
  ./console-linux-loong64 -service start
  
  验证
  
  systemctl status console
```

部署 Agent

```bash
  curl -sSL http://get.infini.sh | bash -s -- -p agent
  
  修改Agent配置文件
  
  cd /opt/agent
  sed -i "/ES_ENDPOINT:/ s|(.\: ).|\1$https://localhost:9200|" agent.yml
  sed -i "/ES_USER:/ s|(.\: ).|\1admin|" agent.yml
  sed -i "/ES_PASS:/ s|(.\: ).|\1$pass|" gateway.yml
  sed -i "/API_BINDING:/ s|(.\: ).|\1\"0.0.0.0:8080\"|" agent.yml
  head -n 5 agent.yml
  
  安装服务并启动
  
  ./agent-linux-loong64 -service install
  ./agent-linux-loong64 -service start
  
  验证
  
  systemctl status agent
```

部署 Gateway

```bash
  curl -sSL http://get.infini.sh | bash -s -- -p gateway
  cd /opt/gateway
  
  修改Gateway配置文件
  
  sed -i "/ES_PASS:/ s|(.\: ).|\1$pass|" gateway.yml
  head -n 10 gateway.yml
  
  安装服务并启动
  
  ./gateway-linux-loong64 -service install
  ./gateway-linux-loong64 -service start
  
  检查服务
  
  systemctl status gateway
  curl -u "admin:$pass" http://127.0.0.1:8000
```

部署 Loadgen

```bash
  curl -sSL http://get.infini.sh | bash -s -- -p loadgen
  
  写入数据测试
  
  cd /opt/loadgen
  mkdir -p mock
  cat < mock/nginx.log
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET / HTTP/1.1" 200 8676 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /vendor/bootstrap/css/bootstrap.css HTTP/1.1" 200 17235 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /vendor/daterangepicker/daterangepicker.css HTTP/1.1" 200 1700 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /vendor/fork-awesome/css/v5-compat.css HTTP/1.1" 200 2091 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /assets/font/raleway.css HTTP/1.1" 200 145 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /vendor/fork-awesome/css/fork-awesome.css HTTP/1.1" 200 8401 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /assets/css/overrides.css HTTP/1.1" 200 2524 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /assets/css/theme.css HTTP/1.1" 200 306 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /vendor/fancytree/css/ui.fancytree.css HTTP/1.1" 200 3456 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  175.10.75.216 - - [28/Jul/2020:21:20:26 +0800] "GET /syncthing/development/logbar.js HTTP/1.1" 200 486 "<a href="http://dl-console.elasticsearch.cn/"" rel="nofollow" target="_blank">http://dl-console.elasticsearch.cn/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
  EOF
  
  cat < loadgen.yml
  env:
  ES_USERNAME: admin
  ES_PASSWORD: $pass
  ES_ENDPOINT: http://localhost:8000
  runner:
  
  total_rounds: 1
  
  no_warm: false
  
  Whether to log all requests
  
  log_requests: false
  
  Whether to log all requests with the specified response status
  
  log_status_codes:
- 0
- 500
  assert_invalid: false
  assert_error: false
  variables:
- name: ip
  type: file
  path: dict/ip.txt
- name: message
  type: file
  path: mock/nginx.log
  replace: # replace special characters in the value
  '"': '\"'
  '\': '\'
- name: user
  type: file
  path: dict/user.txt
- name: id
  type: sequence
- name: uuid
  type: uuid
- name: now_local
  type: now_local
- name: now_utc
  type: now_utc
- name: now_unix
  type: now_unix
- name: suffix
  type: range
  from: 10
  to: 13
  requests:
- request:
  method: POST
  runtime_variables:
  batch_no: uuid
  runtime_body_line_variables:
  routing_no: uuid
  basic_auth:
  username: $[[env.ES_USERNAME]]
  password: $[[env.ES_PASSWORD]]
  url: $[[env.ES_ENDPOINT]]/_bulk
  body_repeat_times: 5000
  body: |
  { "index" : { "_index" : "test-$[[suffix]]", "_id" : "$[[uuid]]" } }
  { "id" : "$[[uuid]]","routing_no" : "$[[routing_no]]","batch_number" : "$[[batch_no]]","message" : "$[[message]]","random_no" : "$[[suffix]]","ip" : "$[[ip]]","now_local" : "$[[now_local]]","now_unix" : "$[[now_unix]]" }
  EOF
  
  执行测试
  
  ./loadgen-linux-loong64 -c 6 -d 6 --compress
  
  检查测试索引文档
  
  curl -u "admin:$pass" http://127.0.0.1:8000/_cat/indices/test*?v
```

至此，完成在 LoongArch(3C5000L)上安装单机版 Easysearch/Console/Agent/Gateway/Loadgen。通过浏览器 http://机器域名:9000/ 即可访问 Console，对 Easysearch 进行配置管理。

可能遇到的问题

![连接被拒绝](https://infinilabs.com/img/blo ... ct.jpg)

检查下配置文件中监听的地址是否正确，防火墙是否有关闭。

![防火墙状态](https://infinilabs.com/img/blo ... ll.jpg)

关于 Easysearch

![about easysearch](https://www.infinilabs.com/img ... er.png)

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档：<https://www.infinilabs.com/doc ... gt%3B

下载地址：<https://www.infinilabs.com/download>;

社区日报第1699期 (2023-09-11)

社区日报 • yuebancanghai 发表了文章 • 0 个评论 • 1057 次浏览 • 2023-09-11 10:06 • 来自相关话题

让人模糊的模糊查询

Elasticsearch • Charele 回复了问题 • 1 人关注 • 5 个回复 • 2184 次浏览 • 2023-09-17 15:57 • 来自相关话题

ES集群个别节点cpu使用率达到1000%以上

贡献

Elasticsearch • Charele 回复了问题 • 5 人关注 • 7 个回复 • 2533 次浏览 • 2023-09-21 12:31 • 来自相关话题

新版Lucence的改进

Elasticsearch • Charele 回复了问题 • 1 人关注 • 3 个回复 • 1521 次浏览 • 2023-09-18 02:32 • 来自相关话题

社区日报第1698期 (2023-09-07）

社区日报 • Se7en 发表了文章 • 0 个评论 • 1308 次浏览 • 2023-09-07 13:25 • 来自相关话题

理解ES查询的难点在哪里

Elasticsearch • Charele 回复了问题 • 1 人关注 • 1 个回复 • 1972 次浏览 • 2023-09-25 03:06 • 来自相关话题

社区日报第1697期 (2023-09-05）

社区日报 • God_lockin 发表了文章 • 0 个评论 • 1127 次浏览 • 2023-09-05 08:56 • 来自相关话题

INFINI Labs 产品更新 | Console 告警中心 UI 全新改版，新增 Dashboard 全屏模式等功能

资讯动态 • liaosy 发表了文章 • 0 个评论 • 1900 次浏览 • 2023-09-04 16:11 • 来自相关话题

![release](https://www.infinilabs.com/img ... er.png)

本次 INFINI Labs 产品更新主要发布 Console v1.7.0，重点优化了 Console 告警中心和数据看板 Dashboard 可视化功能。详细介绍如下：

优化告警中心 UI

上个版本优化了告警渠道和通知，本版本主要对告警中心做了重点优化，重新设计了新的 UI 界面。进入告警中心，可以快速了解整个系统各集群告警状态，主要包括：

1、告警事件分类统计，支持点击过滤查询对应时间段的具体告警事件，便于管理员重点关注和处理高级别的告警事件；

2、告警事件数热力图，不同的色块表示当天告警数的密集程度，可以帮助我们快速发现告警数据的趋势规律以及不同时期的数据变化情况，进一步可帮助我们分析出集群的总体健康状态变化趋势。

3、告警事件列表，通过列表可以了解单个告警事件的信息，如事件级别、事件标题、告警持续时长、事件状态、触发时间等内容，如果你不想处理某个具体告警事件，可以进行忽略操作，避免再次收到告警通知。

告警中心 UI 界面如下所示：

![](https://infinilabs.com/img/blo ... /1.jpg)

通过告警中心进入告警事件详情，可以查看更多告警信息，包括：告警规则、告警内容（支持 Markdown）、告警规则执行记录、告警通知发送情况、事件触发统计图等，界面如下所示：

![](https://infinilabs.com/img/blo ... /2.jpg)

数据看板新增全屏功能

为了方便将数据看板 Dashboard 投影展示到电视墙或者 LED 大屏幕，我们新增了全屏功能，包含全屏展示当前 Dashboard，如果配置了多个 Dashboard，也支持全屏时自动滚动 Dashboard，无手动切换。效果如下所示：

![](https://infinilabs.com/img/blo ... /3.jpg)

全屏模式显示效果如下：

![](https://infinilabs.com/img/blo ... /4.jpg)

其他更新

除了以上主要功能优化，Console 本次更新其他功能清单如下：

Features

告警规则新增分类和标签属性
告警 UI 操作增加批量操作
数据看板新增全屏功能
数据看板新增日历热力图
数据看板组件多分组支持分层显示

Bug fix
修复数据迁移任务在大量子任务场景下，统计进度不对的问题
修复某些场景下集群重复注册的问题

Improvements
告警中心页面 UI 优化
告警详情页面 UI 优化
数据看板组件配置 UI 优化
数据看板组件数据源配置优化
网关管理-队列管理支持批量删除队列和消费者

关于 INFINI Console

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管，企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

也欢迎下载本地安装体验！（附：[Easysearch 与 Console 快速安装演示视频](https://www.bilibili.com/video ... 7f6eed)）

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;）中的对应项目中提交 Feature Request 或提交 Bug。
INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
INFINI Console： <https://github.com/infinilabs/console/issues>;
下载地址： <https://www.infinilabs.com/download>;

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：<https://discord.gg/4tKTMkkvVX>;

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

![](https://infinilabs.com/img/blo ... ew.jpg)

关于极限科技（INFINI Labs）

![INFINI Labs](https://www.infinilabs.com/img ... bs.png)

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：<https://www.infinilabs.com>;

通知设置 新通知

发现

简介

系统配置

配置nofile和memlock

关闭THP

内核调优

用户配置

创建Easysearch操作用户

配置 JDK

在各个节点上分别操作

set java environment

Easysearch 部署

部署及密码配置

在线安装

初始化证书(若不采用默认证书，如需要调整证书可修改证书生成文件)

默认会生成随机密码

配置文件及 JVM 调整

for admin dn

specify admin certs to operate against system indices, basic_auth is not required

curl -k --cert config/admin.crt --key config/admin.key -XDELETE 'https://localhost:9200/.infini-*/'

根据实际机器内存的大小进行配置，推荐配置为机器内存一半，且不超过31G

备份目录及权限调整

创建备份目录

更新目录权限

环境变量及启动服务

jna替换<龙芯平台有独立的jna实现>

以后台方式启动服务

Easysearch 验证

部署 Console

安装服务并启动

验证

部署 Agent

修改Agent配置文件

安装服务并启动

验证

部署 Gateway

修改Gateway配置文件

安装服务并启动

检查服务

部署 Loadgen

写入数据测试

total_rounds: 1

Whether to log all requests

Whether to log all requests with the specified response status

执行测试

检查测试索引文档

可能遇到的问题

关于 Easysearch

优化告警中心 UI

数据看板新增全屏功能

其他更新

Features

Bug fix

Improvements

关于 INFINI Console

期待反馈

关于极限科技（INFINI Labs）

活动推荐

热门话题

通知设置新通知