身安不如心安,屋宽不如心宽 。

社区日报 第196期 (2018-02-28)

1. MySQL 千万级别数据量迁移 Elasticsearch 5.6.1实战
http://t.cn/R8rQJph 
2. Elastic Stack 监控实战
http://t.cn/R8xmOWI 
http://t.cn/R8xnT1B 
3. Elasticsearch 6.1.2 cluster on Kubernetes
http://dwz.cn/7voTtA 
 
编辑:江水
归档:https://elasticsearch.cn/article/510
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. MySQL 千万级别数据量迁移 Elasticsearch 5.6.1实战
http://t.cn/R8rQJph 
2. Elastic Stack 监控实战
http://t.cn/R8xmOWI 
http://t.cn/R8xnT1B 
3. Elasticsearch 6.1.2 cluster on Kubernetes
http://dwz.cn/7voTtA 
 
编辑:江水
归档:https://elasticsearch.cn/article/510
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第195期 (2018-02-27)

1.按月分割nginx访问日志-filebeat配置文件简介。
http://t.cn/RE5vj5t 
2.使用Elastic APM监控应用性能及存储应用程序指标。
http://t.cn/RE5h2w3 
3.使用Grafana监控Elasticsearch集群。
http://t.cn/RHcsJYJ 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/509 
订阅:https://tinyletter.com/elastic-daily 
 
 
继续阅读 »
1.按月分割nginx访问日志-filebeat配置文件简介。
http://t.cn/RE5vj5t 
2.使用Elastic APM监控应用性能及存储应用程序指标。
http://t.cn/RE5h2w3 
3.使用Grafana监控Elasticsearch集群。
http://t.cn/RHcsJYJ 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/509 
订阅:https://tinyletter.com/elastic-daily 
 
  收起阅读 »

社区日报 第194期 (2018-02-26)

1.6.0的新index api : split,更好的调整和优化索引分片。
http://t.cn/REbCTvG

2.使用新的vega套件来展示散点图
http://t.cn/REbjv9d

3.启用SAML来实现kibana以及es的认证功能
http://t.cn/REbpuYp 

编辑:cyberdak
归档:https://elasticsearch.cn/article/508
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.6.0的新index api : split,更好的调整和优化索引分片。
http://t.cn/REbCTvG

2.使用新的vega套件来展示散点图
http://t.cn/REbjv9d

3.启用SAML来实现kibana以及es的认证功能
http://t.cn/REbpuYp 

编辑:cyberdak
归档:https://elasticsearch.cn/article/508
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第193期 (2018-02-25)

1.Beats教程:入门。
http://t.cn/RELwX6X
2.使用ELK堆栈监视Lambda度量 - 第2部分。
http://t.cn/RELZNSA
3.(自备梯子)通过Spark部署Python模型(更高效)。
http://t.cn/REL7or8

编辑:至尊宝
归档:https://elasticsearch.cn/article/507
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Beats教程:入门。
http://t.cn/RELwX6X
2.使用ELK堆栈监视Lambda度量 - 第2部分。
http://t.cn/RELZNSA
3.(自备梯子)通过Spark部署Python模型(更高效)。
http://t.cn/REL7or8

编辑:至尊宝
归档:https://elasticsearch.cn/article/507
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第192期 (2018-02-24)

  1. ES6.2支持对非英文日志进行分类 http://t.cn/REwaWPN

  2. 运行400+节点的ES集群的经验分享 http://t.cn/RR5zYwk

  3. 新人课堂:ES中动态映射和自定义映射的介绍 http://t.cn/REAxpSS
继续阅读 »
  1. ES6.2支持对非英文日志进行分类 http://t.cn/REwaWPN

  2. 运行400+节点的ES集群的经验分享 http://t.cn/RR5zYwk

  3. 新人课堂:ES中动态映射和自定义映射的介绍 http://t.cn/REAxpSS
收起阅读 »

社区日报 第191期 (2018-02-23)

1.ELK玩转你的支付宝账单
http://t.cn/R8e5Gfl
2.推荐 | kibana索引信息可视化插件
http://t.cn/REhrlVK
3.支持增删改查一个简单的Lucene工具类
https://elasticsearch.cn/article/500 

编辑: 铭毅天下
归档: https://elasticsearch.cn/article/505
订阅: https://tinyletter.com/elastic-daily
 
继续阅读 »
1.ELK玩转你的支付宝账单
http://t.cn/R8e5Gfl
2.推荐 | kibana索引信息可视化插件
http://t.cn/REhrlVK
3.支持增删改查一个简单的Lucene工具类
https://elasticsearch.cn/article/500 

编辑: 铭毅天下
归档: https://elasticsearch.cn/article/505
订阅: https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第190期 (2018-02-22)

  1. Elasticsearch6.2新增自定义vega可视化。 http://t.cn/REh8K0O

  2. 调整Elasticsearch碎片的思考和收益。 http://t.cn/REh8C0l

  3. ES-Spark连接ES后,ES Client节点流量打满分析。 http://t.cn/REh8pXb
继续阅读 »
  1. Elasticsearch6.2新增自定义vega可视化。 http://t.cn/REh8K0O

  2. 调整Elasticsearch碎片的思考和收益。 http://t.cn/REh8C0l

  3. ES-Spark连接ES后,ES Client节点流量打满分析。 http://t.cn/REh8pXb
收起阅读 »

社区日报 第189期 (2018-02-14)

1. 日志收集工具fluentd与logstash比较。 
http://t.cn/RR9sgLX
2. 如何通过logstash将csv数据导入到elasticsearch。
http://t.cn/RCGeeJK
3. 搜索引擎选择:Elasticsearch与Solr
http://t.cn/RUncwIu
 
编辑:wt
归档:https://elasticsearch.cn/article/503
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 日志收集工具fluentd与logstash比较。 
http://t.cn/RR9sgLX
2. 如何通过logstash将csv数据导入到elasticsearch。
http://t.cn/RCGeeJK
3. 搜索引擎选择:Elasticsearch与Solr
http://t.cn/RUncwIu
 
编辑:wt
归档:https://elasticsearch.cn/article/503
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第188期 (2018-02-13)

1.Elastic Stack 6.2 发布。 
http://t.cn/R8rHoet
 
2.Elasticsearch : java 9 相关改进。 
http://t.cn/RRIs0RY
 
3.别名的特殊应用 
http://t.cn/RRMPLaA
 
编辑:cyberdak
归档:https://elasticsearch.cn/article/502
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Elastic Stack 6.2 发布。 
http://t.cn/R8rHoet
 
2.Elasticsearch : java 9 相关改进。 
http://t.cn/RRIs0RY
 
3.别名的特殊应用 
http://t.cn/RRMPLaA
 
编辑:cyberdak
归档:https://elasticsearch.cn/article/502
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

kibana如何添加添加server.xsrf.disableProtection节点

这是链接文章,其中文中提到的添加节点,具体如何操作?http://blog.csdn.net/qq_241296 ... 43845
这是链接文章,其中文中提到的添加节点,具体如何操作?http://blog.csdn.net/qq_241296 ... 43845

一个简单的Lucene工具类,通过注释的方式来配置构建索引的字段。提供新建索引、查找、删除、更新方法,支持分页。

代码地址:https://gitee.com/shaojiepeng/wsm-lucene
 ### wsm-lucene
一个简单的Lucene工具类,通过注释的方式来配置构建索引的字段。提供新建索引、查找、删除、更新方法,支持分页。

### 所需jar包
1. lucene-core:2.4.0
2. lucene-analyzers:2.4.1
3. commons-logging:1.2

### 背景
以前在做某个feature的时候,鉴于存储在DB中的数据量过大,故使用Lucene来优化查找性能。
相信大家在某些场景下会把DB中的数据读出来,建索引来优化查找。那么这个工具类就比较适合这些场景了。

### 如何使用
 **从附件中下载jar包直接导入到项目中,或者下载此Maven项目的源码,使用项目依赖的方式导入你的项目。** 

1. 通过注释的方式配置需要构建索引的model类

```
 **@IndexClass** :注释,说明此model类需要构建索引
 **indexDirPath** :索引所存放的物理位置,如:"D:/Index"

 **@IndexField** :注释,说明此字段需要构建索引
 **fieldStore** :Lucene中的Field.Store同义,不懂请自行查询资料
 **fieldIndex** :Lucene中的Field.Index同义,不懂请自行查询资料
```

173117_4fa2ac08_980808.png



2. 创建索引
```

IndexService indexService = new IndexServiceImpl();
/** 构建索引的接口
 * List:model的集合
 * Class: model的class
 *
 * return boolean
**/
indexService.buildIndex(List, Class)
```

173148_bb488cf0_980808.png



3.查找
```
ArrayList<SearchParamModel> searchParams = new ArrayList<>();
/**添加查询的条件,如果有多个查询条件,则添加SearchParamModel
 * fieldName:需要查找的字段,即model中的成员变量
 * fieldValue:需要查找字段的值,这个不解释
 * BooleanType:Lucene中BooleanClause.Occur值,不懂请自行查询资料
**/
searchParams.add(new SearchParamModel(fieldName, fieldValue, BooleanType));
IndexService indexService = new IndexServiceImpl();
/** 查询的接口
 * searchParams:不解释
 * Class: model的class
 *
 * return model的集合
**/
List objs = indexService.search(searchParams, Class);
```

173219_367ef1d0_980808.png




IndexService中还支持update, delete和分页查找的方法,请自行查阅代码。


觉得不错,请点个赞吧。
继续阅读 »
代码地址:https://gitee.com/shaojiepeng/wsm-lucene
 ### wsm-lucene
一个简单的Lucene工具类,通过注释的方式来配置构建索引的字段。提供新建索引、查找、删除、更新方法,支持分页。

### 所需jar包
1. lucene-core:2.4.0
2. lucene-analyzers:2.4.1
3. commons-logging:1.2

### 背景
以前在做某个feature的时候,鉴于存储在DB中的数据量过大,故使用Lucene来优化查找性能。
相信大家在某些场景下会把DB中的数据读出来,建索引来优化查找。那么这个工具类就比较适合这些场景了。

### 如何使用
 **从附件中下载jar包直接导入到项目中,或者下载此Maven项目的源码,使用项目依赖的方式导入你的项目。** 

1. 通过注释的方式配置需要构建索引的model类

```
 **@IndexClass** :注释,说明此model类需要构建索引
 **indexDirPath** :索引所存放的物理位置,如:"D:/Index"

 **@IndexField** :注释,说明此字段需要构建索引
 **fieldStore** :Lucene中的Field.Store同义,不懂请自行查询资料
 **fieldIndex** :Lucene中的Field.Index同义,不懂请自行查询资料
```

173117_4fa2ac08_980808.png



2. 创建索引
```

IndexService indexService = new IndexServiceImpl();
/** 构建索引的接口
 * List:model的集合
 * Class: model的class
 *
 * return boolean
**/
indexService.buildIndex(List, Class)
```

173148_bb488cf0_980808.png



3.查找
```
ArrayList<SearchParamModel> searchParams = new ArrayList<>();
/**添加查询的条件,如果有多个查询条件,则添加SearchParamModel
 * fieldName:需要查找的字段,即model中的成员变量
 * fieldValue:需要查找字段的值,这个不解释
 * BooleanType:Lucene中BooleanClause.Occur值,不懂请自行查询资料
**/
searchParams.add(new SearchParamModel(fieldName, fieldValue, BooleanType));
IndexService indexService = new IndexServiceImpl();
/** 查询的接口
 * searchParams:不解释
 * Class: model的class
 *
 * return model的集合
**/
List objs = indexService.search(searchParams, Class);
```

173219_367ef1d0_980808.png




IndexService中还支持update, delete和分页查找的方法,请自行查阅代码。


觉得不错,请点个赞吧。 收起阅读 »

社区日报 第187期 (2018-02-12)

1.Scrapy分布式爬虫打造搜索引擎系列。
http://t.cn/RR5w7uJ 
2.kibana-6建立可视化图表前的前期准备工作。
http://t.cn/RR5Z4du 
3.使用Curator管理Elasticsearch的索引。
http://t.cn/RR5Zxso 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/499 
订阅:https://tinyletter.com/elastic-daily 
 
继续阅读 »
1.Scrapy分布式爬虫打造搜索引擎系列。
http://t.cn/RR5w7uJ 
2.kibana-6建立可视化图表前的前期准备工作。
http://t.cn/RR5Z4du 
3.使用Curator管理Elasticsearch的索引。
http://t.cn/RR5Zxso 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/499 
订阅:https://tinyletter.com/elastic-daily 
  收起阅读 »

elasticsearch源码导入intellij

环境准备:
   windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
   1:从github上下载elasticsearch-6.1.3版本,并且解压
   2:安装gradle配置环境变量
   3:进入elasticsearch目录执行:gradle idea命令
   4:使用intellij导入elasticsearch项目
 
继续阅读 »
环境准备:
   windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
   1:从github上下载elasticsearch-6.1.3版本,并且解压
   2:安装gradle配置环境变量
   3:进入elasticsearch目录执行:gradle idea命令
   4:使用intellij导入elasticsearch项目
  收起阅读 »

社区日报 第186期 (2018-02-11)

1.如何用Kibana监控AdroitLogic ESB(UltraESB-X)。
http://t.cn/RRbOoII
2.分析3个月的未读电子邮件。
http://t.cn/RRbMyR8
3.(自备梯子)使用ELK堆栈实现客户智能。
http://t.cn/RRbx2XL

编辑:至尊宝
归档:https://elasticsearch.cn/article/497
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.如何用Kibana监控AdroitLogic ESB(UltraESB-X)。
http://t.cn/RRbOoII
2.分析3个月的未读电子邮件。
http://t.cn/RRbMyR8
3.(自备梯子)使用ELK堆栈实现客户智能。
http://t.cn/RRbx2XL

编辑:至尊宝
归档:https://elasticsearch.cn/article/497
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

推荐indies_view 插件

indies_view

https://github.com/TrumanDu/indices_view

An awesome kibana plugin for view indies! 这个是一个可以查看indices 相关信息的kibana plugin ,欢迎大家使用,或者提出宝贵的经验


Screenshots

indices_view.gif

Reg pattern

1. /[^a-z] $/
2. /[\d]{4}[-|\.|/][\d]{1,2}[-|\.|/][\d]{1,2}/

Development

See the kibana contributing guide for instructions setting up your development environment. Once you have completed that, use the following npm tasks.

  • npm start

Start kibana and have it include this plugin

  • npm start -- --config kibana.yml

You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start

  • npm run build

Build a distributable archive

  • npm run test:browser

Run the browser tests in a real web browser

  • npm run test:server

Run the server tests using mocha

For more information about any of these commands run npm run ${task} -- --help.

Deploy

important : edit this plugin version and kibana.version to you kibana version in package.json

  • npm install
  • npm run build

Build a distributable archive

Install

  1. cp to docker container

$ sudo docker cp ****.zip id:/****.zip

  1. install to kibana

$bin/kibana-plugin install file:///****.zip

继续阅读 »

indies_view

https://github.com/TrumanDu/indices_view

An awesome kibana plugin for view indies! 这个是一个可以查看indices 相关信息的kibana plugin ,欢迎大家使用,或者提出宝贵的经验


Screenshots

indices_view.gif

Reg pattern

1. /[^a-z] $/
2. /[\d]{4}[-|\.|/][\d]{1,2}[-|\.|/][\d]{1,2}/

Development

See the kibana contributing guide for instructions setting up your development environment. Once you have completed that, use the following npm tasks.

  • npm start

Start kibana and have it include this plugin

  • npm start -- --config kibana.yml

You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start

  • npm run build

Build a distributable archive

  • npm run test:browser

Run the browser tests in a real web browser

  • npm run test:server

Run the server tests using mocha

For more information about any of these commands run npm run ${task} -- --help.

Deploy

important : edit this plugin version and kibana.version to you kibana version in package.json

  • npm install
  • npm run build

Build a distributable archive

Install

  1. cp to docker container

$ sudo docker cp ****.zip id:/****.zip

  1. install to kibana

$bin/kibana-plugin install file:///****.zip

收起阅读 »