设置参数 `node.name` 可以自定义 Elasticsearch 节点的名字。 此条 Tips 由 medcl 贡献。

我想只记录这一行,如果写logstash规则


2018-03-14 22:23:56,833 ERROR [FrontShopController.java:45] : ==dianchou.app.boss.pageController.FrontShopControl
lerjava.lang.NullPointerException
      at dianchou.app.boss.pageController.FrontShopController.projectDetail(FrontShopController.java:40)
      at sun.reflect.GeneratedMethodAccessor495.invoke(Unknown Source)
      at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
      at java.lang.reflect.Method.invoke(Method.java:606)
      at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)

继续阅读 »

2018-03-14 22:23:56,833 ERROR [FrontShopController.java:45] : ==dianchou.app.boss.pageController.FrontShopControl
lerjava.lang.NullPointerException
      at dianchou.app.boss.pageController.FrontShopController.projectDetail(FrontShopController.java:40)
      at sun.reflect.GeneratedMethodAccessor495.invoke(Unknown Source)
      at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
      at java.lang.reflect.Method.invoke(Method.java:606)
      at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)

收起阅读 »

社区日报 第211期 (2018-03-15)

  1. 使用elasticsearch提高hbase基于列的查询效率。 http://t.cn/Rn73PTv

  2. Spark Streaming + Elasticsearch构建App异常监控平台。 http://t.cn/RNb9Qcn

  3. 开放分布式追踪(OpenTracing)入门与 Jaeger 实现。 http://t.cn/RE8ZEyW
继续阅读 »
  1. 使用elasticsearch提高hbase基于列的查询效率。 http://t.cn/Rn73PTv

  2. Spark Streaming + Elasticsearch构建App异常监控平台。 http://t.cn/RNb9Qcn

  3. 开放分布式追踪(OpenTracing)入门与 Jaeger 实现。 http://t.cn/RE8ZEyW
收起阅读 »

[杭州活动][3月31日] 智能运维探索与实践丨又拍云 Open Talk NO.40

一、活动介绍

互联网业务井喷,给运维带来了越来越多的挑战。在运维领域,也产生了很多新的实践和方法论,自动化运维、DevOps、敏捷运维等,运维已然成为驱动各大公司研发运维流程和理念变革的关键角色。本次活动,又拍云联合日志易,并邀请华数传媒、二维火,在强调一线落地实践的同时,为你提供来自业界最前沿的智能运维思路。

又拍云 Open Talk 是由又拍云发起的系列主题分享沙龙,秉承又拍云帮助企业提升发展速度的初衷,从 2015 年开启以来,Open Talk 至今已成功举办 39 期,辐射线上线下近 70,000 技术人群。不管是从某个“主题”出发,并从横向拓展技术干货分享,还是以某个“品牌企业”为主,从纵深丰富演讲内容,活动都场场爆满。 

截止目前,又拍云 Open Talk 已经举办 39 期活动,分别在北京、上海、广州、深圳、杭州等12 座城市举办,覆盖美拍、唱吧、美联集团、唯品会、哔哩哔哩、华为等诸多知名企业,往期的活动的讲稿及视频详见:https://opentalk.upyun.com

二、报名地址

http://www.huodongxing.com/event/5431062720800

三、活动时间

2018 年 03 月 31 日( 周六 )14:00-17:30 

四、活动地点

浙江省杭州市西湖区黄姑山路 29 号颐高创业大厦 4 楼楼友会咖啡厅

五、活动议程

13:00-14:00  签到

14:00-14:40  宣云辉 二维火运维总监 - 《二维火的自动化运维探索》

14:40-15:20  邵海杨 又拍云运维总监 -《第三代又拍云数据中心架构改造》

15:20-15:30  茶歇

15:30-16:10  唐文俊 日志易技术总监 -《智能运维与海量日志分析》

16:10-16:50  姚建兵 华数传媒 P8 解决方案专家、高级项目经理 -《华数互联网 CDN 架构应用及运维实践》

16:50-17:30  自由交流

六、嘉宾介绍

alt 文本

分享嘉宾一:宣云辉 二维火运维总监

花名七喜,二维火运维总监,Redhat 认证架构师,专注于运维新技术实践和中国传统文化在运维工作中的探索。

分享主题:《二维火的自动化运维探索》 本次分享主要介绍二维火在多地容灾,海外数据中心建设中对自动化运维的探索和实践。

alt 文本

分享嘉宾二:邵海杨 又拍云运维总监

资深系统运维架构师。来自杭州 Linux 用户组。业余撰稿人,QCon 讲师及出品人,致力于开源软件及前沿科技的研究和探索。

分享主题:《第三代又拍云数据中心架构改造》 又拍云在经历了由小变大的过程中,数据中心也由简单变复杂,伴随着传统运维向自动化运维的转型,以此来更好地迎接未来的挑战,拥抱智能运维的到来。本次分享,将会介绍又拍云如何打造一个集松耦合,弹性可扩容,无状态微服务,可用资源池化的新一代数据中心架构。

alt 文本

分享嘉宾三:唐文俊 日志易技术总监

先后在互联网、电商、信息安全等领域深耕多年,从事IT安全运维、日志分析等方面工作,项目实战经验丰富,拥有Redhat 、Cisco、Vmware、 EMC、Splunk、ITIL等等诸多专家认证资质,对智能运维、信息安全、大数据分析等领域有独到见解。

分享主题:《智能运维与海量日志分析》 大数据分析正在被广泛应用,大数据里 90% 都是非结构化数据。日志是重要的非结构化数据,日志无处不在,所以能够从日志里面挖掘的价值非常高,可用于运维监控、安全审计、用户以及业务数据分析。那么,如何最大限度发挥日志的价值成为业内人士研究思考最多的问题之一。本次分享将为大家分享当前海量日志分析的相关应用场景、技术难点以及趋势发展等。

alt 文本

分享嘉宾四:姚建兵 华数传媒 P8 解决方案专家、高级项目经理

华数传媒互联网技术专家,高级项目经理,致力于 OTT 后台架构的研究,新产品、新方案的探索和实施,解决日常运营、运维中遇到的重大问题并给出改造的解决方案。

分享主题:《华数互联网 CDN 架构应用及运维实践》 华数传媒在互联网电视、 OTT 行业深耕,积累了丰富的经验。本次分享首先会介绍华数传媒的后台架构及 CDN 架构,结合统一调度、统一云存储、统一编排库等如何智能化解决问题,并大幅降低运维的工作量,介绍一些日常遇到的问题及解决方案。

七、现场礼品

alt 文本

继续阅读 »

一、活动介绍

互联网业务井喷,给运维带来了越来越多的挑战。在运维领域,也产生了很多新的实践和方法论,自动化运维、DevOps、敏捷运维等,运维已然成为驱动各大公司研发运维流程和理念变革的关键角色。本次活动,又拍云联合日志易,并邀请华数传媒、二维火,在强调一线落地实践的同时,为你提供来自业界最前沿的智能运维思路。

又拍云 Open Talk 是由又拍云发起的系列主题分享沙龙,秉承又拍云帮助企业提升发展速度的初衷,从 2015 年开启以来,Open Talk 至今已成功举办 39 期,辐射线上线下近 70,000 技术人群。不管是从某个“主题”出发,并从横向拓展技术干货分享,还是以某个“品牌企业”为主,从纵深丰富演讲内容,活动都场场爆满。 

截止目前,又拍云 Open Talk 已经举办 39 期活动,分别在北京、上海、广州、深圳、杭州等12 座城市举办,覆盖美拍、唱吧、美联集团、唯品会、哔哩哔哩、华为等诸多知名企业,往期的活动的讲稿及视频详见:https://opentalk.upyun.com

二、报名地址

http://www.huodongxing.com/event/5431062720800

三、活动时间

2018 年 03 月 31 日( 周六 )14:00-17:30 

四、活动地点

浙江省杭州市西湖区黄姑山路 29 号颐高创业大厦 4 楼楼友会咖啡厅

五、活动议程

13:00-14:00  签到

14:00-14:40  宣云辉 二维火运维总监 - 《二维火的自动化运维探索》

14:40-15:20  邵海杨 又拍云运维总监 -《第三代又拍云数据中心架构改造》

15:20-15:30  茶歇

15:30-16:10  唐文俊 日志易技术总监 -《智能运维与海量日志分析》

16:10-16:50  姚建兵 华数传媒 P8 解决方案专家、高级项目经理 -《华数互联网 CDN 架构应用及运维实践》

16:50-17:30  自由交流

六、嘉宾介绍

alt 文本

分享嘉宾一:宣云辉 二维火运维总监

花名七喜,二维火运维总监,Redhat 认证架构师,专注于运维新技术实践和中国传统文化在运维工作中的探索。

分享主题:《二维火的自动化运维探索》 本次分享主要介绍二维火在多地容灾,海外数据中心建设中对自动化运维的探索和实践。

alt 文本

分享嘉宾二:邵海杨 又拍云运维总监

资深系统运维架构师。来自杭州 Linux 用户组。业余撰稿人,QCon 讲师及出品人,致力于开源软件及前沿科技的研究和探索。

分享主题:《第三代又拍云数据中心架构改造》 又拍云在经历了由小变大的过程中,数据中心也由简单变复杂,伴随着传统运维向自动化运维的转型,以此来更好地迎接未来的挑战,拥抱智能运维的到来。本次分享,将会介绍又拍云如何打造一个集松耦合,弹性可扩容,无状态微服务,可用资源池化的新一代数据中心架构。

alt 文本

分享嘉宾三:唐文俊 日志易技术总监

先后在互联网、电商、信息安全等领域深耕多年,从事IT安全运维、日志分析等方面工作,项目实战经验丰富,拥有Redhat 、Cisco、Vmware、 EMC、Splunk、ITIL等等诸多专家认证资质,对智能运维、信息安全、大数据分析等领域有独到见解。

分享主题:《智能运维与海量日志分析》 大数据分析正在被广泛应用,大数据里 90% 都是非结构化数据。日志是重要的非结构化数据,日志无处不在,所以能够从日志里面挖掘的价值非常高,可用于运维监控、安全审计、用户以及业务数据分析。那么,如何最大限度发挥日志的价值成为业内人士研究思考最多的问题之一。本次分享将为大家分享当前海量日志分析的相关应用场景、技术难点以及趋势发展等。

alt 文本

分享嘉宾四:姚建兵 华数传媒 P8 解决方案专家、高级项目经理

华数传媒互联网技术专家,高级项目经理,致力于 OTT 后台架构的研究,新产品、新方案的探索和实施,解决日常运营、运维中遇到的重大问题并给出改造的解决方案。

分享主题:《华数互联网 CDN 架构应用及运维实践》 华数传媒在互联网电视、 OTT 行业深耕,积累了丰富的经验。本次分享首先会介绍华数传媒的后台架构及 CDN 架构,结合统一调度、统一云存储、统一编排库等如何智能化解决问题,并大幅降低运维的工作量,介绍一些日常遇到的问题及解决方案。

七、现场礼品

alt 文本

收起阅读 »

elasticsearch分词检索的match-query匹配过程分析

1. 模拟字符串数据存储
localhost:9200/yigo-redist.1/_analyze?analyzer=default&text=全能片(前)---TRW-GDB7891AT刹车片自带报警线,无单独报警线号码,卡仕欧,卡仕欧,乘用车,刹车片
上面的url表示
  •     索引为`yigo-redist.1`
  •     使用了索引`yigo-redist.1`中的分词器(`analyzer`) `default`
  •     解析的字符串(`text`)为"全能片(前)---TRW-GDB7891AT刹车片自带报警线,无单独报警线号码,卡仕欧,卡仕欧,乘用车,刹车片"


如果结果为:
{
"tokens" : [ {
"token" : "全能",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 1
}, {
"token" : "片",
"start_offset" : 2,
"end_offset" : 3,
"type" : "CN_CHAR",
"position" : 2
}, {
"token" : "前",
"start_offset" : 4,
"end_offset" : 5,
"type" : "CN_CHAR",
"position" : 3
}, {
"token" : "trw-gdb7891at",
"start_offset" : 9,
"end_offset" : 22,
"type" : "LETTER",
"position" : 4
}, {
"token" : "刹车片",
"start_offset" : 22,
"end_offset" : 25,
"type" : "CN_WORD",
"position" : 5
}, {
"token" : "自带",
"start_offset" : 25,
"end_offset" : 27,
"type" : "CN_WORD",
"position" : 6
}, {
"token" : "报警",
"start_offset" : 27,
"end_offset" : 29,
"type" : "CN_WORD",
"position" : 7
}, {
"token" : "线",
"start_offset" : 29,
"end_offset" : 30,
"type" : "CN_CHAR",
"position" : 8
}, {
"token" : "无",
"start_offset" : 31,
"end_offset" : 32,
"type" : "CN_WORD",
"position" : 9
}, {
"token" : "单独",
"start_offset" : 32,
"end_offset" : 34,
"type" : "CN_WORD",
"position" : 10
}, {
"token" : "报警",
"start_offset" : 34,
"end_offset" : 36,
"type" : "CN_WORD",
"position" : 11
}, {
"token" : "线",
"start_offset" : 36,
"end_offset" : 37,
"type" : "CN_CHAR",
"position" : 12
}, {
"token" : "号码",
"start_offset" : 37,
"end_offset" : 39,
"type" : "CN_WORD",
"position" : 13
}, {
"token" : "卡",
"start_offset" : 40,
"end_offset" : 41,
"type" : "CN_CHAR",
"position" : 14
}, {
"token" : "仕",
"start_offset" : 41,
"end_offset" : 42,
"type" : "CN_WORD",
"position" : 15
}, {
"token" : "欧",
"start_offset" : 42,
"end_offset" : 43,
"type" : "CN_WORD",
"position" : 16
}, {
"token" : "卡",
"start_offset" : 44,
"end_offset" : 45,
"type" : "CN_CHAR",
"position" : 17
}, {
"token" : "仕",
"start_offset" : 45,
"end_offset" : 46,
"type" : "CN_WORD",
"position" : 18
}, {
"token" : "欧",
"start_offset" : 46,
"end_offset" : 47,
"type" : "CN_WORD",
"position" : 19
}, {
"token" : "乘用车",
"start_offset" : 48,
"end_offset" : 51,
"type" : "CN_WORD",
"position" : 20
}, {
"token" : "刹车片",
"start_offset" : 52,
"end_offset" : 55,
"type" : "CN_WORD",
"position" : 21
} ]
}

2. 关键词查询
localhost:9200//yigo-redist.1/_analyze?analyzer=default_search&text=gdb7891

  •     索引为`yigo-redist.1`
  •     使用了索引`yigo-redist.1`中的分词器(`analyzer`) `default_search`
  •     解析的字符串(`text`)为"gdb7891"

返回结果:
{
"tokens" : [ {
"token" : "gdb7891",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
} ]
}

3. 关键词使用存储的分词器查询
localhost:9200//yigo-redist.1/_analyze?analyzer=default&text=gdb7891

  •     索引为`yigo-redist.1`
  •     使用了索引`yigo-redist.1`中的分词器(`analyzer`) `default_search`
  •     解析的字符串(`text`)为"gdb7891"

返回结果:
{
"tokens" : [ {
"token" : "gdb7891",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
}, {
"token" : "",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
}, {
"token" : "gdb7891",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
}, {
"token" : "",
"start_offset" : 0,
"end_offset" : 3,
"type" : "ENGLISH",
"position" : 2
}, {
"token" : "gdb",
"start_offset" : 0,
"end_offset" : 3,
"type" : "ENGLISH",
"position" : 2
}, {
"token" : "gdb",
"start_offset" : 0,
"end_offset" : 3,
"type" : "ENGLISH",
"position" : 2
}, {
"token" : "7891",
"start_offset" : 3,
"end_offset" : 7,
"type" : "ARABIC",
"position" : 3
}, {
"token" : "7891",
"start_offset" : 3,
"end_offset" : 7,
"type" : "ARABIC",
"position" : 3
}, {
"token" : "",
"start_offset" : 3,
"end_offset" : 7,
"type" : "ARABIC",
"position" : 3
} ]
}

总结
  •     通过步骤1可以看出,存储的数据"全能片(前)---TRW-GDB7891AT刹车片自带报警线,无单独报警线号码,卡仕欧,卡仕欧,乘用车,刹车片",被拆分成了很多词组碎片,然后存储在了索引数据中
  •     通过步骤2可以看出,当关键词输入"gdb7891",这个在检索分词器(`default_search`)下,没有拆分,只一个可供查询的碎片就是"gdb7891",但是步骤1,拆分的碎片里不存在"gb7891"的词组碎片,唯一相近的就是"trw-gdb7891at",所以使用普通的match-query是无法匹配步骤1输入的索引数据
  •     通过步骤3,可以看出如果使用相同的分词器,"gdb7891"能够拆分成"gdb","7891"等等,通过这2个碎片都能找到步骤1输入的索引数据,但是因为关键词被拆分了,所以会查询到更多的匹配的数据,比如:与"gdb"匹配的,与"7891"匹配的,与"gdb7891"匹配的
  •     如果说想通过分词器(`default_search`)检索出步骤1的数据,需要使用wildcard-query,使用"*gdb7891*",就可以匹配
      {      "query": {          "wildcard" : { "description" : "*gdb7891*" }      }  }


  
继续阅读 »
1. 模拟字符串数据存储
localhost:9200/yigo-redist.1/_analyze?analyzer=default&text=全能片(前)---TRW-GDB7891AT刹车片自带报警线,无单独报警线号码,卡仕欧,卡仕欧,乘用车,刹车片
上面的url表示
  •     索引为`yigo-redist.1`
  •     使用了索引`yigo-redist.1`中的分词器(`analyzer`) `default`
  •     解析的字符串(`text`)为"全能片(前)---TRW-GDB7891AT刹车片自带报警线,无单独报警线号码,卡仕欧,卡仕欧,乘用车,刹车片"


如果结果为:
{
"tokens" : [ {
"token" : "全能",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 1
}, {
"token" : "片",
"start_offset" : 2,
"end_offset" : 3,
"type" : "CN_CHAR",
"position" : 2
}, {
"token" : "前",
"start_offset" : 4,
"end_offset" : 5,
"type" : "CN_CHAR",
"position" : 3
}, {
"token" : "trw-gdb7891at",
"start_offset" : 9,
"end_offset" : 22,
"type" : "LETTER",
"position" : 4
}, {
"token" : "刹车片",
"start_offset" : 22,
"end_offset" : 25,
"type" : "CN_WORD",
"position" : 5
}, {
"token" : "自带",
"start_offset" : 25,
"end_offset" : 27,
"type" : "CN_WORD",
"position" : 6
}, {
"token" : "报警",
"start_offset" : 27,
"end_offset" : 29,
"type" : "CN_WORD",
"position" : 7
}, {
"token" : "线",
"start_offset" : 29,
"end_offset" : 30,
"type" : "CN_CHAR",
"position" : 8
}, {
"token" : "无",
"start_offset" : 31,
"end_offset" : 32,
"type" : "CN_WORD",
"position" : 9
}, {
"token" : "单独",
"start_offset" : 32,
"end_offset" : 34,
"type" : "CN_WORD",
"position" : 10
}, {
"token" : "报警",
"start_offset" : 34,
"end_offset" : 36,
"type" : "CN_WORD",
"position" : 11
}, {
"token" : "线",
"start_offset" : 36,
"end_offset" : 37,
"type" : "CN_CHAR",
"position" : 12
}, {
"token" : "号码",
"start_offset" : 37,
"end_offset" : 39,
"type" : "CN_WORD",
"position" : 13
}, {
"token" : "卡",
"start_offset" : 40,
"end_offset" : 41,
"type" : "CN_CHAR",
"position" : 14
}, {
"token" : "仕",
"start_offset" : 41,
"end_offset" : 42,
"type" : "CN_WORD",
"position" : 15
}, {
"token" : "欧",
"start_offset" : 42,
"end_offset" : 43,
"type" : "CN_WORD",
"position" : 16
}, {
"token" : "卡",
"start_offset" : 44,
"end_offset" : 45,
"type" : "CN_CHAR",
"position" : 17
}, {
"token" : "仕",
"start_offset" : 45,
"end_offset" : 46,
"type" : "CN_WORD",
"position" : 18
}, {
"token" : "欧",
"start_offset" : 46,
"end_offset" : 47,
"type" : "CN_WORD",
"position" : 19
}, {
"token" : "乘用车",
"start_offset" : 48,
"end_offset" : 51,
"type" : "CN_WORD",
"position" : 20
}, {
"token" : "刹车片",
"start_offset" : 52,
"end_offset" : 55,
"type" : "CN_WORD",
"position" : 21
} ]
}

2. 关键词查询
localhost:9200//yigo-redist.1/_analyze?analyzer=default_search&text=gdb7891

  •     索引为`yigo-redist.1`
  •     使用了索引`yigo-redist.1`中的分词器(`analyzer`) `default_search`
  •     解析的字符串(`text`)为"gdb7891"

返回结果:
{
"tokens" : [ {
"token" : "gdb7891",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
} ]
}

3. 关键词使用存储的分词器查询
localhost:9200//yigo-redist.1/_analyze?analyzer=default&text=gdb7891

  •     索引为`yigo-redist.1`
  •     使用了索引`yigo-redist.1`中的分词器(`analyzer`) `default_search`
  •     解析的字符串(`text`)为"gdb7891"

返回结果:
{
"tokens" : [ {
"token" : "gdb7891",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
}, {
"token" : "",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
}, {
"token" : "gdb7891",
"start_offset" : 0,
"end_offset" : 7,
"type" : "LETTER",
"position" : 1
}, {
"token" : "",
"start_offset" : 0,
"end_offset" : 3,
"type" : "ENGLISH",
"position" : 2
}, {
"token" : "gdb",
"start_offset" : 0,
"end_offset" : 3,
"type" : "ENGLISH",
"position" : 2
}, {
"token" : "gdb",
"start_offset" : 0,
"end_offset" : 3,
"type" : "ENGLISH",
"position" : 2
}, {
"token" : "7891",
"start_offset" : 3,
"end_offset" : 7,
"type" : "ARABIC",
"position" : 3
}, {
"token" : "7891",
"start_offset" : 3,
"end_offset" : 7,
"type" : "ARABIC",
"position" : 3
}, {
"token" : "",
"start_offset" : 3,
"end_offset" : 7,
"type" : "ARABIC",
"position" : 3
} ]
}

总结
  •     通过步骤1可以看出,存储的数据"全能片(前)---TRW-GDB7891AT刹车片自带报警线,无单独报警线号码,卡仕欧,卡仕欧,乘用车,刹车片",被拆分成了很多词组碎片,然后存储在了索引数据中
  •     通过步骤2可以看出,当关键词输入"gdb7891",这个在检索分词器(`default_search`)下,没有拆分,只一个可供查询的碎片就是"gdb7891",但是步骤1,拆分的碎片里不存在"gb7891"的词组碎片,唯一相近的就是"trw-gdb7891at",所以使用普通的match-query是无法匹配步骤1输入的索引数据
  •     通过步骤3,可以看出如果使用相同的分词器,"gdb7891"能够拆分成"gdb","7891"等等,通过这2个碎片都能找到步骤1输入的索引数据,但是因为关键词被拆分了,所以会查询到更多的匹配的数据,比如:与"gdb"匹配的,与"7891"匹配的,与"gdb7891"匹配的
  •     如果说想通过分词器(`default_search`)检索出步骤1的数据,需要使用wildcard-query,使用"*gdb7891*",就可以匹配
      {      "query": {          "wildcard" : { "description" : "*gdb7891*" }      }  }


   收起阅读 »

社区日报 第210期 (2018-03-14)

  1. elastic{on} 2018 新鲜出炉的3个开场视频,快来看看吧! http://t.cn/RnhEkAy

  2. 如果你在使用 Azure,来看看如何使用 ElasticStack 监控它吧! http://t.cn/RnhnA8O

  3. github 上开源的收集 docker 日志到 es 的项目 https://github.com/rchicoli/docker-log-elasticsearch
继续阅读 »
  1. elastic{on} 2018 新鲜出炉的3个开场视频,快来看看吧! http://t.cn/RnhEkAy

  2. 如果你在使用 Azure,来看看如何使用 ElasticStack 监控它吧! http://t.cn/RnhnA8O

  3. github 上开源的收集 docker 日志到 es 的项目 https://github.com/rchicoli/docker-log-elasticsearch
收起阅读 »

elasticsearch参考手册 (译文)

一直以来官方手册都是零散的阅读,没有完整的看过,导致对es很多功能还有使用细节并不是非常了解。
 
然后最近也是在debug 看源码,顺便想把官方文档也刷了,决定开始自己翻译 elasticsearch 官方参考手册。看到之前网上有人在翻译但是没有翻译完,自己也尝试一下。
 
公司用的是2.2版本的所以我就从这个版本开始翻译了,译文中会有一些批注,后续会持续关注高版本并把特性以批注的方式补上说明。
 
在线阅读: www.code4j.tech
 
github地址:https://github.com/rpgmakervx/ ... ation
 
掘金翻译计划:https://github.com/xitu/gold-miner
 
计划每周翻译两三篇吧,看情况。
 
英语只有六级啦,有些地方翻译起来也很笨拙,有翻译不恰当之处大家可以提issue呀!
继续阅读 »
一直以来官方手册都是零散的阅读,没有完整的看过,导致对es很多功能还有使用细节并不是非常了解。
 
然后最近也是在debug 看源码,顺便想把官方文档也刷了,决定开始自己翻译 elasticsearch 官方参考手册。看到之前网上有人在翻译但是没有翻译完,自己也尝试一下。
 
公司用的是2.2版本的所以我就从这个版本开始翻译了,译文中会有一些批注,后续会持续关注高版本并把特性以批注的方式补上说明。
 
在线阅读: www.code4j.tech
 
github地址:https://github.com/rpgmakervx/ ... ation
 
掘金翻译计划:https://github.com/xitu/gold-miner
 
计划每周翻译两三篇吧,看情况。
 
英语只有六级啦,有些地方翻译起来也很笨拙,有翻译不恰当之处大家可以提issue呀! 收起阅读 »

上海Elasticsearch技术沙龙

活动介绍

本期邀请了阿里巴巴、Elastic、eBay、饿了么的技术专家,分享Elasticsearch及其相关组件在搜索、日志分析和监控领域的应用,帮助开发者更好的理解Elastisearch及其相关组件。

活动安排

时间:2018年3月24日周六 13:30-17:30
地点:上海浦东南路855号世界广场B2层路演中心会场

活动主题

  • 13:30—14:00 签到
  • 14:00—14:40 《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  • 14:40—15:20 《Performance Tuning Best Practice in Elasticsearch》 eBay技术专家 王佩
  • 15:20—16:00 《基于Elasticsearch的离线搜索平台架构设计》 阿里巴巴技术专家 杨孔仕
  • 16:00—16:40 《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么资深搜索工程师 徐胜
  • 16:40—17:30 自由交流

报名通道

活动报名通道:

https://yq.aliyun.com/event/208/join

使用钉钉扫描,加入Elasticsearch技术交流群:

QR

嘉宾介绍

曾勇 Elastic布道师、Elasticsearch中国社区发起人

在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch并投入到生产环境中使用,并编写过一系列的中文处理相关的插件。

演讲主题:《Elasticsearch在智能运维领域的应用》 分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

王佩 eBay技术专家

9年文档存储、索引、搜索领域软件行业从业经验,使用ElasticSearch约3年。现在eBay的ElasticSearch管理平台Pronto项目组工作,主要方向是ElasticSearch集群的部署和性能调优。

演讲主题:《Performance Tuning Best Practice in Elasticsearch》 eBay内部很多个项目组使用了Elasticsearch来提供数据查询和分析服务,其中绝大部分cluster都是建立在Pronto平台上,由Pronto项目组负责管理维护60+集群和监控调优工作。本次分享介绍了Pronto的ElasticSearch性能调优实践流程,调优过程中的注意事项和检查手段。

杨孔仕 阿里巴巴技术专家

2013年加入阿里巴巴, 先后在淘宝终搜和主搜做搜索平台化的工作。2017年加入美柚,负责美柚的搜索工程技术, 同年11月回到阿里巴巴搜索事业部负责Elasticsearch项目开发工作。

演讲主题:《基于Elasticsearch的离线搜索平台架构设计》 本次分享介绍了基于Elasticsearch的搜索离线平台的系统设计,结合阿里终搜和阿里主搜以及美柚的离线平台的设计,聊聊离线的数据流程。

徐胜 饿了么资深搜索工程师

在ELasticsearch运维配置、性能调优、分布式计算有丰富实践。目前是饿了么搜索推荐研发部的资深搜索工程师,负责饿了么十几条业务线的es集群的运维、查询和监控平台。

演讲主题:《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么在10+个业务场景下,Elastisearch集群达到数百个node、千万级indices、TB级别数据量规模。嘉宾分享如何对大规模的线上集群进行运维配置、查询和监控应用。  

继续阅读 »

活动介绍

本期邀请了阿里巴巴、Elastic、eBay、饿了么的技术专家,分享Elasticsearch及其相关组件在搜索、日志分析和监控领域的应用,帮助开发者更好的理解Elastisearch及其相关组件。

活动安排

时间:2018年3月24日周六 13:30-17:30
地点:上海浦东南路855号世界广场B2层路演中心会场

活动主题

  • 13:30—14:00 签到
  • 14:00—14:40 《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  • 14:40—15:20 《Performance Tuning Best Practice in Elasticsearch》 eBay技术专家 王佩
  • 15:20—16:00 《基于Elasticsearch的离线搜索平台架构设计》 阿里巴巴技术专家 杨孔仕
  • 16:00—16:40 《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么资深搜索工程师 徐胜
  • 16:40—17:30 自由交流

报名通道

活动报名通道:

https://yq.aliyun.com/event/208/join

使用钉钉扫描,加入Elasticsearch技术交流群:

QR

嘉宾介绍

曾勇 Elastic布道师、Elasticsearch中国社区发起人

在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch并投入到生产环境中使用,并编写过一系列的中文处理相关的插件。

演讲主题:《Elasticsearch在智能运维领域的应用》 分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

王佩 eBay技术专家

9年文档存储、索引、搜索领域软件行业从业经验,使用ElasticSearch约3年。现在eBay的ElasticSearch管理平台Pronto项目组工作,主要方向是ElasticSearch集群的部署和性能调优。

演讲主题:《Performance Tuning Best Practice in Elasticsearch》 eBay内部很多个项目组使用了Elasticsearch来提供数据查询和分析服务,其中绝大部分cluster都是建立在Pronto平台上,由Pronto项目组负责管理维护60+集群和监控调优工作。本次分享介绍了Pronto的ElasticSearch性能调优实践流程,调优过程中的注意事项和检查手段。

杨孔仕 阿里巴巴技术专家

2013年加入阿里巴巴, 先后在淘宝终搜和主搜做搜索平台化的工作。2017年加入美柚,负责美柚的搜索工程技术, 同年11月回到阿里巴巴搜索事业部负责Elasticsearch项目开发工作。

演讲主题:《基于Elasticsearch的离线搜索平台架构设计》 本次分享介绍了基于Elasticsearch的搜索离线平台的系统设计,结合阿里终搜和阿里主搜以及美柚的离线平台的设计,聊聊离线的数据流程。

徐胜 饿了么资深搜索工程师

在ELasticsearch运维配置、性能调优、分布式计算有丰富实践。目前是饿了么搜索推荐研发部的资深搜索工程师,负责饿了么十几条业务线的es集群的运维、查询和监控平台。

演讲主题:《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么在10+个业务场景下,Elastisearch集群达到数百个node、千万级indices、TB级别数据量规模。嘉宾分享如何对大规模的线上集群进行运维配置、查询和监控应用。  

收起阅读 »

社区日报 第209期 (2018-03-13)

1.亿级PV的ELK集群实践之路。
http://t.cn/RnvPElX
2.高效管理Elasticsearch中基于时间的索引。
http://t.cn/REFMMZM
3.elastalert,使用ElasticSearch轻松的&灵活警报。
http://t.cn/REFxc7F
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/529 
订阅:https://tinyletter.com/elastic-daily  
继续阅读 »
1.亿级PV的ELK集群实践之路。
http://t.cn/RnvPElX
2.高效管理Elasticsearch中基于时间的索引。
http://t.cn/REFMMZM
3.elastalert,使用ElasticSearch轻松的&灵活警报。
http://t.cn/REFxc7F
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/529 
订阅:https://tinyletter.com/elastic-daily   收起阅读 »

社区日报 第208期 (2018-03-12)

1. Elasticsrach-dump : 数据导入导出工具
http://t.cn/8kmCqB2

2. 多个ElasticSearch Cluster的一致性问题
http://t.cn/RIwrbul

3. searchkit:一款方便的搜索UI,帮你快速构建一套搜索系统。
http://t.cn/Rqv3jow 

编辑:cyberdak
归档:https://elasticsearch.cn/article/528
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. Elasticsrach-dump : 数据导入导出工具
http://t.cn/8kmCqB2

2. 多个ElasticSearch Cluster的一致性问题
http://t.cn/RIwrbul

3. searchkit:一款方便的搜索UI,帮你快速构建一套搜索系统。
http://t.cn/Rqv3jow 

编辑:cyberdak
归档:https://elasticsearch.cn/article/528
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第207期 (2018-03-11)

1.febAzure监控和Azure日志分析:何时使用哪个。 
http://t.cn/REr0nPS 
2.(自备梯子)Sherlock:近实时搜索索引。 
http://t.cn/RErpGvJ 
3.(自备梯子)代码审查最佳实践。 
http://t.cn/RErplG9 
 
编辑:至尊宝 
归档:https://elasticsearch.cn/article/527
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.febAzure监控和Azure日志分析:何时使用哪个。 
http://t.cn/REr0nPS 
2.(自备梯子)Sherlock:近实时搜索索引。 
http://t.cn/RErpGvJ 
3.(自备梯子)代码审查最佳实践。 
http://t.cn/RErplG9 
 
编辑:至尊宝 
归档:https://elasticsearch.cn/article/527
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第206期 (2018-03-10)

  1. 使用物联网设备,Node.js,ELK,MQTT追踪展示空气污染状况。 http://t.cn/RE3UL0w

  2. 新手营:ES中索引模板的运用。 http://t.cn/RE3V6Mk

  3. 人是怎么废掉的? http://t.cn/RE3VCCh
继续阅读 »
  1. 使用物联网设备,Node.js,ELK,MQTT追踪展示空气污染状况。 http://t.cn/RE3UL0w

  2. 新手营:ES中索引模板的运用。 http://t.cn/RE3V6Mk

  3. 人是怎么废掉的? http://t.cn/RE3VCCh
收起阅读 »

社区日报 第205期 (2018-03-09)

1. Elasticsearch在电商领域的实战应用
http://t.cn/REEzwES
2.使用Docker和Elasticsearch搭建全文本搜索引擎应用
http://t.cn/REEzUng
3.剖析Elasticsearch索引原理
http://t.cn/R8CcO9g 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/525
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. Elasticsearch在电商领域的实战应用
http://t.cn/REEzwES
2.使用Docker和Elasticsearch搭建全文本搜索引擎应用
http://t.cn/REEzUng
3.剖析Elasticsearch索引原理
http://t.cn/R8CcO9g 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/525
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第204期 (2018-03-08)

  1. 知乎Live全文搜索之使用Elasticsearch全文搜索。 http://t.cn/RxAz6g1

  2. 简单尝试Kibana Canvas插件。 http://t.cn/RE8osJJ

  3. 用ansible管理你的es集群。 http://t.cn/RE8KPZR
继续阅读 »
  1. 知乎Live全文搜索之使用Elasticsearch全文搜索。 http://t.cn/RxAz6g1

  2. 简单尝试Kibana Canvas插件。 http://t.cn/RE8osJJ

  3. 用ansible管理你的es集群。 http://t.cn/RE8KPZR
收起阅读 »

Docker 社区版中 Kubernetes 开启

Docker 社区版从 17.12 版本开始已经提供了对 Kubernetes 的支持。但是由于其安装过程依赖的镜像服务在国内访问很不稳定,很多朋友都无法配置成功。阿里提供了一个简单的工具帮助大家开启 Docker 社区版的Kubernetes 功能

开启 Kubernetes 从 Docker 官方站点下载并安装 Docker for Mac 或 Docker for Windows

在 Docker -> Preferences ... 中,配置 registry mirror 为 https://registry.docker-cn.com

具体步骤参考: https://github.com/wellpeng/k8s-for-docker-desktop
 
继续阅读 »
Docker 社区版从 17.12 版本开始已经提供了对 Kubernetes 的支持。但是由于其安装过程依赖的镜像服务在国内访问很不稳定,很多朋友都无法配置成功。阿里提供了一个简单的工具帮助大家开启 Docker 社区版的Kubernetes 功能

开启 Kubernetes 从 Docker 官方站点下载并安装 Docker for Mac 或 Docker for Windows

在 Docker -> Preferences ... 中,配置 registry mirror 为 https://registry.docker-cn.com

具体步骤参考: https://github.com/wellpeng/k8s-for-docker-desktop
  收起阅读 »

社区日报 第203期 (2018-03-07)

1. 中小规模搜索引擎(ElasticSearch)典型应用场景及性能优化系列文章(一共四篇)
http://t.cn/RlDYuI7 
http://t.cn/RlDeubP 
http://t.cn/Rjwyqwm 
http://t.cn/REQIHEp 
2. ElasticSearch tips
http://t.cn/REQIe3k 
http://t.cn/REQIsmF 
3. 多数据源索引同步设计
http://t.cn/RjCAaus 
 
编辑:江水
归档:https://elasticsearch.cn/article/522
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. 中小规模搜索引擎(ElasticSearch)典型应用场景及性能优化系列文章(一共四篇)
http://t.cn/RlDYuI7 
http://t.cn/RlDeubP 
http://t.cn/Rjwyqwm 
http://t.cn/REQIHEp 
2. ElasticSearch tips
http://t.cn/REQIe3k 
http://t.cn/REQIsmF 
3. 多数据源索引同步设计
http://t.cn/RjCAaus 
 
编辑:江水
归档:https://elasticsearch.cn/article/522
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »