• [Elasticsearch](https://www.elastic.co/blog/el ... eased )

• [Kibana](https://www.elastic.co/blog/kibana-5-0-0 )

• [Logstash](https://www.elastic.co/blog/lo ... eased )

• [Beats](https://www.elastic.co/blog/beats-5-0-0-released )

• [X-Pack](https://www.elastic.co/blog/x-pack-5-0-0-released )

1. Kibana里的管理和监控的UI界面
2. Kibana里创建用户和角色的UI界面
3. 非常简化的安装流程

• [Elasticsearch 5.0.0 下载](https://www.elastic.co/downloads/elasticsearch )

• [Kibana 5.0.0 下载](https://www.elastic.co/downloads/kibana )

• [X-Pack 5.0.0 安装指南](https://www.elastic.co/downloads/x-pack )

• [Logstash 5.0.0 下载](https://www.elastic.co/downloads/logstash )

• [Beats 5.0.0 下载](https://www.elastic.co/downloads/beats )

• [ES-Hadoop 5.0.0 下载](https://www.elastic.co/downloads/hadoop )

curl -XPUT http://localhost:9200/medcl/ -d'

{

    "index" : {

        "analysis" : {

            "analyzer" : {

                "pinyin_analyzer" : {

                    "tokenizer" : "my_pinyin"

                    }

            },

            "tokenizer" : {

                "my_pinyin" : {

                    "type" : "pinyin",

                    "keep_separate_first_letter" : false,

                    "keep_full_pinyin" : true,

                    "keep_original" : false,

                    "limit_first_letter_length" : 16,

                    "lowercase" : true

                }

            }

        }

    }

}'



curl http://localhost:9200/medcl/_a ... lyzer

{

  "tokens" : [ {

    "token" : "liu",

    "start_offset" : 0,

    "end_offset" : 1,

    "type" : "word",

    "position" : 0

  }, {

    "token" : "de",

    "start_offset" : 1,

    "end_offset" : 2,

    "type" : "word",

    "position" : 1

  }, {

    "token" : "hua",

    "start_offset" : 2,

    "end_offset" : 3,

    "type" : "word",

    "position" : 2

  }, {

    "token" : "a",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 3

  }, {

    "token" : "b",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 4

  }, {

    "token" : "c",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 5

  }, {

    "token" : "d",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 6

  }, {

    "token" : "liu",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 7

  }, {

    "token" : "de",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 8

  }, {

    "token" : "hua",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 9

  }, {

    "token" : "wo",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 10

  }, {

    "token" : "bu",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 11

  }, {

    "token" : "zhi",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 12

  }, {

    "token" : "dao",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 13

  }, {

    "token" : "shi",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 14

  }, {

    "token" : "shui",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 15

  }, {

    "token" : "ldhabcdliudehuaw",

    "start_offset" : 0,

    "end_offset" : 16,

    "type" : "word",

    "position" : 16

  } ]

}

"mappings": {

	"player": {

		"properties": {

			"name": {

				"index": "not_analyzed",

				"type": "string"

			},

			"age": {

				"type": "integer"

			},

			"salary": {

				"type": "integer"

			},

			"team": {

				"index": "not_analyzed",

				"type": "string"

			},

			"position": {

				"index": "not_analyzed",

				"type": "string"

			}

		},

		"_all": {

			"enabled": false

		}

	}

}

SearchRequestBuilder sbuilder = client.prepareSearch("player").setTypes("player");

• group by/count

select team, count(*) as player_count from player group by team;

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

sbuilder.addAggregation(teamAgg);

SearchResponse response = sbuilder.execute().actionGet();

• group by多个field

select team, position, count(*) as pos_count from player group by team, position;

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

TermsBuilder posAgg= AggregationBuilders.terms("pos_count").field("position");

sbuilder.addAggregation(teamAgg.subAggregation(posAgg));

SearchResponse response = sbuilder.execute().actionGet();

• max/min/sum/avg

select team, max(age) as max_age from player group by team;

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

MaxBuilder ageAgg= AggregationBuilders.max("max_age").field("age");

sbuilder.addAggregation(teamAgg.subAggregation(ageAgg));

SearchResponse response = sbuilder.execute().actionGet();

• 对多个field求max/min/sum/avg

select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;

TermsBuilder teamAgg= AggregationBuilders.terms("team");

AvgBuilder ageAgg= AggregationBuilders.avg("avg_age").field("age");

SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");

sbuilder.addAggregation(teamAgg.subAggregation(ageAgg).subAggregation(salaryAgg));

SearchResponse response = sbuilder.execute().actionGet();

• 聚合后对Aggregation结果排序

select team, sum(salary) as total_salary from player group by team order by total_salary desc;

TermsBuilder teamAgg= AggregationBuilders.terms("team").order(Order.aggregation("total_salary ", false);

SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");

sbuilder.addAggregation(teamAgg.subAggregation(salaryAgg));

SearchResponse response = sbuilder.execute().actionGet();

• Aggregation结果条数的问题

TermsBuilder teamAgg= AggregationBuilders.terms("team").size(15);

• Aggregation结果的解析/输出

Map<String, Aggregation> aggMap = response.getAggregations().asMap();

StringTerms teamAgg= (StringTerms) aggMap.get("keywordAgg");

Iterator<Bucket> teamBucketIt = teamAgg.getBuckets().iterator();

while (teamBucketIt .hasNext()) {

Bucket buck = teamBucketIt .next();

//球队名

String team = buck.getKey();

//记录数

long count = buck.getDocCount();

//得到所有子聚合

Map subaggmap = buck.getAggregations().asMap();

//avg值获取方法

double avg_age= ((InternalAvg) subaggmap.get("avg_age")).getValue();

//sum值获取方法

double total_salary = ((InternalSum) subaggmap.get("total_salary")).getValue();

//...

//max/min以此类推

}

• 总结

• 主办方：elastic中文社区        http://elasticsearch.cn/article/99 
• 协办方：vivo移动互联网中心 [url=http://www.vivo.com.cn]http://www.vivo.com.cn [/url]

• 活动时间：2016年9月10日 下午13:00
• 活动地点：深圳市福田区上梅林地铁站 安得街89号步步高大楼1楼
• 场地容量：100人
• 活动费用：免费 ( 现场有福利派发 : )
• 交通信息：地铁4号龙华线 上梅林站 ，公交 万科大厦站
• 参考地标：梅林天虹西侧，卓越城对面

• 报名链接：http://biaodan100.com/web/form ... 4e1e4
• 或者扫码二维码：

• ElasticStack V5 新特性与变化              By 曾勇@elastic  Elastic开发工程师与技术布道师ElasticStack包括Elasticsearch、Logstash、Kibana和Beats，ElasticStack将在过段时间发布一个V5.0全新版本，这次的分享将给大家介绍一下5.0版里面各个产品的一些新的特性和改进。曾勇是Elasticsearch国内首批用户，自2010年起就开始接触Elasticsearch并投入到生产环境中使用，并编写过一系列的中文处理相关的插件，是Elasticsearch中文社区发起人，筹办了一系列线上线下的Elasticsearch技术分享与交流活动，出于对Elasticsearch的喜爱，目前已全职加入Elasticsearch项目背后的Elastic公司。
• ELK应用 --- 一卡易实时日志分析平台   By 夏小成@一卡易   一线码农目前一卡易实时日志分析平台汇集了包括windows事务日志、linux日志、haproxy访问日志、业务数据库审计日志和大数据平台日志，为一卡易数十个产品线提供了便捷的日志检索和分析服务。未来我们会把elasticsearch逐渐引入到我们的业务系统，更深层次挖掘她的魅力。
• 构建数据驱动的动画工作室 - es及ELK实践          By 赵昆@东方梦工厂   IT与数据系统工程师
• 京东日志系统es运维经验分享及es源码改造实践   By 成睿 @京东曾负责京东日志系统的搜索平台，目前负责京东到家商品搜索平台。介绍京东日志系统es的一些运维经验和我2次改es源代码的实践。

1. 官方文档写的比较好，例子多，容易理解；
2. 已有的翻译资料感觉并不是很完善，要么只翻译了一部分，要么版本很旧，很久没人维护（有人翻译 ElasticSearch 权威指南，这个还是不错）；
3. 自己在工作中经常用到 ElasticSearch，感觉 ElasticSearch 非常强大，帮助我们解决了很多问题，让我有激情去更深入的探索；
4. 希望可以帮助到别人；

前言



我们在使用百度和谷歌等搜索引擎的时候，你会发现，搜索引擎会把和我们输入的关键字以红色的字体显示，来突出显示结果的准确性，这就是高亮显示的使用场景



准备



使用Highlighter需要导入相应的jar包，maven项目可以加入如下依赖



<dependency>

            <groupId>org.apache.lucene</groupId>

            <artifactId>lucene-highlighter</artifactId>

            <version>5.5.0</version>

   </dependency>



直接看代码





/**

 * @author kl by 2016/3/19

 * @boke www.kailing.pub

 */

public class FieldSetBoostTest {

    //索引目录

    String indexDir="E:\\LuceneIndex";

    //测试数据

    String theme="中国";

    String []title={"中国是一个伟大的国家","我爱你的的祖国,美丽的中国","是什么，中国令美日等国虎视眈眈"};

    /**

     * Lucence5.5返回IndexWriter实例

     * @param directory

     * @return

     */

    public IndexWriter getIndexWriter(Directory directory){

        Analyzer analyzer=new CJKAnalyzer();//中日韩二元分词

        IndexWriterConfig writerConfig=new IndexWriterConfig(analyzer);

        IndexWriter writer=null;

        try {

            writer =new IndexWriter(directory,writerConfig);

        }catch (Exception e){

            e.printStackTrace();

        }

        return writer;

    }

    public Directory getDirctory(String indexDir){

        Directory directory=null;

        try {

            directory=FSDirectory.open(Paths.get(indexDir));

        }catch (IOException e){

            e.printStackTrace();

        }

        return directory;

    }

    /**

     * 创建索引不加权

     * @throws Exception

     */

    public void Indexer()throws Exception{

       IndexWriter writer=getIndexWriter(getDirctory(indexDir));

        Document doc=null;

        for(String str:title){

            doc=new Document();

            //Lucence5.5 Fileld有多个实现，StringFIeld不分词  TextField分词

            doc.add(new StringField("theme",theme, Field.Store.YES));

            Field field=new TextField("title",str, Field.Store.YES);

            doc.add(field);

            writer.addDocument(doc);

        }

        writer.close();

    }



    /**

     * 关键命中词高亮输出处理

     * @param query

     * @param context

     * @return

     * @throws Exception

     */

    public static String getHighlighterString(Query query,String context)throws Exception{

        //对促成文档匹配的实际项进行评分

        QueryScorer scorer=new QueryScorer(query);

        //设置高亮的HTML标签格式

        Formatter  simpleHTMLFormatter=new SimpleHTMLFormatter("","");

        //实例化高亮分析器

        Highlighter highlighter=new Highlighter(simpleHTMLFormatter,scorer);

        //提供静态方法，支持从数据源中获取TokenStream，进行token处理

        TokenStream tokenStream=new CJKAnalyzer().tokenStream("title", new StringReader(context));

        return highlighter.getBestFragment(tokenStream, context);

    }

    @Test

    public void searcherTest()throws Exception{

        //  Indexer();

        IndexReader reader= DirectoryReader.open(getDirctory(indexDir));

        IndexSearcher is=new IndexSearcher(reader);

        System.out.println("总的文档数："+reader.numDocs());

        QueryParser qp=new QueryParser("title",new CJKAnalyzer());

        String q="中国";

        Query query=qp.parse(q);

        TopDocs tDocs=is.search(query,11);

        System.out.println("查询-》"+q+"《-总共命中【"+tDocs.totalHits+"】条结果");

        for (ScoreDoc scoredoc:tDocs.scoreDocs){

            Document doc = is.doc(scoredoc.doc);

            String context=doc.get("title");

            if(context!=null){

                System.out.println(getHighlighterString(query,context));

            }



        }

    }

}

查询效果如下：

前言



任何数据量大的情况下，取数据的时候都需要做分页的处理，比如我们百度的时候，结果往往有上千万的结果，而当前呈现在的只有几页的内容，这就是分页的场景，lucene也提供了分页查询的支持



认识searchafter



使用IndexSearcher的searchafter方法可以轻松实现分页查询，如下图







searchafter有多个重载的方法，其中有些searchafter方法Lucene已不推荐使用了，用的多的就searchAfter(final ScoreDoc after, Query query, int numHits)



它有三个形参，分别是



after:上一页最后一个ScoreDoc；



query：query接口实现类的对象，query对象可以通过QueryParser类来创建，也可以自己new Query接口的某一个特定接口实现类；



numHits:每页显示的条数



searchafter官方文档说明地址



重点在下面



/**

 * Created by 小陈 on 2016/3/25.

 */

public class IndexerPaging {

    //测试数据，模拟数据库表结构

    private static String[] ids={"1","2","3","4","5","6"}; //用户ID

    private static String [] names={"kl","kl","kl","kl","kl","fds"};

    private static String [] describes={"shi yi ge mei nan zi","Don't know","Is an idiot\n","Is an idiot\n","Is an idiot\n","Is an idiot\n"};

    //索引存储地址

    private static String indexDir="E:\\javaEEworkspace\\LuceneDemo\\LuceneIndex";



    /**

     * 获取操作索引实体,并添加测试数据

     * @param indexDir 索引存储位置

     * @return

     * @throws Exception

     */

    public static void getIndexWriter(String indexDir)throws Exception{

        IndexWriterConfig writerConfig=new IndexWriterConfig(getAnalyzer());

        IndexWriter indexWriter=new IndexWriter(FSDirectory.open(Paths.get(indexDir)),writerConfig);

        Document document=new Document();

        //Field.Store.YES或者NO(存储域选项)

        //设置为YES表示或把这个域中的内容完全存储到文件中，方便进行文本的还原

        //设置为NO表示把这个域的内容不存储到文件中，但是可以被索引，此时内容无法完全还原(doc.get)

        for(int i=0;i1){

                 int pageIndexLast=(pageIndex-1)*pageSize-1;

                 TopDocs hits=searcher.search(query,pageIndexLast);

                 if(hits.totalHits>=pageIndexLast)

                     return hits.scoreDocs[pageIndexLast];



             }

             return null;

    }



    public static void searcher(String indexDir,String q,int pageIndex,int pageSize)throws Exception{

        Directory directory= FSDirectory.open(Paths.get(indexDir));

        IndexReader reader= DirectoryReader.open(directory);

        IndexSearcher indexSearcher=new IndexSearcher(reader);

        QueryParser queryParser=new QueryParser("names",new StandardAnalyzer());

        Query query=queryParser.parse(q);

        //分页查询

        TopDocs hits=  indexSearcher.searchAfter(getPageLastScoreDoc(pageIndex,pageSize,query,indexSearcher),query,pageSize);//查询首次的30条

        System.out.println("匹配 "+q+"查询到"+hits.totalHits+"个记录");

        for (ScoreDoc scoreDoc:hits.scoreDocs){

            Document doc=indexSearcher.doc(scoreDoc.doc);

            System.out.println(doc.get("describes"));//打印Document的fileName属性

        }

        reader.close();

        directory.close();//关闭连接

    }

    /**

     * 得到默认分词器

     * @return

     */

    public static Analyzer getAnalyzer(){

        return new StandardAnalyzer();

    }



    @Test

    public void  Test()throws Exception{

//     getIndexWriter(indexDir);

        searcher(indexDir,"kl",1,10);//查询测试

    }



}

前言



为了解决复杂的查询业务，Lucene给我们提供了一个查询语义分析器，一套完整的语法规则，能够满足大部分的查询需求，而不用关心底层是使用什么Query实现类，就好比写sql一样。 Lucene推荐我们使用QueryParser，而不是各种Query的实现类。但是，QueryParser不能满足所有的查询有求，比如多文档域联合查询 。有时候还是需要使用到Query的相关实现类，好了，下面我们就来看看QueryParser能够解析什么语法，解决什么问题，以及多文档域的查询 





直接上代码



每个语法都可以多测试一遍，看看结果，能够加深你的理解，因为这边测试的实在是多，测试结果我就不贴了；       



ps:各个查询语义可以交叉使用的,下面代码有部分也用到了，但是这边因为是写的例子，为了能更好的区分每个语义的作用，所有没有做太多的尝试



/**

 * @author kl by 2016/3/20

 * @boke www.kailing.pub

 */

public class QueryTest {

    //索引目录

    String indexDir="E:\\LuceneIndex";

    //测试数据目录

    String dataDir="E:\\LuceneTestData";

    /**

     * Lucence5.5返回IndexWriter实例

     * @param directory

     * @return

     */

    public IndexWriter getIndexWriter(Directory directory){

        Analyzer analyzer=new StandardAnalyzer();

        IndexWriterConfig writerConfig=new IndexWriterConfig(analyzer);

        IndexWriter writer=null;

        try {

            writer =new IndexWriter(directory,writerConfig);

        }catch (Exception e){

            e.printStackTrace();

        }

        return writer;

    }

    public Directory getDirctory(String indexDir){

        Directory directory=null;

        try {

            directory= FSDirectory.open(Paths.get(indexDir));

        }catch (IOException e){

            e.printStackTrace();

        }

        return directory;

    }

    @Test

    public void TestIndexer()throws Exception{

        File[] files= new File(dataDir).listFiles();

        IndexWriter writer=getIndexWriter(getDirctory(indexDir));

        for(File file:files){

            Document doc=new Document();

            doc.add(new TextField("filePath",file.getCanonicalPath(), Field.Store.YES));

            doc.add(new TextField("context",new  FileReader(file)));

            writer.addDocument(doc);

        }

        System.out.println("总共添加了"+writer.numDocs()+"个文档");

        writer.close();

    }

    @Test

    public void testSearcher()throws  Exception{

        IndexReader reader= DirectoryReader.open(getDirctory(indexDir));

        IndexSearcher searcher=new IndexSearcher(reader);

        QueryParser queryParser=new QueryParser("context",new StandardAnalyzer());

       Query queryw=queryParser.parse("Licensor");//完整匹配分词查询

        /**

         * 通配符 ？，*的使用

         */

         Query queryy=queryParser.parse("Lice?sor");//使用？匹配单个字符查询

         Query queryx=queryParser.parse("L*r");//使用*匹配多个字符查询

        /**

         * 布尔运算AND, OR，NOT,+,-的使用,注意：一定要是大写的AND和OR,NOT

         */

        Query queryo=queryParser.parse("Licensor OR ce*");//使用OR联合多关键字查询,也可用空格代替OR

        Query queryoo=queryParser.parse(" Licensor ce*");//这个和使用OR一样的效果

        Query queryjia=queryParser.parse("+Licensor Wildcard");//+代表必须的条件，搜索文档必须包含Licensor 可能有Wildcard

        Query querya=queryParser.parse("Licensor AND ce* AND Licenso?");//使用AND取多个关键字的并集查询

        Query queryNot=queryParser.parse("'Lincensor Apache' NOT 'Apache Licensor'");//搜索Lincensor Apache而不是Apache Licensor

        Query queryjian=queryParser.parse("'Lincensor Apache' - 'Apache Licensor'");//"-"同NOT的效果一样



        /**

         * 使用正则表达式查询

         */

        Query queryRegular=queryParser.parse("/[Lab]icensor/");//这个匹配Lincensor，aicensor，bicensor分词

        Query queryRegularr=queryParser.parse("/[Lab]icenso[a-z]/");//根据需要可以更灵活的使用

        /**

         * 使用~模糊匹配查询

         * 这个要和*号的用法区分下，*号完整通配多个字符查询，而~不是简单的通配，这个模糊匹配和Lucene的评分有关

         */

        Query queryFuzzy=queryParser.parse("icensor~");//可以查到Licensor关键字，而queryParser.parse("icensor*")查不到

        Query queryFuzzyparam=queryParser.parse("Licens~1");//~后面可加0-2的整数来制定模糊匹配度，默认不加为1

        Query queryFuzzyParam=queryParser.parse("Licens cens ~0");//~还可以模糊匹配差异化N字符数的多个关键字

        /**

         * 范围查询,多用于数字和时间的查询

         */

        Query queryRange =queryParser.parse("{abc TO Licens}");//{}abc与Licenszhi间的文件，不包含

        Query queryRangex =queryParser.parse("[abc TO Licens]");//{}abc与Licenszhi间的文件,包含本身

        /**

         * 关键字加权处理查询

         */

        //默认为1，可加权可降权，可通过加权处理给匹配的结果排序

        Query queryBoosting  =queryParser.parse("Licensor Wildcard^4 ");



        /**

         * Grouping组合查询

         */

        Query queryGrouping  =queryParser.parse("(+Licensor  +Wildcard) AND easier");//可使用（）组合多个条件查询



         //ps: 查询部分字符需要转义处理，如（+ - && || ! ( ) { } [ ] ^ " ~ * ? : \ /）



        /**

         * 使用MultiFieldQueryParser进行多个文档域查询

         */

        Map boost=new HashMap();

        boost.put("filePath",1.5F);//设置文档域的权值

        boost.put("context",2F);

        QueryParser multiField=new MultiFieldQueryParser(new String[]{"filePath","context"},new StandardAnalyzer(),boost);

        Query queryq=multiField.parse("lucenetestdata");



        TopDocs topDocs= searcher.search(queryq,10);

        System.out.println("查询结果共有"+topDocs.totalHits+"条");

        for(ScoreDoc scoreDoc:topDocs.scoreDocs){

            Document document=searcher.doc(scoreDoc.doc);

            System.out.println(document.get("filePath")+"--评分："+scoreDoc.score);

        }

    }



} 

ps:代码中有大量注释，有些不一定理解到位了，深入了解 请参考官方说明：



https://lucene.apache.org/core ... rches