有个人长的像洋葱,走着走着就哭了…….

使用join field做父子关系查询疑惑

json_111 回复了问题 • 5 人关注 • 3 个回复 • 4786 次浏览 • 2019-01-11 09:53 • 来自相关话题

elasticsearch查询聚合

yangjiajun111 回复了问题 • 3 人关注 • 2 个回复 • 2477 次浏览 • 2018-01-12 09:46 • 来自相关话题

关于fielddata疑问

heli 回复了问题 • 3 人关注 • 1 个回复 • 5300 次浏览 • 2019-12-03 09:58 • 来自相关话题

如何只按小时聚合?

spoofer 回复了问题 • 3 人关注 • 3 个回复 • 4926 次浏览 • 2018-01-15 10:11 • 来自相关话题

es聚合统计时间太长

回复

illbehere 回复了问题 • 2 人关注 • 1 个回复 • 4514 次浏览 • 2018-01-11 15:37 • 来自相关话题

elasticsearch 根据索引级别建词库

medcl 回复了问题 • 2 人关注 • 1 个回复 • 2563 次浏览 • 2018-01-14 19:43 • 来自相关话题

ES创建索引mapping时字段的analyzer 和 search_analyzer必须设置成一样的吗?

strglee 回复了问题 • 2 人关注 • 1 个回复 • 5209 次浏览 • 2018-01-11 16:57 • 来自相关话题

es支持双引号进行搜索精确匹配吗?为什么我加双引号还是进行分词

laoyang360 回复了问题 • 2 人关注 • 1 个回复 • 4141 次浏览 • 2018-01-11 16:55 • 来自相关话题

ES集群互相发现不了

回复

wx 回复了问题 • 1 人关注 • 1 个回复 • 10343 次浏览 • 2018-01-11 12:43 • 来自相关话题

elasticsearch如何忽略lengthNorm对打分的影响?

rockybean 回复了问题 • 4 人关注 • 1 个回复 • 1732 次浏览 • 2018-01-10 19:52 • 来自相关话题

elasticsearch打分如何忽略长度的影响

回复

Backer 发起了问题 • 1 人关注 • 0 个回复 • 1935 次浏览 • 2018-01-10 18:18 • 来自相关话题

es节点频繁挂掉,进程仍在,只是无法进行9200和9300通信

pengc 回复了问题 • 5 人关注 • 3 个回复 • 6161 次浏览 • 2018-01-11 09:32 • 来自相关话题

elasticsearch java原生打分插件开发

JiaShiwen 发表了文章 • 1 个评论 • 9015 次浏览 • 2018-01-10 16:34 • 来自相关话题

能有影响elasticsearch score的方法有很多,官方推荐的是使用内置的painless脚本语言结合function_score来重新定义score。由于本人开发的项目其算法是由java语言开发的,于是决定尝试原生脚本开发。
elasticsearch脚本由plugin-descriptor.properties文件以及运行jar包组成,plugin-descriptor.properties主要用来定义版本信息、对应es的版本信息等属性。

官方的例子

<br /> public class ExpertScriptPlugin extends Plugin implements ScriptPlugin {<br /> @Override<br /> public ScriptEngineService getScriptEngineService(Settings settings) {<br /> return new MyExpertScriptEngine();<br /> }<br /> /** An example {@link ScriptEngineService} that uses Lucene segment details to implement pure document frequency scoring. */<br /> // tag::expert_engine<br /> private static class MyExpertScriptEngine implements ScriptEngineService {<br /> @Override<br /> public String getType() {<br /> return "expert_scripts";<br /> }<br /> @Override<br /> public Function<Map<String,Object>,SearchScript> compile(String scriptName, String scriptSource, Map<String, String> params) {<br /> // we use the script "source" as the script identifier<br /> if ("pure_df".equals(scriptSource)) {<br /> return p -> new SearchScript() {<br /> final String field;<br /> final String term;<br /> {<br /> if (p.containsKey("field") == false) {<br /> throw new IllegalArgumentException("Missing parameter [field]");<br /> }<br /> if (p.containsKey("term") == false) {<br /> throw new IllegalArgumentException("Missing parameter [term]");<br /> }<br /> field = p.get("field").toString();<br /> term = p.get("term").toString();<br /> }<br /> @Override<br /> public LeafSearchScript getLeafSearchScript(LeafReaderContext context) throws IOException {<br /> PostingsEnum postings = context.reader().postings(new Term(field, term));<br /> if (postings == null) {<br /> // the field and/or term don't exist in this segment, so always return 0<br /> return () -> 0.0d;<br /> }<br /> return new LeafSearchScript() {<br /> int currentDocid = -1;<br /> @Override<br /> public void setDocument(int docid) {<br /> // advance has undefined behavior calling with a docid <= its current docid<br /> if (postings.docID() < docid) {<br /> try {<br /> postings.advance(docid);<br /> } catch (IOException e) {<br /> throw new UncheckedIOException(e);<br /> }<br /> }<br /> currentDocid = docid;<br /> }<br /> @Override<br /> public double runAsDouble() {<br /> if (postings.docID() != currentDocid) {<br /> // advance moved past the current doc, so this doc has no occurrences of the term<br /> return 0.0d;<br /> }<br /> try {<br /> return postings.freq();<br /> } catch (IOException e) {<br /> throw new UncheckedIOException(e);<br /> }<br /> }<br /> };<br /> }<br /> @Override<br /> public boolean needsScores() {<br /> return false;<br /> }<br /> };<br /> }<br /> throw new IllegalArgumentException("Unknown script name " + scriptSource);<br /> }<br /> <br /> @Override<br /> @SuppressWarnings("unchecked")<br /> public SearchScript search(CompiledScript compiledScript, SearchLookup lookup, @Nullable Map<String, Object> params) {<br /> Function<Map<String,Object>,SearchScript> scriptFactory = (Function<Map<String,Object>,SearchScript>) compiledScript.compiled();<br /> return scriptFactory.apply(params);<br /> }<br /> <br /> @Override<br /> public ExecutableScript executable(CompiledScript compiledScript, @Nullable Map<String, Object> params) {<br /> throw new UnsupportedOperationException();<br /> }<br /> <br /> @Override<br /> public boolean isInlineScriptEnabled() {<br /> return true;<br /> }<br /> <br /> @Override<br /> public void close() {}<br /> }<br /> }<br />

代码解读:
本例在elasticsearch源码中,https://github.com/elastic/ela ... oring

MyExpertScriptEngine类是其中最重要的类,用于实现脚本参数定义,编译,以及打分机制的实现。其中compile方法返回我们定义好打分逻辑的java function。search方法用于我们在搜索过程中实施定义好的打分逻辑。
怎奈笔者对于函数式编程知道的不多(后续需要补课),其实评分逻辑也可以在search方法中实现,于是有了下面的一段代码。

```
public class fieldaddScriptPlugin extends Plugin implements ScriptPlugin {
@Override
public ScriptEngineService getScriptEngineService(Settings settings) {
return new MyExpertScriptEngine();
}
private static class MyExpertScriptEngine implements ScriptEngineService {
@Override
public String getType() {
return "expert_scripts";
}

@Override
public Object compile(String scriptName, String scriptSource, Map<String, String> params) {
if ("example_add".equals(scriptSource)) {
return scriptSource;
}
throw new IllegalArgumentException("Unknown script name " + scriptSource);
}

@Override
@SuppressWarnings("unchecked")
public SearchScript search(CompiledScript compiledScript, SearchLookup lookup, @Nullable Map<String, Object> vars) {

/**

  • 校验输入参数,DSL中params 参数列表
    */
    final long inc;
    final String fieldname;
    if (vars == null || vars.containsKey("inc") == false) {
    inc = 0;
    } else {
    inc = ((Number) vars.get("inc")).longValue();
    }

    if (vars == null || vars.containsKey("fieldname") == false) {
    throw new IllegalArgumentException("Missing parameter [fieldname]");
    } else {
    fieldname = (String) vars.get("fieldname");
    }

    return new SearchScript() {
    @Override
    public LeafSearchScript getLeafSearchScript(LeafReaderContext context) throws IOException {
    final LeafSearchLookup leafLookup = lookup.getLeafSearchLookup(context);


    return new LeafSearchScript() {
    @Override
    public void setDocument(int doc) {
    if (leafLookup != null) {
    leafLookup.setDocument(doc);
    }
    }

    @Override
    public double runAsDouble() {
    long values = 0;
    /**
    • 获取document中字段内容
      */
      for (Object v : (List<?>) leafLookup.doc().get(fieldname)) {
      values = ((Number) v).longValue() + values;
      }
      return values + inc;
      }
      };
      }

      @Override
      public boolean needsScores() {
      return false;
      }
      };
      }
      <br /> <br /> 这段代码的逻辑是把给定的字段(字段类型long)的每个元素相加后再加上给定的增量参数最后形成score分值。为了实现上述逻辑需要实现参数获取、根据给定的字段名获取内容列表量的关键件。下面结合代码说说这两个步骤如何实现的。<br /> search方法中Map<String, Object> vars参数对应DSL中"params"参数,用于接受实际给定的运行时参数。SearchLookup lookup参数由系统传入,通过lookup.getLeafSearchLookup(context)获取LeafSearchLookup通过该对象可以获取给定字段的值。<br /> <br /> 对于elasticsearch 2.x以前的版本可以通过NativeScriptFactory实现原生脚本。<br /> <br />
      public class MyNativeScriptPlugin extends Plugin implements ScriptPlugin {
      private final static Logger LOGGER = LogManager.getLogger(MyFirstPlugin.class);


      public MyNativeScriptPlugin() {
      super();
      LOGGER.warn("This is MyNativeScriptPlugin");
      }

      @Override
      public List getNativeScripts() {
      return Collections.singletonList(new MyNativeScriptFactory());
      }


      public static class MyNativeScriptFactory implements NativeScriptFactory {
      @Override
      public ExecutableScript newScript(@Nullable Map<String, Object> params) {


      // return new MyNativeScript();
      return new AbstractDoubleSearchScript(){


      @Override
      public double runAsDouble() {
      int b=0;
      if(params.get("add")!=null){
      b= (int) params.get("add");
      }


      String s = source().get("last").toString();
      double a = s.length()+b;
      return a; }
      };
      }


      @Override
      public boolean needsScores() {
      return false;
      }


      @Override
      public String getName() {
      return "my_script";
      }
      }
      }
      ```

      工程组织
      elasticsearch工程使用gradle进行依赖管理和生命周期管理,为此es项目自己也开发了esplugin的gradle插件,但不兼容gradle4.2以上的版本。参考github中的成熟插件,使用maven组织工程。

      主要涉及两个文件
      pom.xml
      plugin.xml
      工程利用maven-assembly-plugin打包jar。

      本例github地址:https://github.com/jiashiwen/e ... ample
      欢迎点赞或拍砖

我想问下Lucene有时候会出现不同的版本索引格式不兼容的情况,es是怎么解决的呢?

laoyang360 回复了问题 • 2 人关注 • 2 个回复 • 3588 次浏览 • 2018-01-10 19:37 • 来自相关话题

QueryBuilders.nestedQuery()查询

mildRain 回复了问题 • 2 人关注 • 1 个回复 • 7606 次浏览 • 2018-01-12 09:17 • 来自相关话题