搜索客，搜索人自己的社区

包含geoshape的文档，index太慢的问题

贡献

Elasticsearch • xlp 回复了问题 • 2 人关注 • 2 个回复 • 2371 次浏览 • 2020-08-27 09:25 • 来自相关话题

Logstash中input File可多级文件夹下读取log文件怎么读取不了啊

贡献

Logstash • tacsklet 回复了问题 • 2 人关注 • 1 个回复 • 5676 次浏览 • 2017-10-30 08:47 • 来自相关话题

请问下谁能详细讲解下es5的几种缓存。

Elasticsearch • mhl 发起了问题 • 4 人关注 • 0 个回复 • 2720 次浏览 • 2017-10-28 11:39 • 来自相关话题

社区日报第83期 (2017-10-28)

社区日报 • 白衬衣发表了文章 • 0 个评论 • 2081 次浏览 • 2017-10-28 10:57 • 来自相关话题

elasticsearch应用开发案例

Elasticsearch • soochowLeo 发起了问题 • 1 人关注 • 0 个回复 • 3885 次浏览 • 2017-10-27 17:14 • 来自相关话题

XContentBuilder 通过for循环执行，创建索引mappin结构

贡献

Elasticsearch • lrc 回复了问题 • 2 人关注 • 2 个回复 • 18274 次浏览 • 2018-01-12 09:27 • 来自相关话题

elasticsearch与spring整合启动报错

贡献

Elasticsearch • feihui 回复了问题 • 2 人关注 • 1 个回复 • 2299 次浏览 • 2017-10-30 08:06 • 来自相关话题

kibana安装marvel插件报错，什么原因？错误如图

贡献

Kibana • Eric_L 回复了问题 • 2 人关注 • 1 个回复 • 2714 次浏览 • 2017-10-30 14:28 • 来自相关话题

谁知道hbase数据怎么同步到es

Elasticsearch • helloword 发起了问题 • 2 人关注 • 0 个回复 • 4528 次浏览 • 2017-10-27 11:28 • 来自相关话题

大批量的index请求走的是bulk api 不是index api

贡献

Elasticsearch • kennywu76 回复了问题 • 2 人关注 • 1 个回复 • 3619 次浏览 • 2017-10-27 12:12 • 来自相关话题

elasticsearch的java客户端启动CPU负载飙高到几万

贡献

Elasticsearch • kennywu76 回复了问题 • 4 人关注 • 2 个回复 • 4196 次浏览 • 2018-01-02 14:13 • 来自相关话题

社区日报第82期 (2017-10-27)

社区日报 • laoyang360 发表了文章 • 0 个评论 • 2139 次浏览 • 2017-10-27 06:36 • 来自相关话题

如何更优雅的定制开发elasicsearch插件

Elasticsearch • jiangtao 发表了文章 • 2 个评论 • 6468 次浏览 • 2017-10-26 21:06 • 来自相关话题

一，何为优雅：
在此需要感谢@Medcl,开发了ik,mmseg等为elasticsearch的分词插件，使我们能够比较容易的上手并应用elasticsearch。
但是我们如果要对插件进行二次定制，或者重新开发一个插件呢。按照官网教程，每次都得打包、替换、重启，这是一个很不方便的过程，固然可以通过testCase来做debug，但是所见即所得的编码习惯，直接上手debug，才是最高效的方式。
介绍插件开发的博客何其多，个人私以为都没有get到G点，其实深入研究下elasticsearch源码，fix 这个问题并不难，下面希望通过这篇文章帮助到大家。
二，elasticsearch插件的加载机制
①：Node节点启动过程，Elasticsearch.java会调用Bootstrap.java中的init函数。

static void init(...)  {

        ...

        INSTANCE = new Bootstrap();

        INSTANCE.setup(true, environment);

        ...

        INSTANCE.start();

}

②：Node节点通过setup方法进行实例化。

 private void setup(boolean addShutdownHook, Environment environment) throws BootstrapException {

         

    node = new Node(environment) {

 

     ...

}

③：Node.java类中会包含各类的service服务，其中包括PluginsService服务。在实例化PluginsService服务时会传参
environment.pluginsFile(),classpathPlugins等参数。而pluginsFile()即是elasticsearch所指定的plugin目录，elasticsearch会扫描该路径下所有的插件，并加载进来。

public Node(Environment environment) {

    this(environment, Collections.emptyList());

}

 

protected Node(final Environment environment, Collection<Class<? extends Plugin>> classpathPlugins) {

    ...

    this.pluginsService = new PluginsService(tmpSettings, environment.modulesFile(), environment.pluginsFile(), classpathPlugins);

    ...

}

④classpathPlugins参数介绍：

public Node(Environment environment) {

        this(environment, Collections.emptyList());

    }

在elasticsearch源码中，这个参数Collection<Class<? extends Plugin>> classpathPlugins一直都是空集合。
没有任何地方注入修改该参数。elasticsearch不但会扫描插件所在路径中的插件，同样也会加载classpathPlugins中所指定的插件，只不过问题是elasticsearch没有给我们提供相应的参数！！！！
三，如何更优雅的开发开发插件
接上一段小节④，我们只要利用classpathPlugins该参数，就可以在elasticsearch源码环境中进行debug了！！！
我的实现思路如下，通过继承Node.java，并重写Node类的构造方法，然后在bootstrap中直接实例化该子类，便可以通过elasticsearch直接bug 插件源码了。
下面贴出我的实现代码，供大家参考：

/**

 * Created by jiangtao on 2017/07/30.

 */



import org.elasticsearch.Version;

import org.elasticsearch.env.Environment;

import org.elasticsearch.node.Node;

import org.elasticsearch.plugins.Plugin;



import java.util.Collection;



public class EmbeddedNode extends Node {



  private Version version;

  private Collection<Class<? extends Plugin>> plugins;



  public EmbeddedNode(Environment environment, Version version, Collection<Class<? extends Plugin>> classpathPlugins) {

    super(environment,  classpathPlugins);

    this.version = version;

    this.plugins = classpathPlugins;

  }



  public Collection<Class<? extends Plugin>> getPlugins() {

    return plugins;

  }



  public Version getVersion() {

    return version;

  }

}

    private void setup(boolean addShutdownHook, Environment environment) throws BootstrapException {

      .....

       //注释Node初始化源码

       /* node = new Node(environment) {

            @Override

            protected void validateNodeBeforeAcceptingRequests(

                final Settings settings,

                final BoundTransportAddress boundTransportAddress, List<BootstrapCheck> checks) throws NodeValidationException {

                BootstrapChecks.check(settings, boundTransportAddress, checks);

            }

        };*/



        Collection plugins = new ArrayList<>();

        Collections.addAll(plugins,   AnalysisIkPlugin.class, HelloPlugin.class, AnalysisMMsegPlugin.class);//, ,AnalysisMMsegPlugin.class

        node = new EmbeddedNode(environment, Version.CURRENT, plugins) {

            @Override

            protected void validateNodeBeforeAcceptingRequests(final Settings settings, final BoundTransportAddress boundTransportAddress, List<BootstrapCheck> checks) throws NodeValidationException {

                BootstrapChecks.check(settings, boundTransportAddress, checks);

            }

        };

    }

四，部署插件相关的注意事项：
有关插件开发的详细配置，es插件的种类，在此不再赘述，具体可参考官方文档，更权威，更直接。
下面贴个图，本人在elasticsearch中同时整合了多个插件，以供学习研究时用，直接debug，个人感觉十分不错。

【环境篇】Intellij Idea编译Elasticsearch源码

Elasticsearch • jiangtao 发表了文章 • 0 个评论 • 11209 次浏览 • 2017-10-26 19:58 • 来自相关话题

一、软件环境
Intellij Idea:2017.1版本
Elasticsearch源码版本:5.3.1
JDK:1.8.0_111
Gradle :建议3.3及以上版本。官网：https://gradle.org/
二、下载Elasticsearch源码
到github clone源码，https://github.com/elastic/elasticsearch.git，建议选择稳定版本分支。

三、导入idea
1，编译执行gradle build.gradle，报错：
you must run gradle idea from the root of elasticsearch before importing into intellij
解决办法：运行命令：gradle idea。同理如使用eclipse编译器，运行gradle eclipse。该过程会向mvn仓库下载响应的jar包，视网络情况，大概会持续20分钟。

2，运行org.elasticsearch.bootstrap.Elasticsearch 方法，报错：
"path.home is not configured" when starting ES in transport and client mode“，
解决办法：在VM options中加入配置：-Des.path.home=/home/jiangtao/code/elasticsearch/core，即指向相应的core模块的路径。

3，报错：org.elasticsearch.bootstrap.BootstrapException: java.nio.file.NoSuchFileException

Exception in thread "main" org.elasticsearch.bootstrap.BootstrapException: java.nio.file.NoSuchFileException: /home/jiangtao/code/elasticsearch/core/config Likely root cause: java.nio.file.NoSuchFileException: /home/jiangtao/code/elasticsearch/core/config

    at sun.nio.fs.UnixException.translateToIOException(UnixException.java:86)

    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)

    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)

    at sun.nio.fs.UnixFileAttributeViews$Basic.readAttributes(UnixFileAttributeViews.java:55)

   at sun.nio.fs.UnixFileSystemProvider.readAttributes(UnixFileSystemProvider.java:144)

   at sun.nio.fs.LinuxFileSystemProvider.readAttributes(LinuxFileSystemProvider.java:99)

   at java.nio.file.Files.readAttributes(Files.java:1737)

   at java.nio.file.FileTreeWalker.getAttributes(FileTreeWalker.java:225)

   at java.nio.file.FileTreeWalker.visit(FileTreeWalker.java:276)

   at java.nio.file.FileTreeWalker.walk(FileTreeWalker.java:322)

   at java.nio.file.Files.walkFileTree(Files.java:2662)

解决办法：将distribution模块src路径下的config整个文件copy到core模块中

4，报错： ERROR Could not register mbeans java.security.AccessControlException

2017-06-06 09:52:08,007 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

             at java.security.AccessControlContext.checkPermission(AccessControlContext.java:472)

            at java.lang.SecurityManager.checkPermission(SecurityManager.java:585)

            at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.checkMBeanTrustPermission(DefaultMBeanServerInterceptor.java:1848)

            at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.registerMBean(DefaultMBeanServerInterceptor.java:322)

            at com.sun.jmx.mbeanserver.JmxMBeanServer.registerMBean(JmxMBeanServer.java:522)

             ........

           at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:91)

           at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:84)

解决办法：禁用jmx,在VM options中继续添加配置： -Dlog4j2.disable.jmx=true。注意：在VM options中多个配置中间用空格分隔。

5，报错： java.lang.IllegalStateException: Unsupported transport.type
错误栈如下：

[2017-06-06T10:04:21,327][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler]  uncaught exception in thread [main]

org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException: Unsupported transport.type 

at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:127) ~[main/:?]

at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:114) ~[main/:?]

at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:58) ~[main/:?]

at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:122) ~[main/:?]

at org.elasticsearch.cli.Command.main(Command.java:88) ~[main/:?]

at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:91) ~[main/:?]

at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:84) ~[main/:?]

Caused by: java.lang.IllegalStateException: Unsupported transport.type 

at org.elasticsearch.common.network.NetworkModule.getTransportSupplier(NetworkModule.java:213) ~[main/:?]

at org.elasticsearch.node.Node.<init>(Node.java:421) ~[main/:?]

at org.elasticsearch.node.Node.<init>(Node.java:242) ~[main/:?]

at org.elasticsearch.bootstrap.Bootstrap$6.<init>(Bootstrap.java:242) ~[main/:?]

at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:242) ~[main/:?]

at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:360) ~[main/:?]

at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:123) ~[main/:?]

... 6 more

这个是由于依赖的transport等jar并没有找到，可以在项目根目录找到models模块，然后将下面目录打包，然后copy到distribution/src/main/models目录下，
也可以直接去官网（https://www.elastic.co/downloads/elasticsearch）下载zip包，解压后直接copy。
我直接去官网下载的zip包：从官网下载完毕zip包后，具体解决办法请看：错误 6。

6，copy module版本冲突
错误栈如下：

org.elasticsearch.bootstrap.StartupException: java.lang.IllegalArgumentException: Plugin [lang-expression] is incompatible with Elasticsearch [5.3.4]. Was designed for version [5.3.1]

 at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:127) ~[main/:?]

 at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:114) ~[main/:?]

 at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:58) ~[main/:?]

 at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:122) ~[main/:?]

 at org.elasticsearch.cli.Command.main(Command.java:88) ~[main/:?]

at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:91) ~[main/:?]

at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:84) ~[main/:?]

Caused by: java.lang.IllegalArgumentException: Plugin [lang-expression] is incompatible with Elasticsearch [5.3.4]. Was designed for version [5.3.1]

解决办法：修改es当前版本
将core模块中的Version.java类由
public static final Version CURRENT = V_5_3_4_UNRELEASED;
修改为：
public static final Version CURRENT = V_5_3_1;

【拓展篇】Elasticsearch 6.0 一个索引只允许有一个type

Elasticsearch • jiangtao 发表了文章 • 0 个评论 • 20006 次浏览 • 2017-10-26 19:46 • 来自相关话题

一，单index,单type
未来发布的elasticsearch 6.0.0版本为保持兼容，仍然会支持单index，多type结构，但是作者已不推荐这么设置。在elasticsearch 7.0.0版本必须使用单index,单type，多type结构则会完全移除。
针对这一问题，elasticsearch 作者的讨论：
https://github.com/elastic/ela ... 24317
https://www.elastic.co/guide/e ... .html

二，单index，多type结构弊端
人们经常会谈到index类似传统sql数据库的“database”,而type类似于"table"。现在想想，这是一个非常糟糕的比喻，而这个比喻会造成很多错误的假设。
在传统的sql数据库中，各个"table"之间是互相独立的，在一个表中的列都与另一个表相同名称的列无关。
①，而在我们elasticsearch中同一 Index 下，同名 Field 类型必须相同，即使不同的 Type；
②，同一 Index 下，TypeA 的 Field 会占用 TypeB 的资源（互相消耗资源），会形成一种稀疏存储的情况。尤其是 doc value ，为什么这么说呢？doc value为了性能考虑会保留一部分的磁盘空间，这意味着 TypeB 可能不需要这个字段的 doc_value 而 TypeA 需要，那么 TypeB 就被白白占用了一部分没有半点用处的资源；
③，Score 评分机制是 index-wide 的，不同的type之间评分也会造成干扰。
④，索引元数据本身是放在主节点中维护的，CP 设计。意味着涉及到大量字段变更及元数据变更的操作，都会导致该 Index 被堵塞或假死。我们应该对这样的 Index 做隔离，避免影响到其他 Index 正常的增删改查。甚至当涉及到字段变更十分频繁且无法预定义 schema 的场景时，是否要使用 ES 都应该慎思熟虑了！

三，doc value 扩展介绍

参见官方文档docvalues
先看倒排索引组织结构大致如下：

如果我要查询包含 brown 的文档有哪些？这个就是全文检索了，也相当好办，先从词典里遍历到 brown 这个单词，然后根据倒排索引查得 Doc_1 和 Doc_2 包含这个单词。
如果我要查 Doc_1 和 Doc_2 包含的单词分别有什么？这个用倒排索引的话开销会非常大，至少是要将整张表关于 Doc_1 和 Doc_2 的列数据遍历一遍才行。这时候我们将数据换一种组织形式，将会起到非常好的效果。

Doc_1 和 Doc_2 存了什么单词，一目了然。我们把这种数据的组织方式叫做doc_value。
倒排索引的特点很明显，就是为了全文检索而生的，但是对于一些聚合查询（排序、求平均值等等）的场景来说，显然不适用。那么这样一来我们为了应对一些聚合场景就需要结构化数据来应付，这里说的结构化数据就是『列存储』，也就是上面说的doc_value。
doc_value在 ES 中有几个应用场景：

对某个字段排序；
某个字段聚合查询（ max/min/count ）；
部分过滤器（地理位置过滤器）；
某个字段的脚本执行。等等。

doc_value是顺序存储到磁盘的，因此访问是很快的。当我们所处理的集合小于所给的 JVM 堆内存，那么整个数据集合是会被加载到内存里的；如果数据集合大于所给的堆内存，那么就会分页加载到内存之中，而不会报出『OutOfMemory Error』。

值得一提的是，doc_value的字段使用极其频繁，因此在5.x 版本后强化成为两个字段，分别是 text 和 keyword。
text：string 类型，支持倒排索引，不支持 doc_value；
keyword：string 类型，不支持倒排索引，支持doc_value。

四：参考
①：ElasticSearch 内部机制浅析

通知设置新通知

发现