搜索客，搜索人自己的社区

ealsticsearch安装ik插件，建索引时报下面的错误，啥原因呢？

贡献

Elasticsearch • strglee 回复了问题 • 2 人关注 • 1 个回复 • 6673 次浏览 • 2016-05-10 00:10 • 来自相关话题

通过elasticsearch-mapper attachment插件实现文件建立索引

Elasticsearch • paopao 发表了文章 • 5 个评论 • 11292 次浏览 • 2016-01-06 10:28 • 来自相关话题

1.安装elasticsearch-mapper attachment

bin/plugin install elasticsearch/elasticsearch-mapper-attachments/3.1.1
2.按照插件官方文档来测试
3.插件需要手动把文档内容转化为base64编码然后建立索引，代码如下
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.tika.Tika;
import org.apache.tika.config.TikaConfig;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.parser.Parser;
import org.apache.tika.parser.pdf.PDFParser;
import org.apache.tika.sax.BodyContentHandler;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.xml.sax.ContentHandler;

import com.spatial4j.core.io.ParseUtils;

import static org.elasticsearch.common.xcontent.XContentFactory.*;
public class sysfiles {
   public static void main(String[] args) throws Exception{
       sys();
}

   private static void sys() throws IOException {
       // TODO Auto-generated method stub
       String idxName = "test";
       String idxType = "attachments";
       Settings settings =ImmutableSettings.settingsBuilder().put("cluster.name","az_bsms_elasticsearch").build();
       Client client=new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress("127.0.0.1", 9300));
       String data64=org.elasticsearch.common.Base64.encodeFromFile(filepath);
       XContentBuilder source = jsonBuilder().startObject()
   .field("file", data64)
       .field("text", data64)
       .endObject();

       String id = "file"+11;
       IndexResponse idxResp = client.prepareIndex().setIndex(idxName).setType(idxType).setId(id)
       .setSource(source).setRefresh(true).execute().actionGet();
       System.out.println(idxResp);
       client.close();
   }
4.按官方文档正常的搜索就可以了

copy_to这个字段是不是不可以高亮啊

贡献

Elasticsearch • yyl211 回复了问题 • 3 人关注 • 3 个回复 • 6785 次浏览 • 2016-03-04 10:00 • 来自相关话题

在es2.1版本中如何删除一个type下的数据

贡献

Elasticsearch • yinglunfeng 回复了问题 • 4 人关注 • 4 个回复 • 12285 次浏览 • 2016-01-05 20:24 • 来自相关话题

es routing查询问题

贡献

Elasticsearch • yyppdd 回复了问题 • 6 人关注 • 4 个回复 • 10133 次浏览 • 2016-06-15 19:51 • 来自相关话题

Packetbeat协议扩展开发教程（1）

Beats • medcl 发表了文章 • 1 个评论 • 11111 次浏览 • 2015-12-30 21:02 • 来自相关话题

Packetbeat（https://www.elastic.co/products/beats/packetbeat）
是一个开源的网络抓包与分析框架，内置了很多常见的协议解析，如HTPP、MySQL、Thrift等。但是网络协议有很多，如何扩展一个自己的协议呢，本文将为您介绍如何在Packetbeat基础上扩展实现您自己的协议。

开发环境：
1.Go语言
Packetbeat是由Go语言编写，具有高性能和易部署的特点，有关Go语言的更多信息请访问：https://golang.org/。
2.Git
源码管理，相信大家都比较熟悉了。
3.Tcpdump
*nix下的抓包分析，可选，用于调试。
4.Mac本一台
Windows太伤，不建议。
5.IDE
推荐idea，其它只要你顺手都行。

这个教程给大家介绍的是编写一个SMTP协议的扩展，SMTP就是我们发邮件使用的协议，加密的比较麻烦，为了方便，本教程使用不加密的名文传输的SMTP协议，默认对应端口是25。

A.源码签出
登陆Github打开https://github.com/elastic/beats

fork后得到你自己的仓库，比如我的：https://github.com/medcl/packetbeat

#创建相应目录

mkdir -p $GOPATH/src/github.com/elastic/ 

cd $GOPATH/src/github.com/elastic



#签出源码

git clone https://github.com/elastic/beats.git

cd beats



#修改官方仓库为upstream源，设置自己的仓库为origin源

git remote rename origin upstream

git remote add origin git@github.com:medcl/packetbeat.git



#获取上游最新的代码，如果是刚fork的话可不用管

git pull upstream master



#签出一个名为smtpbeat的分支，用于开发这个功能

git checkout -b smtpbeat



#切换到packetbeat模块

cd packetbeat



#获取依赖信息

(mkdir -p $GOPATH/src/golang.org/x/&&cd $GOPATH/src/golang.org/x &&git clone https://github.com/golang/tools.git )

go get github.com/tools/godep



#编译

make

编译出来的文件：packetbeat就在根目录
现在我们测试一下
修改etc/packetbeat.yml,在output下面的elasticsearch下面添加enabled: true，默认是不启用的，另外如果你的Elasticsearch安装了Shield，比如我的Elasticsearch的用户名和密码都是tribe_user，哦，忘了说了，我们的Elasticsearch跑在本机。
packetbeat.yml的详细配置可参见：https://www.elastic.co/guide/e ... .html

output:

  elasticsearch:

    enabled: true

    hosts: ["localhost:9200"]

    username: "tribe_user"

    password: "tribe_user"

现在可以运行命令启动packetbeat了，默认会监听所有内置的协议，如HTTP、DNS等。

./packetbeat -e -c etc/packetbeat.yml  -d "publish"

介绍一下常用的参数：
-N dry run模式，不实际output存储日志
-e 控制台输出调试日志
-d 仅显示对应logger的日志

好的，我们打开几个网页，控制台会有相应的输出，如下：

2015/12/29 14:24:39.965037 preprocess.go:37: DBG  Start Preprocessing

2015/12/29 14:24:39.965366 publish.go:98: DBG  Publish: {

  "@timestamp": "2015-12-29T14:24:39.709Z",

  "beat": {

    "hostname": "medcls-MacBook.local",

    "name": "medcls-MacBook.local"

  },

  "bytes_in": 31,

  "bytes_out": 115,

  "client_ip": "192.168.3.10",

  "client_port": 53669,

  "client_proc": "",

  "client_server": "",

  "count": 1,

  "direction": "out",

  "dns": {

    "additionals_count": 0,

    "answers": [

      {

        "class": "IN",

        "data": "www.a.shifen.com",

        "name": "sp2.baidu.com",

        "ttl": 333,

        "type": "CNAME"

      }

    ],

    "answers_count": 1,

    "authorities": [

      {

        "class": "IN",

        "data": "ns1.a.shifen.com",

        "expire": 86400,

        "minimum": 3600,

        "name": "a.shifen.com",

        "refresh": 5,

        "retry": 5,

        "rname": "baidu_dns_master.baidu.com",

        "serial": 1512240003,

        "ttl": 12,

        "type": "SOA"

      }

    ],

    "authorities_count": 1,

    "flags": {

      "authoritative": false,

      "recursion_allowed": true,

      "recursion_desired": true,

      "truncated_response": false

    },

    "id": 7435,

    "op_code": "QUERY",

    "question": {

      "class": "IN",

      "name": "sp2.baidu.com",

      "type": "AAAA"

    },

    "response_code": "NOERROR"

  },

  "ip": "192.168.3.1",

  "method": "QUERY",

  "port": 53,

  "proc": "",

  "query": "class IN, type AAAA, sp2.baidu.com",

  "resource": "sp2.baidu.com",

  "responsetime": 18,

  "server": "",

  "status": "OK",

  "transport": "udp",

  "type": "dns"

}

2015/12/29 14:24:39.965774 preprocess.go:94: DBG  Forward preprocessed events

2015/12/29 14:24:39.965796 async.go:42: DBG  async forward to outputers (1)

2015/12/29 14:24:40.099973 output.go:103: DBG  output worker: publish 2 events

然后Elasticsearch应该就会有数据进去了，我们看看：

curl http://localhost:9200/_cat/indices\?pretty\=true -u tribe_user:tribe_user

yellow open packetbeat-2015.12.29  5 1   135  0 561.2kb 561.2kb

至此，packetbeat源码的build成功，我们整个开发流程已经跑通了，下一节正式开始介绍SMTP协议的扩展。

关于es内存配置的问题，怎么解决隔几天es内存占用激增的问题。

贡献

Elasticsearch • jiaofuyou 回复了问题 • 4 人关注 • 1 个回复 • 13125 次浏览 • 2015-12-31 09:04 • 来自相关话题

ES冷热分离(读写分离) hot, stale 场景

贡献

Elasticsearch • jiaofuyou 回复了问题 • 14 人关注 • 6 个回复 • 25515 次浏览 • 2016-01-13 13:36 • 来自相关话题

本机安装es后dsl查询不起作用

贡献

Elasticsearch • medcl 回复了问题 • 2 人关注 • 1 个回复 • 4923 次浏览 • 2015-12-29 19:35 • 来自相关话题

在kibana4中修改默认地图为高德地图后页面地图显示成了白板

贡献

Kibana • bird 回复了问题 • 17 人关注 • 9 个回复 • 18719 次浏览 • 2017-01-23 17:00 • 来自相关话题

关于提示TooManyClauses[maxClauseCount is set to 1024]的问题。

Elasticsearch • atomyliu 发表了文章 • 0 个评论 • 12905 次浏览 • 2015-12-29 16:26 • 来自相关话题

今天头一次出现的，其实也不算什么问题。
通过数据库获取到了1126个条件数据，然后叠加进bool进行查询，直接抛出个异常：
TooManyClauses[maxClauseCount is set to 1024]
问了Medcl大神，得知是超过默认搜索条件大小的问题，可以通过参数修改

index.query.bool.max_clause_count: 4096

M大也说，太BT了。。。这么多条件查询。。。
我也觉得挺BT的，自己想想都有点小激动，太佩服自己了。。。

今天头一次出现的，其实也不算什么问题。
通过数据库获取到了1126个条件数据，然后叠加进bool进行查询，直接抛出个异常：
TooManyClauses[maxClauseCount is set to 1024]
问了Medcl大神，得知是超过默认搜索条件大小的问题，可以通过参数修改

index.query.bool.max_clause_count: 4096

M大也说，太BT了。。。这么多条件查询。。。
我也觉得挺BT的，自己想想都有点小激动，太佩服自己了。。。

通知设置新通知

发现

ealsticsearch安装ik插件，建索引时报下面的错误，啥原因呢？

通过elasticsearch-mapper attachment插件实现文件建立索引

copy_to这个字段是不是不可以高亮啊

在es2.1版本中如何删除一个type下的数据

es routing查询问题

Packetbeat协议扩展开发教程（1）

关于es内存配置的问题，怎么解决隔几天es内存占用激增的问题。

ES冷热分离(读写分离) hot, stale 场景

本机安装es后dsl查询不起作用

在kibana4中修改默认地图为高德地图后页面地图显示成了白板

关于提示TooManyClauses[maxClauseCount is set to 1024]的问题。

elasticsearch使用river同步mysql数据,schedule设置问题

我用RPM包安装，但凡安装插件后，ES就连接不上

license更新失败

es复杂聚合问题

热门话题

通知设置 新通知

发现

热门话题

通知设置新通知