#!/usr/bin/env python
#name: recovery.py

import requests
import json
host = "http://localhost:9200/_cluster/allocation/explain"
s= requests.Session()
def reroute_shard(index,shard,node):
    data = {
    "commands" : [
        {
          "allocate_stale_primary" : {
              "index" : index, "shard" : shard, "node" : node, "accept_data_loss": True
          }
        }
    ]
   }
    print data
    url = "http://localhost:9200/_cluster/reroute"
    res = s.post(url,json=data)
    print res

def get_node(line):
    if "UNASSIGNED" in line:
        line = line.split()
        index = line[0]
        shard = line[1]
        if line[2] != "p":
            return
        body = {
           "index": index,
           "shard": shard,
           "primary": True
               }
        res = s.get(host, json = body)
        for store in res.json().get("node_allocation_decisions"):
            if store.get("store").get("allocation_id"):
               node_name = store.get("node_name")
               reroute_shard(index,shard,node_name)
    else:
        return

with open("shards", 'rb') as f:
    map(get_node,f)

ES 版本： 5.2.1

步骤：

• curl localhost:9200/_cat/shards > shards
• 跑脚本：nohup python recovery.py &

  注意：跑脚本过程会返回大量json，时间较长，请注意放入后台

• 查看修复shard进度：curl 127.0.0.1:9200/_cat/recovery/你修复shard对应的索引
• 结果： 找到索引对应的shard，看到existing_store done说明已经从本地修复

   index 19 268ms existing_store done n/a        n/a                    10.0.58.67 node_name

#!/usr/bin/env python
#name: recovery.py

import requests
import json
host = "http://localhost:9200/_cluster/allocation/explain"
s= requests.Session()
def reroute_shard(index,shard,node):
    data = {
    "commands" : [
        {
          "allocate_stale_primary" : {
              "index" : index, "shard" : shard, "node" : node, "accept_data_loss": True
          }
        }
    ]
   }
    print data
    url = "http://localhost:9200/_cluster/reroute"
    res = s.post(url,json=data)
    print res

def get_node(line):
    if "UNASSIGNED" in line:
        line = line.split()
        index = line[0]
        shard = line[1]
        if line[2] != "p":
            return
        body = {
           "index": index,
           "shard": shard,
           "primary": True
               }
        res = s.get(host, json = body)
        for store in res.json().get("node_allocation_decisions"):
            if store.get("store").get("allocation_id"):
               node_name = store.get("node_name")
               reroute_shard(index,shard,node_name)
    else:
        return

with open("shards", 'rb') as f:
    map(get_node,f)

相关文档：

• https://www.elastic.co/guide/en/elasticsearch/reference/5.2/cluster-reroute.html
• https://www.elastic.co/guide/en/elasticsearch/reference/5.2/cluster-allocation-explain.html

收起阅读 »

1、iPrice集团使用elasticsearch集群经验分享
http://t.cn/RTkTb0f
2、使用Elassandra（Elasticsearch+Apache  Cassandra）进行NBA球员数据探索
http://t.cn/RTkT7SV
3、如何使用kibana基于时间序列的Visual  Builder展示数据
http://t.cn/RTkJX5s
4、Elastic Advent Calendar Day 22：忘记elastic密码的解决办法
http://t.cn/RTkWoRR

编辑：bsll
归档：https://elasticsearch.cn/article/430
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1、 NMAP扫描结果同步到Elasticsearch
http://t.cn/R94eGiz
2、elasticsearch对gmail建立索引？
http://t.cn/RZbYIug
3、es6.1的变化清单
http://t.cn/RTS7BcU
4、Elastic Advent Calendar Day 21：高性能Elasticsearch建议
http://t.cn/RTezts5

编辑：铭毅天下
归档：https://elasticsearch.cn/article/429
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1、日志文件是json格式（对应ES的索引的字段），如果输出到ES，那么对应ES的格式数据（mapping）应该怎么定义，放到哪个目录，怎么引用。
 
2、为了方便我每条日志生成一个文件，这样文件多了会不会影响Filebeat的性能。
 
3、接第2问怎么配置可以“读取并输出成功”就删除该日志文件。 收起阅读 »

1.如何将CSV文件导入Elasticsearch并使用Hive运行SQL查询
http://t.cn/RTBFA3B
2.关于elastic stack 6，你必须知道的事情
http://t.cn/RTBgYrd
3.elasticsearch relevance scoring 检索相关性计算
http://t.cn/RTr7PNT
4.Elastic Advent Calendar Day 20, 使用Elasticsearch和Gopa快速构建属于自己的Google 
http://t.cn/RTmW1XF

编辑：金桥
归档：https://elasticsearch.cn/article/427
订阅： https://tinyletter.com/elastic-daily 收起阅读 »

1. druid vs elasticsearch(旧闻)
http://t.cn/RTmtXBL 
2. elasticsearch 5.x 字段折叠的使用
http://t.cn/RTn0hJO
3. (英文)Elastic Advent Calendar, Day 19: 用 Elastic Stack 监控 Kubernetes
http://t.cn/RTmcU1S

编辑：江水
归档：https://elasticsearch.cn/article/426
订阅：https://tinyletter.com/elastic-daily 

  收起阅读 »

1.ElasticSearch Bulk 源码解析。
http://t.cn/RTYMZn8 
2.Elasticsearch 5.X集群多节点角色配置深入详解。
http://t.cn/RTY62ym 
3.使用JestClient连接elasticsearch-5.x对数据进行分组聚合。
http://t.cn/RTQbUhu 
4.(韩语)Elastic Advent Calendar, Day 18:解析Doc Value的魔法。
http://t.cn/RTYN1n8 

编辑：叮咚光军
归档：https://elasticsearch.cn/article/425 
订阅：https://tinyletter.com/elastic-daily  
  收起阅读 »

收集网络设备的日志，但是格式不统一，很苦恼，而且仅仅时间戳格式就有快10种不同格式，测试发现date不支持BJT时区

1.Elastic 现在提供14天的ELK Stack云服务试用，还在犹豫不决的同学快来体验吧。
http://t.cn/RTlWVit

2.filebeat 5.X关于使用通配符的性能讨论。
http://t.cn/RTlEsRp

3.(英语)Elastic Advent Calendar, Day 17:  运维Elastic Cloud Enterprise的各种要点
http://t.cn/RTlTIYF 

编辑：cyberdak
归档：https://elasticsearch.cn/article/423
订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

1.使用ELK监控OpenStack。
http://t.cn/RTpfMIR
2.(自备梯子)在Kubernetes上使用ELK记录日志。
http://t.cn/RTpMOnw
3.(自备梯子)算法是新的药物。
http://t.cn/RTpiSiE
4.(法语)Elastic Advent Calendar, Day 16:  Elasticsearch插件的测试表现
http://t.cn/RTpJjwF

编辑：至尊宝
归档：https://elasticsearch.cn/article/422
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

刚刚初始化启动kiabna后是没有索引的，当然，如果elasticsearch中导入过数据那么kibana会自动匹配索引
现在按照官方例子开始批量给elasticsearch导入数据
链接如下https://www.elastic.co/guide/e ... .html
我们会依次导入如下 三块数据 
1.The Shakespeare data 莎士比亚文集的数据结构


{
    "line_id": INT,
    "play_name": "String",
    "speech_number": INT,
    "line_number": "String",
    "speaker": "String",
    "text_entry": "String",
}
2.The accounts data  账户数据结构


{
    "account_number": INT,
    "balance": INT,
    "firstname": "String",
    "lastname": "String",
    "age": INT,
    "gender": "M or F",
    "address": "String",
    "employer": "String",
    "email": "String",
    "city": "String",
    "state": "String"
}
3.The schema for the logs data 日志数据


{
    "memory": INT,
    "geo.coordinates": "geo_point"
    "@timestamp": "date"
}
然后向elasticsearch设置字段映射
Use the following command in a terminal (eg bash) to set up a mapping for the Shakespeare data set:
以下是莎士比亚的字段映射 可以用postman或者curl等发出请求~完整的url应该是localhost:9200/shakespear
PUT /shakespeare
{
 "mappings": {
  "doc": {
   "properties": {
    "speaker": {"type": "keyword"},
    "play_name": {"type": "keyword"},
    "line_id": {"type": "integer"},
    "speech_number": {"type": "integer"}
   }
  }
 }
}
Use the following commands to establish geo_point mapping for the logs:
这是 logs的字段映射
PUT /logstash-2015.05.18
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
 
PUT /logstash-2015.05.19
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
COPY AS CURLVIEW IN CONSOLE 
PUT /logstash-2015.05.20
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
账户信息没有字段映射。。。
现在批量导入
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/doc/_bulk?pretty' --data-binary @shakespeare_6.0.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/_bulk?pretty' --data-binary @logs.jsonl
windows下的curl命令可以到https://curl.haxx.se/download.html#Win64下载，解压后设置环境变量即可
这里要注意的是 @accounts.json，@shakespeare_6.0.json，@logs.json这些文件的位置应该是你所在的当前目录，
如果你当前位置是D盘~那么这些文件位置就要放在D盘下，否则读不到
还有一点~~~windows下要把命令行中的单引号换成双引号，，。。。否则会报
curl: (6) Could not resolve host: application这样的错误

  收起阅读 »

最近想研究kibana源码，看看他的可视化部分的实现，花了两天才把webpack初始化成功，其中的出现的问题就是在平常看来很正常的一步，导致我卡了很久




（一）选择master分支 下载到本地 https://github.com/elastic/kibana.git，不过貌似选不选分支都一样，我选了个5.2版本的下到本地还是最新版的7.0alpha版

（二） 切到kibana目录下 运行npm install.....

在这里我为了图快。。。用了淘宝镜像cnpm install.....然后坑爹的事情发生了~~~~~安装成功运行下一步 npm run elasticsearch的时候开始无尽的报

错。。。。都是依赖找不到。。然后安装对应依赖后又出现其他依赖找不到的情况。。。重复几次还是不行。。后来幸亏钉钉群里的大牛们告诉我要严格按照

CONTRIBUTING.md 这里的步骤来。。然后 我删掉来项目 重新 按照文档步骤来 果然 一步到位~~~~~直接npm install哦













（三）然后就可以运行  npm run elasticsearch  是的不用去官网再下elasticsearch的可执行文件了，这时会出现以下cluster的下载信息，这个等待时间会很长。。可以先干点别的事情去：） 



（四）node scripts/makelogs這步没啥好说的。。。。

（五）在config/kibana.yml中加上：optimize.enabled：false..加上这句的原因为了时时看到源码修改后页面的结果

     因为修改之前服务是优先使用bundle.js内容，而不会每次都进到各源码目录执行，这样的话每次该源码是不会看到kibana页面有变化的。。

（六）运行 npm run start 开始改代码吧 收起阅读 »

1、使用es-hadoop从es导入数据到hive
http://t.cn/RToSes4
2、推荐一篇社区文章：如何更优雅的定制开发elasicsearch插件
https://elasticsearch.cn/article/339
3、Elastic Stack 6.1.0已发布
http://t.cn/RTonvjK
4、Elastic Advent Calendar, Day 15：ES升级到6.0以后，只支持单type,如何利用reindex和script将多type数据导入到集群？
http://t.cn/RToWb4Z
5、Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406 

编辑：bsll
归档：https://elasticsearch.cn/article/419
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1、尝鲜|Kibana Canvas 新特性体验
http://t.cn/RTXWZeN
2、kafka导入ElasticSearch实践第二弹
http://t.cn/RT6wGgG
3、Elasticsearch在云平台使用指南
http://t.cn/RYDVunk
4、[日文]用Analyze API了解倒排索引和文本分析
http://t.cn/RT6y399

编辑：铭毅天下
归档：https://elasticsearch.cn/article/418
订阅： https://tinyletter.com/elastic-daily
  收起阅读 »

1.ElasticSearch QueryCache漫谈
http://t.cn/RTt7LW7
2.elasticsearch源码深入分析——启动过程（Bootstrap）
http://t.cn/RTi5xjm
3.使用elk处理jenkins build日志
http://t.cn/RWGhqav
4.Elastic Advent Calendar Day 13,filebeat在6.x的配置变更
http://t.cn/RTiqoog

编辑：金桥
归档：https://elasticsearch.cn/article/417
订阅： https://tinyletter.com/elastic-daily 收起阅读 »