用了Elasticsearch,一口气上5T

社区日报 第825期 (2019-12-27)


1、使用Logstash和Elasticsearch脚本化的upsert转换电子商务数据
http://t.cn/AiFzqoKu
2、牛逼:Elasticsearch自动补全的增强方案
http://t.cn/AiFzqoKR
3、好奇!Elasticsearch竞品有哪些?
http://t.cn/AiFzqoKE

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »

1、使用Logstash和Elasticsearch脚本化的upsert转换电子商务数据
http://t.cn/AiFzqoKu
2、牛逼:Elasticsearch自动补全的增强方案
http://t.cn/AiFzqoKR
3、好奇!Elasticsearch竞品有哪些?
http://t.cn/AiFzqoKE

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第824期 (2019-12-26)

1.透彻理解Elasticsearch中的Bucket aggregation
http://t.cn/Aik8lFat
2.Elasticsearch SliceScroll检索实践分享
http://t.cn/Aik1gEoY
3.使用k8s Operator快速部署Elasticsearch集群
http://t.cn/Ai0DcQPd

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.透彻理解Elasticsearch中的Bucket aggregation
http://t.cn/Aik8lFat
2.Elasticsearch SliceScroll检索实践分享
http://t.cn/Aik1gEoY
3.使用k8s Operator快速部署Elasticsearch集群
http://t.cn/Ai0DcQPd

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第823期 (2019-12-25)

1、Elasticsearch 百亿级数据检索案例与原理
http://t.cn/ELOH0KF
2、看看 Elasticsearch 是如何把索引的性能压榨到极致的
http://t.cn/AiejtFtr
3、Elasticsearch 系列 分布式架构机制讲解
http://t.cn/AidY4W5k
 
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1、Elasticsearch 百亿级数据检索案例与原理
http://t.cn/ELOH0KF
2、看看 Elasticsearch 是如何把索引的性能压榨到极致的
http://t.cn/AiejtFtr
3、Elasticsearch 系列 分布式架构机制讲解
http://t.cn/AidY4W5k
 
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第822期 (2019-12-24)

 1、腾讯万亿级 Elasticsearch 技术解密。 
http://t.cn/AiklT6tu 
2、使用Elasticsearch提示WordPress搜索性能。
 http://t.cn/R3JSZyv 
3、Kafka同步Elasticsearch工具推荐。
 http://t.cn/AiklTaBH 
 
编辑:叮咚光军 
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub
 
继续阅读 »
 1、腾讯万亿级 Elasticsearch 技术解密。 
http://t.cn/AiklT6tu 
2、使用Elasticsearch提示WordPress搜索性能。
 http://t.cn/R3JSZyv 
3、Kafka同步Elasticsearch工具推荐。
 http://t.cn/AiklTaBH 
 
编辑:叮咚光军 
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub
  收起阅读 »

社区日报 第821期 (2019-12-23)

1、5种方式将mongodb数据数据同步到es中(自备梯子)
http://t.cn/AikoWN8L

2、如何在一个小时内reindex10亿数据(自备梯子)
http://t.cn/EJhORnP

3、记一次Elasticsearch查询性能优化
http://t.cn/AikoHyG1


编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、5种方式将mongodb数据数据同步到es中(自备梯子)
http://t.cn/AikoWN8L

2、如何在一个小时内reindex10亿数据(自备梯子)
http://t.cn/EJhORnP

3、记一次Elasticsearch查询性能优化
http://t.cn/AikoHyG1


编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第820期 (2019-12-22)

1.ElasticSearch在其SIEM中增加了ML magic。
http://t.cn/Aik6yVoN
2.为Elasticsearch启用X-Pack安全。
http://t.cn/Aik6q4Jf
3.(自备梯子)我如何使用简单的Google查询来从数十个公共Trello面板中挖掘密码。
http://t.cn/Aik652wE

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.ElasticSearch在其SIEM中增加了ML magic。
http://t.cn/Aik6yVoN
2.为Elasticsearch启用X-Pack安全。
http://t.cn/Aik6q4Jf
3.(自备梯子)我如何使用简单的Google查询来从数十个公共Trello面板中挖掘密码。
http://t.cn/Aik652wE

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

[活动推荐] ECUG For Future - 技术人的年度盛会

作为 Elastic 中文社区的福利,我这里有 10 张免费的门票,有兴趣参会的小伙伴私信我一下;

【限量门票】ECUG技术人的年度盛会,听谷歌、阿里、七牛云、CODING等大佬分享干货。http://hdxu.cn/JH9N4
【亮点满满】微服务拆分的技术实践、基于区块链的可信计算、阿里巴巴Kubernetes应用管理实践中的经验与教训、ServiceMesh在网易的落地关键点总结、构建快速应用开发的套路……2020年1月4日-5日,杭州见~

活动链接:http://hdxu.cn/JH9N4

600x300.png

 
更多活动介绍:

活动介绍1221.jpg.png
继续阅读 »
作为 Elastic 中文社区的福利,我这里有 10 张免费的门票,有兴趣参会的小伙伴私信我一下;

【限量门票】ECUG技术人的年度盛会,听谷歌、阿里、七牛云、CODING等大佬分享干货。http://hdxu.cn/JH9N4
【亮点满满】微服务拆分的技术实践、基于区块链的可信计算、阿里巴巴Kubernetes应用管理实践中的经验与教训、ServiceMesh在网易的落地关键点总结、构建快速应用开发的套路……2020年1月4日-5日,杭州见~

活动链接:http://hdxu.cn/JH9N4

600x300.png

 
更多活动介绍:

活动介绍1221.jpg.png
收起阅读 »

社区日报 第819期 (2019-12-21)

1.nested结构增删改查示例

http://t.cn/AikfnSuI

2.用“架构”的思维看待ES

http://t.cn/AikflU49

3.Kibana多用户创建及角色权限控制

http://t.cn/AikfnSuX

继续阅读 »

1.nested结构增删改查示例

http://t.cn/AikfnSuI

2.用“架构”的思维看待ES

http://t.cn/AikflU49

3.Kibana多用户创建及角色权限控制

http://t.cn/AikfnSuX

收起阅读 »

社区日报 第818期 (2019-12-20)


1、Elasticsearch命名实体识别实现
http://t.cn/AikhCWV6
2、从 Lucene 到 Elasticsearch
http://t.cn/AikhCTOb
3、Elasticsearch一系列好文收藏
http://t.cn/AikhCRyO

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »

1、Elasticsearch命名实体识别实现
http://t.cn/AikhCWV6
2、从 Lucene 到 Elasticsearch
http://t.cn/AikhCTOb
3、Elasticsearch一系列好文收藏
http://t.cn/AikhCRyO

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

GeoIP解析IP地理位置


我们在对IP进行解析的时候使用maxmind提供的提供的GeoLite2,这个是maxmind提供的GeoIP2的免费版本,其准确率稍低于付费版本,可以很好的对IP进行地域解析,可以满足我们的需求。
          GeoLite2有提供各种版本的API供开发者使用,我们就主要是用的是java版本的API。具体步骤如下:1、下载maxmind DB数据库

在maxmind官网下载需要的IP解析数据库,里面有两种数据库,一是国家数据库,一是城市数据库,我们使用的基本都是城市数据库,下载选择二进制格式。网页地址:GeoLite2 开源数据库

2、安装软件包,建议使用maven安装此软件包,将以下依赖添加到pom.xml中。
<dependency>
<groupId> com.maxmind.geoip2 </groupId >
<artifactId > geoip2 </artifactId >
<version >2.12.0</version >
</dependency >
3、使用
// A File object pointing to your GeoIP2 or GeoLite2 database
System.out.println(GeoIP2Test.class.getClassLoader().getResource("GeoLite2-City.mmdb").toString().replaceFirst("/",""));
File database = new File(GeoIP2Test.class.getClassLoader().getResource("GeoLite2-City.mmdb").toString().replaceFirst("file:/",""));

// This creates the DatabaseReader object. To improve performance, reuse
// the object across lookups. The object is thread-safe.
DatabaseReader reader = new DatabaseReader.Builder(database).build();


InetAddress ipAddress = InetAddress.getByName("128.101.101.101");

// Replace "city" with the appropriate method for your database, e.g.,
// "country".
CityResponse response = reader.city(ipAddress);
Country country = response.getCountry();
System.out.println(country.getIsoCode()); // 'US'
System.out.println(country.getName()); // 'United States'
System.out.println(country.getNames().get("zh-CN")); // '美国'


Subdivision subdivision = response.getMostSpecificSubdivision();
System.out.println(subdivision.getName()); // 'Minnesota'
System.out.println(subdivision.getIsoCode()); // 'MN'


City city = response.getCity();
System.out.println(city.getName()); // 'Minneapolis'


Postal postal = response.getPostal();
System.out.println(postal.getCode()); // '55455'


Location location = response.getLocation();
System.out.println(location.getLatitude()); // 44.9733
System.out.println(location.getLongitude()); // -93.2323
继续阅读 »

我们在对IP进行解析的时候使用maxmind提供的提供的GeoLite2,这个是maxmind提供的GeoIP2的免费版本,其准确率稍低于付费版本,可以很好的对IP进行地域解析,可以满足我们的需求。
          GeoLite2有提供各种版本的API供开发者使用,我们就主要是用的是java版本的API。具体步骤如下:1、下载maxmind DB数据库

在maxmind官网下载需要的IP解析数据库,里面有两种数据库,一是国家数据库,一是城市数据库,我们使用的基本都是城市数据库,下载选择二进制格式。网页地址:GeoLite2 开源数据库

2、安装软件包,建议使用maven安装此软件包,将以下依赖添加到pom.xml中。
<dependency>
<groupId> com.maxmind.geoip2 </groupId >
<artifactId > geoip2 </artifactId >
<version >2.12.0</version >
</dependency >
3、使用
// A File object pointing to your GeoIP2 or GeoLite2 database
System.out.println(GeoIP2Test.class.getClassLoader().getResource("GeoLite2-City.mmdb").toString().replaceFirst("/",""));
File database = new File(GeoIP2Test.class.getClassLoader().getResource("GeoLite2-City.mmdb").toString().replaceFirst("file:/",""));

// This creates the DatabaseReader object. To improve performance, reuse
// the object across lookups. The object is thread-safe.
DatabaseReader reader = new DatabaseReader.Builder(database).build();


InetAddress ipAddress = InetAddress.getByName("128.101.101.101");

// Replace "city" with the appropriate method for your database, e.g.,
// "country".
CityResponse response = reader.city(ipAddress);
Country country = response.getCountry();
System.out.println(country.getIsoCode()); // 'US'
System.out.println(country.getName()); // 'United States'
System.out.println(country.getNames().get("zh-CN")); // '美国'


Subdivision subdivision = response.getMostSpecificSubdivision();
System.out.println(subdivision.getName()); // 'Minnesota'
System.out.println(subdivision.getIsoCode()); // 'MN'


City city = response.getCity();
System.out.println(city.getName()); // 'Minneapolis'


Postal postal = response.getPostal();
System.out.println(postal.getCode()); // '55455'


Location location = response.getLocation();
System.out.println(location.getLatitude()); // 44.9733
System.out.println(location.getLongitude()); // -93.2323
收起阅读 »

社区日报 第817期 (2019-12-19)

1.携程:从日志分析平台到综合性 Elasticsearch 管理平台
http://t.cn/AiDgzlFv
2.Elastic:新手指南
http://t.cn/AiDgzQ4T
3.Elasticsearch冷热分离原理和实践
http://t.cn/AiDgzmPj

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.携程:从日志分析平台到综合性 Elasticsearch 管理平台
http://t.cn/AiDgzlFv
2.Elastic:新手指南
http://t.cn/AiDgzQ4T
3.Elasticsearch冷热分离原理和实践
http://t.cn/AiDgzmPj

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第816期 (2019-12-18)

1、Solr索引基本原理
http://t.cn/AiDdEUox
2、Elasticsearch之安装及基本操作API
http://t.cn/AiDdEJij
3、Elasticsearch监控工具cerebro
http://t.cn/EissFL1
 
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1、Solr索引基本原理
http://t.cn/AiDdEUox
2、Elasticsearch之安装及基本操作API
http://t.cn/AiDdEJij
3、Elasticsearch监控工具cerebro
http://t.cn/EissFL1
 
编辑:江水
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第815期 (2019-12-17)

1、Elasticsearch 与传统数据库界限.
http://t.cn/AiDuTGlZ
2、Elasticsearch数据采集和处理--Logstash VS Ingest Node。
http://t.cn/AiDuJI9f
3、Elasticsearch和MarkLogic系统参数比较。
http://t.cn/RTvPGm6

编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
继续阅读 »
1、Elasticsearch 与传统数据库界限.
http://t.cn/AiDuTGlZ
2、Elasticsearch数据采集和处理--Logstash VS Ingest Node。
http://t.cn/AiDuJI9f
3、Elasticsearch和MarkLogic系统参数比较。
http://t.cn/RTvPGm6

编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub 收起阅读 »

社区日报 第814期 (2019-12-16)

1、ElasticSearch性能调优之设置refresh_interval实战
http://t.cn/E7ELuzG
2、语言处理系列之打字或拼写错误
http://t.cn/AiDNh07L
3、Elasticsearch在日志分析领域应用和运维实践
http://t.cn/Aid4UsSG

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、ElasticSearch性能调优之设置refresh_interval实战
http://t.cn/E7ELuzG
2、语言处理系列之打字或拼写错误
http://t.cn/AiDNh07L
3、Elasticsearch在日志分析领域应用和运维实践
http://t.cn/Aid4UsSG

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第813期 (2019-12-15)

1.Elastic SIEM:速度,规模和分析能力驱动安全运维。
http://t.cn/AiDo4abK
2.使用Kafka进行流式日志分析。
http://t.cn/AiDo4O9D
3.(自备梯子)区块链和分布式账本的区别。
http://t.cn/AiDo4EDu

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elastic SIEM:速度,规模和分析能力驱动安全运维。
http://t.cn/AiDo4abK
2.使用Kafka进行流式日志分析。
http://t.cn/AiDo4O9D
3.(自备梯子)区块链和分布式账本的区别。
http://t.cn/AiDo4EDu

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »