YY了一下《Structured Logging 需要更好的基础设施支持》 https://segmentfault.com/a/1190000004549379
Elasticsearch是一个很好的存储事件的数据库,非常好地解决了存储和检索两大难题。但是对于结构化的数据入库支持并不是很好,理想地情况应该是这样的:
Elasticsearch是一个很好的存储事件的数据库,非常好地解决了存储和检索两大难题。但是对于结构化的数据入库支持并不是很好,理想地情况应该是这样的:
- 提供一个本地agent,实现数据可靠地高性能入kafka
- kafka/elasticsearch深度融合,避免集群拷贝产生的额外负担,kafka直接作为elasticsearch的WAL存在
- 数据以高效的格式封包,并且能够从源头开始就按列处理,从头到尾都是long而不是List<Map<String, Object>>
- Elasticsearch再加上一个SQL查询接口(对doc-values字段也支持原数据SELECT)
0 个回复