一个把数据从MySQL同步到Elasticsearch的工具
windfarer 发表了文章 • 2 个评论 • 9892 次浏览 • 2016-01-13 16:34
这个工具用python实现，主要使用了mysqldump输出xml进行初次同步，以及binlog进行增量同步，欢迎试用以及提出修改意见。
最近刚刚更新了中文文档。
这个工具用python实现，主要使用了mysqldump输出xml进行初次同步，以及binlog进行增量同步，欢迎试用以及提出修改意见。
最近刚刚更新了中文文档。
elasticsearch java客户端如何自定义线程池大小相关的参数？
hapjin 回复了问题 • 3 人关注 • 2 个回复 • 7944 次浏览 • 2019-03-11 16:55
Elastisearch怎么配置同义词查询
qq123 回复了问题 • 2 人关注 • 1 个回复 • 4279 次浏览 • 2016-04-26 11:06
求教elasticsearch拼音，容错，模糊搜索的问题
xiaohu3311 回复了问题 • 7 人关注 • 2 个回复 • 12152 次浏览 • 2017-11-09 19:55
es集群故障时如何快速定位是哪个任务或者哪个进程耗资源导致的，已经如何快速恢复
zttech 回复了问题 • 3 人关注 • 1 个回复 • 4550 次浏览 • 2016-01-12 11:08
es查询多个index时,如果一个index不存在,或者无数据怎么办？
lsh 回复了问题 • 3 人关注 • 3 个回复 • 8250 次浏览 • 2016-01-13 11:25
es版本 2.1.0 bulk index 过程中 lucene异常问题
medcl 回复了问题 • 3 人关注 • 2 个回复 • 8922 次浏览 • 2016-01-13 10:21
求教关于Common Terms Query的问题
medcl 回复了问题 • 2 人关注 • 1 个回复 • 5993 次浏览 • 2016-01-13 10:29
marvel插件过期了,有其他好用的插件吗
Roy 回复了问题 • 4 人关注 • 2 个回复 • 6407 次浏览 • 2016-06-30 16:20
es拼音搜索首字母显示
chennanlcy 回复了问题 • 8 人关注 • 7 个回复 • 12975 次浏览 • 2016-09-28 19:11
elasticsearch2.1用java连接失败
kl 回复了问题 • 5 人关注 • 5 个回复 • 12117 次浏览 • 2016-03-28 17:56
ealsticsearch安装ik插件，建索引时报下面的错误，啥原因呢？
strglee 回复了问题 • 2 人关注 • 1 个回复 • 6321 次浏览 • 2016-05-10 00:10
通过elasticsearch-mapper attachment插件实现文件建立索引
paopao 发表了文章 • 5 个评论 • 10823 次浏览 • 2016-01-06 10:28
bin/plugin install elasticsearch/elasticsearch-mapper-attachments/3.1.1
2.按照插件官方文档来测试
3.插件需要手动把文档内容转化为base64编码然后建立索引，代码如下
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.tika.Tika;
import org.apache.tika.config.TikaConfig;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.parser.Parser;
import org.apache.tika.parser.pdf.PDFParser;
import org.apache.tika.sax.BodyContentHandler;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.xml.sax.ContentHandler;
import com.spatial4j.core.io.ParseUtils;
import static org.elasticsearch.common.xcontent.XContentFactory.*;
public class sysfiles {
public static void main(String[] args) throws Exception{
sys();
}
private static void sys() throws IOException {
// TODO Auto-generated method stub
String idxName = "test";
String idxType = "attachments";
Settings settings =ImmutableSettings.settingsBuilder().put("cluster.name","az_bsms_elasticsearch").build();
Client client=new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress("127.0.0.1", 9300));
String data64=org.elasticsearch.common.Base64.encodeFromFile(filepath);
XContentBuilder source = jsonBuilder().startObject()
.field("file", data64)
.field("text", data64)
.endObject();
String id = "file"+11;
IndexResponse idxResp = client.prepareIndex().setIndex(idxName).setType(idxType).setId(id)
.setSource(source).setRefresh(true).execute().actionGet();
System.out.println(idxResp);
client.close();
}
4.按官方文档正常的搜索就可以了
copy_to这个字段是不是不可以高亮啊
yyl211 回复了问题 • 3 人关注 • 3 个回复 • 6505 次浏览 • 2016-03-04 10:00
