分词器那么多，使用什么好？

匿名 | 发布于2017年03月28日 | 阅读数：3880

现在最大争议时ik与jieba分词，哪个能好些？

1 个回复

看需要，IK和结巴都采用前缀字典树的查找，分词的效率上都挺不错的，IK在消除歧义方面略为简单，也没有词性标注之类的处理。结巴创建DAG，并计算最大概率路径，采用了维特比算法，在消歧方面可能略有提高，它的新词识别是否有助于提升搜索体验，不好说。以上是个人愚见

要回复问题请先登录或注册