中英文分词的一个问题

Open slene opened this issue 11 years ago • 2 comments

eg: 字典为

media视频

要分词的内容为 mediamedia视频

分词结果为

[mediamedia 视 频] // 理想结果应该为 [media media视频]

这个行为是预期的么？

Jul 25 '14 09:07 slene

瞎改了一下，貌似是可以了

Jul 25 '14 11:07 slene

还有英文和标点符号混合，比如网址: baidu.com 结果为 baidu . com

Jul 22 '17 06:07 JimSung