sego
sego copied to clipboard
中英文分词的一个问题
eg: 字典为
media视频
要分词的内容为 mediamedia视频
分词结果为
[mediamedia 视 频] // 理想结果应该为 [media media视频]
这个行为是预期的么?
瞎改了一下,貌似是可以了
还有英文和标点符号混合,比如网址: baidu.com 结果为 baidu . com