THULAC-Python icon indicating copy to clipboard operation
THULAC-Python copied to clipboard
verified publisher icon thunlp

有小数点数字的分词

Open lkluo opened this issue 7 years ago • 1 comments

分词的时候会将小数点单独成一个部分，这个不合理。

lkluo avatar Jan 11 '19 02:01 lkluo

在处理分词的时候，将数字和字符强制分开了，防止一些特殊的问题出现，如果需要可以修改一下preprocess里面的处理~

gzp9595 avatar Jan 12 '19 07:01 gzp9595