SmoothNLP icon indicating copy to clipboard operation
SmoothNLP copied to clipboard

对句子进行分词时句子长度的限制

Open KawhiZhao opened this issue 5 years ago • 0 comments

您好,非常感谢您的工作 目前想对句子进行中英文混合分词,但句子太长会报错,如果固定长度分割后再分词,可能会破坏句子的连续性,这个问题有什么解决方法吗

KawhiZhao avatar Sep 01 '20 09:09 KawhiZhao