BaizeNLP

BaizeNLP copied to clipboard

新词发现如何运用在大规模的数据集

1

我看demo 只是跑了一小段文本，如果我想让新词发现更准确 是不是尽可能用大数据集。如果是大数据集 怎么加载

BucherLi

依据： 信息熵的方式挖掘新词 http://www.matrix67.com/blog/archives/5044

lujiaying

lujiaying

lujiaying

- 开箱即用的NLP功能(pretrained model) - 定制加载语料的功能(train by user) - 在公开数据集上的评测结果(sighan wordseg bakeoff)

lujiaying

lujiaying