gosundy
Results
1
comments of
gosundy
我理解是将n-gram映射成n_gram_vocab里相应的位置，n_gram_vocab是远大于实际的vocab的。举个例子：“我是中国人”在vocab里是:"我","是","中","国","人"，如果是bigram："我是"，"是中","中国"，"国人"，将"我是"给hash了一下映射到比vocab更远的位置，该位置的范围是n_gram_vocab，这样尽量不会和vocab里的冲突。trigram也是如此