dongxqm
dongxqm
hi， @jiangliqin 你好，你tokenizer的使用代码能否贴详细一点，方便我帮你定位问题。目前看你的截图，jieba分词已经导入成功了。
上面的“老鼠老鼠……”是模型的输出？还是输入？有什么其他报错吗？是切词不对吗？
我这边测试是没有问题的哈，建议再确认下model是否正常加载，tokenizer的切词是否正确，每一步都再打印出来看下
我这边无法复现你说的问题，推测是没有正确的加载模型。 清理一下hugging face的缓存试试，或者指定一个新的模型缓存地址再试试？如以下代码所示 ``` model = PegasusForConditionalGeneration.from_pretrained( "IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese", output_hidden_states=True, cache_dir= './test_pegasus_dir' # 指定hugging face缓存目录 ) ```