dearchill

fairseq翻译模型的推理

1

你好，我在说明文档里看到fairseq框架下gpt-2的使用方法，但没有找到transformer结构的翻译模型的推理方法。我参照说明 > Replace the original transformer.py in Fairseq with our transformer.py and reinstall the Fairseq, that is all ! 在使用fairseq-generate时报错，说是找不到transformer arch，我发现项目提供的transformer.py文件里没有模型结构注册的地方，只有decoder和embedding等相关的部分，找不到encoder相关的部分。所以我保留了原始的transformer文件，把项目提供的transformer作为新文件，然后把项目extra/fairseq/sequence_generator.py覆盖了原fairseq目录下的sequence_generator（我没理解错的话这里的sequence_generator.py是重写的generator），然后在运行推理时报错： File "/examples/NMT/fairseq/fairseq/sequence_generator.py", line 811, in forward_decoder decoder_out = model.decoder.forward(tokens,...

模型自行进行多轮对话问题

2

### 描述该错误 您好，我们在调用internlm-chat-7b这个模型的时候，发现模型针对一些prompt，会自行进行多轮对话。我看到官方提供的对话实例是model.chat，这个在内部实现是用response.split("")[0]来保证了只返回第一个回复。但是如果要使用这个模型进行后续的实验如RLHF等，在调用model.generate时会输出后面的多轮内容，相关token也会加入到计算中，这个是不可接受的。请问有什么方式来避免输出多轮对话的内容吗？ ### 环境信息 略 ### 其他信息 _No response_