furau

关于pytorch版本的seq2seq模型的几个问题

2

1、为什么encoder输入是ans文本，decoder输入是ask文本，这样顺序颠倒会不会有啥问题 2、Lang类的实例属性index2word本来就有 {0: "start", 1: "end"}，再调用addWord()，index2word变为{0: 'start', 1: 'end', 2: 'start', 3: '是', 4: '王若', 5: '猫', 6: '的', 7: 'end', 8: '那', 9: '什么', 10: '我'}，start和end对应两个key会不会影响什么？chatbot回答带start和end有可能是这个原因导致的吗？ 3、遍历decoder的每个句子的每个词时，算loss时为啥+=再/bsz？遍历完1batch，为什么返回的loss/target_length？ 感觉遍历每个词时，直接+=，等遍历完这个句子+=并/target_length，作为每个句子的平均loss。 遍历完1batch，返回所有句子的平均loss/bsz是否更加合理？

我把`/ChatHaruhi/Haruhi-2-Dev/ChatHaruhi/ChatGLM2GPT.py`的`get_response()`函数改成了: ``` response, history = self.model.chat(self.tokenizer, self.messages, history=[], do_sample=False), ``` 基座模型Chatglm2-6b的`modeling_chatglm.py`的chat()改成了 ``` def chat(self, tokenizer, query: str, history: List[Tuple[str, str]] = None, max_length: int = 8192, num_beams=1, do_sample=True, logits_processor=None, **kwargs):...

### Feature request / 功能建议 可以公开训练的角色和作品的名称 ### Motivation / 动机 我想测一下你们的模型 ### Your contribution / 您的贡献 暂无

open qa trial

1

if i want to perform open_qa trial, does it okay for 1. transforming the closed_qa to open_qa data format in training_samples; 2. setting the read_token_idx=0(read all tokens).

and just a factual claim in vitaminc_tagging directory included in vitaminc directory?