Mike Dean

非常棒的工作！我已经按照官方步骤成功运行。我现在遇到的问题和这个issue中一样，我使用的是非量化的13b版本，使用huggingface进行推理，我尝试了3组超参数，均没有复现出[此处](https://github.com/ymcui/Chinese-LLaMA-Alpaca/tree/main/examples)的结果。下面是一些case： ```shell 输入：请用python实现快速排序的代码 我的测试结果：def quick_sort(arr): 官方提供： def quick_sort(array): if len(array) pivot): right.append(item) else: middle.append(item) sortedArray = [sortedArray[:]] + sortLists([middle]) print("Sorted Array") print(sortedArray) return sortedArray if __name__ == '__main__': arr =...

您好，我们环境使用的`protobuf`的版本是`5.26.1`。如果仍然不行，请告知我`transformers`包的版本号，以便于我复现您的问题，我们当前环境使用的`transformers`的版本号是`4.41.2`。:)

Hi Niels, Thank you for reaching out and for the support! I'm glad to hear that you discovered my work through the Hugging Face paper page. I really appreciate the...

Hi Niels, I'm sorry for the delayed response; other commitments have kept me from getting back to you sooner. **Our code supports loading the training dataset directly from HuggingFace.** However,...

Hi, we have tried the following code: ```python from datasets import load_dataset dataset = load_dataset("json", data_files="./self_rag/train.jsonl") ``` But the error is the same: ```bash Generating train split: 0 examples [00:00,...

Thank you! This is a great solution! However, I have another question: why does the file `train.jsonl` in the repository `zjunlp/OneGen-TrainDataset-MultiHopQA` not have any errors?

Hi @NielsRogge, Thank you for your feedback! I will update the paper soon and add the link to the dataset. I appreciate your suggestion!

您好，我们在附录G中提到，我们的数据标注过程交给Qwen72B标注的，没有进行任何的人工监督。`2wiki`和`hotpotqa`采样掉数据集的每个问题都至少含有2跳推理，但是在这个例子中，Qwen只提供了一跳推理，我们认为这种情况的数据是不正确的，所以应当被过滤掉。此处我们没有在训练的过程中进行过滤是因为我们前期看过几个case，有些是正确的，因此我们索性就全部加入，这种情况在整个训练数据集的占比仅为0.4%，也可以观察模型的鲁棒性。如果仍有问题，请告知我 :)

请问是否方便提供一个具体的case呢？我们的训练数据没有发生变化，解码参数用的就是greedy decode。

您好，原因应该在于训练的数据没有加上eos token，下面提供两种解决方案： - 方案1：手动在每个``添加上模型对应的结束符号。比如llama2，则变成` ` - 方案2：修改llama2.json的`info-data-train`字段的`templator`为`Llama2Templator`，`Llama2Templator`会自动添加上`` token，[此处](https://github.com/zjunlp/OneGen/blob/9a594d65f9a461aa3e74bc921e0196a3fc9405e2/src/onegen/templator/templator.py#L111)为`Llama2Templator`的代码 如果仍有问题请告知我 :)