Chen Yubo
Chen Yubo
### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[LangChain](https://github.com/hwchase17/langchain)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案。 ### 问题类型 模型训练与精调 ### 基础模型 Chinese-LLaMA-2 (7B/13B) ### 操作系统 Linux ### 详细描述问题 在`scripts/training/run_clm_pt_with_peft.py` Line [502](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/blob/main/scripts/training/run_clm_pt_with_peft.py#L502) 中，`result["labels"] = result["input_ids"].copy()`把label和input_ids设置成完全相同。但预训练过程应该是预测下一个词，所以是否应该将labels右移一位呢？或者是否右移一位的操作已经在transformers或PEFT里已经实现了，所以这里才这样写的呢？谢谢！...