vpegasus

@lonePatient 我用您的 `prepare_lm_data_ngram.py` 这个文件生成的数据，您指的dynamic mask相关的应该是file_num这个参数吧？ 我应该是置为1了，因为我的数据相对是够的，1500w的文章。另外，我check过块的代码，大佬这块写的从我的角度看是很清晰的。 1 . 如您所说，10个中有1个文件有问题， 其他都没有问题？ 这难道说，处理逻辑受数据的影响？ 2. 会有可能某个”特殊符“影响tokenize或index？ 这块的 `create_training_instances()` 是对每篇文章处理的，即使某篇文章有问题，感觉对结果似乎影响也不会太大。 3. 我的模型是在14w数据左右崩的，前面运行正常，后面一直崩，这样的情况看起来似乎不像某个字符能够达到的破坏效果 还请大佬指教

I encounter the problem too, and the solution doesn't work for me~ I don't understand why reading the model_path is related to 'convert string to float'?

新建的群，改名后， ```python "group_name_white_list": [ "ChatGPT" ], ``` 群名也改成 ChatGPT了 也不行，是什么情况？

@zhayujie 麻烦看下呗，谢谢

Yes, encountered the same strange thing: I used the command for training (I changed the reward model from 350m to 120m, as an error occurred when using 350m, maybe OOM...

I rerun the new updated (1.3b with 350m )scripts, and the results are still supervising bad...: with trained actor: with trained actor_ema: what's wrong... sad...

> @Trace2333 @vpegasus @bingjie3216 @loonxi @mrwyattii this issue might be useful to you: #442 thanks for your kindly reply, I'll try later.

> @sgsdxzy lora并不具备学习新知识的能力（或说非常弱），同时它对模型做的破坏也比较小，相当于一种定向挖掘。 > > 补充全新的中文知识肯定不适合用lora。我觉得经济一点考虑可以在llama的数据上做三段式训练架构：pretrain + pre-finetune + finetune，这样pretrain的时候就用llama的模型（不需要自己去预训练），finetune的时候用lora来定向增强，pre-finetune的时候使用你自己需要扩充的数据集。这种范式在不少paper中也有。 > > 然后offload非常慢，如果训练进度你可以接受的话也可以考虑。我们后续可能会考虑加上模型并行的部分来跑更大的模型。不过模型越大，训练速度越慢，建议看看进程，在合理的范围内就行。13B的llama纸面数据要比7B的好很多，你也可以考虑，更大模型考虑训练行程我觉得得上A100了。 @Facico 你好，请问`lora并不具备学习新知识的能力（或说非常弱）` 这个结论有没有相关参考资料呀， 想深入了解下， 比如论文，全方位的对比实验，或者理论推导也可，谢谢。 因为我们现在gpu资源有限，而且还想着让模型学习特定知识。 如果上述结论有理论支持的话，我们可能要调整我们的策略。

> Can you provide Code snippets to reproduce ? OK， here is the code snippets: ```python model_id ='baichuan-inc/Baichuan-13B-Base' tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True,use_fast=False) model = AutoModelForCausalLM.from_pretrained(model_id,load_in_8bit=True,device_map='auto', trust_remote_code=True) peft_config = LoraConfig(task_type=TaskType.CAUSAL_LM,target_modules=["W_pack", "o_proj",...