zhangatao

icon location shanghai icon location nlp

Results 7 comments of zhangatao

[Feature] <title> 我最近也在拿官方代码finetune chatglm6b, 代码里面有history. 有多轮对话能力, 现在数据和你的数据都是单轮对话. 我打算生成一些chatglm训练集格式的多轮对话数据. 这样效果更好, 代码可以看下面. 确实有history部分.

有人试过觉得咋样

训练上7百万数据loss没有下降一走在3.x徘徊震荡怎么回事？还有训练完后并没有使用我的数据来回答，不知怎么回事？

你好 这个问题能解决了吗

训练上7百万数据loss没有下降一走在3.x徘徊震荡怎么回事？还有训练完后并没有使用我的数据来回答，不知怎么回事？

应该训练的epoch不够，得训练久一些才行

[Help] 如何进行ptuning训练

> 模型更新了 > > > > > > 按照chatglm-6b的方式ptuning微调 报错了 ChatGLMModel' object has no attribute 'prefix_encoder' > > > > > > > > > > > > 在ChatGLM-6b 1代里面这个报错可能是因为微调完推理的时候config里面没有定义pre_seq_len。...

灾难性遗忘

> 在Chinese-Alpaca-Plus-13B的基础上，使用自己构造的领域内instruct data进行微调 在Chinese-Alpaca-Plus-13B的基础上，使用自己构造的领域内instruct data进行微调

灾难性遗忘

> 基于源llama和chinese-llama-plus-lora的合并版本再训练alpaca可能会好些 感谢回复，我试试看

灾难性遗忘

done