DarrenWang
DarrenWang
@PkuRainBow Hi, could you share your training configuration, such as learning rate, data augmentation?
后面怎么样了呢？我也是移植到arm上就错了，在pc上都是好的。
定位到了问题，是mat里的数据归一化有bug
float32x4_t _mean = vdupq_n_f32(mean); for (; nn>0; nn--) { float32x4_t _ptr = vld1q_f32(ptr); _ptr = vsubq_f32(_ptr, _mean); vst1q_f32(ptr, _ptr); ptr += 4; } 这里的_ptr需要除以std.
> hi, I had a problem at converting my 3D semantic segmentation result to the submission format. May I know how you did it? Thank you so much ! You...
> Hi @jinfagang, > Sorry for the late reply. > This is weird. Did you set the batch size as 1? > The information in README is out of date....
> > 请问是做了什么改动吗？ > > 14B的话，模型参数是没有更新的，相关代码上有一些模型间统一的变化，主要是速度相关的优化。这部分变动应该不会影响训练结果才对，方便说下loss大概高了多少吗？ 之前训练完的loss大概是0.001x，现在试了几次是0.03x
> 可以查查是不是eos_token的问题？检查一下添加到输入序列最后的结束符是什么。 我微调qwen2.5基础模型，用的自己写的微调代码。昨天一开始试的时候，loss也很高，检查了一下tokenizer的eos_token添加的是，正常来说应该是（这个问题今天已经修复了），把eos_token换成，loss就正常了。 是说结束符是，而不是?
> > > 可以查查是不是eos_token的问题？检查一下添加到输入序列最后的结束符是什么。 我微调qwen2.5基础模型，用的自己写的微调代码。昨天一开始试的时候，loss也很高，检查了一下tokenizer的eos_token添加的是，正常来说应该是（这个问题今天已经修复了），把eos_token换成，loss就正常了。 > > > > > > 是说结束符是，而不是? > > 对的base模型的结束符是，对应token id是151643。你可以看看输入数据的结束符，如果是（id是151645），那可能就是这个问题。 也注意一下是不是用了聊天模板。base模型微调不应该带模板的。聊天模板会自动加上，也会导致loss很高。我也不知道啥情况，qwen2其实无所谓这些的，但qwen2.5换一个eos_token loss差异就很大。 好的，多谢，我试下看看