shaoping
shaoping
> 有点麻烦，得改dataset构造，等等吧 把示例中的user和assistant的value都填充同样的文本，是否可以实现无监督pretrain？
> > > 有点麻烦，得改dataset构造，等等吧 > > > 把示例中的user和assistant的value都填充同样的文本，是否可以实现无监督pretrain？ > > 我上次试了chatglm7b，这样搞直接梯度飞了，模型变成了傻子，生成内容只会重复，完全没有微调前生成的内容准确和丰富了（我怀疑是因为我用了float16，必须用bfloat16才可以，也可能是batch太少而学习率太高，模型学到了少量数据的同时覆盖了大量的先验知识）。 你试过bfloat16是可以正常训练的吗？
遇到同样问题，合并前后结果不一致，训练和测试peft都是0.6.2
Has this problem been resolved？
> lmdeploy这边vision推理是用的数据类型是float16，和你贴的hf复现方式中的类型bfloat16也会造成一些差别。不过就像上面说的，即使是相同的输入(embedding)，两边的结果也会有一些差异 @irexyc 您好，我想问下lmdeploy的LLM部分是用什么数据类型呀
> @peace-zy > > 根据 config.json中的torch_dtype来的 @irexyc 好的，多谢了，具体代码段是这里吗？ https://github.com/InternLM/lmdeploy/blob/4e5cc16682bf6a413acff493874c90c91255f8bc/lmdeploy/turbomind/deploy/target_model/base.py#L29
> @peace-zy > > 自动判断类型是这一段，目前只能跑fp16, bf16 > > https://github.com/InternLM/lmdeploy/blob/4e5cc16682bf6a413acff493874c90c91255f8bc/lmdeploy/turbomind/deploy/converter.py#L101-L148 > > 或者可以手动指定 引擎的 dtype https://github.com/InternLM/lmdeploy/blob/main/lmdeploy/messages.py @irexyc 好的，多谢了
@irexyc 为什么vision部分强制是float16呀？bf16的时候会有问题吗？ 还有我发现一个现象，我用InternVL2 8B的模型，在H100和A100 80g 同样代码、同样镜像，temperature设置为0时，出现了奇怪现象 1.H100不开启flash attention的结果和A100开启flash attention的结果才能一致 2.两个型号gpu同时开启flash attention时结果不一致，同时不开启时也不一致。这是什么原因呢
> 因为之前引擎侧接受的输入是numpy的类型，numpy没有bf16数据类型，另外不是所有的gpu都支持bf16，为了简单就强制fp16了。 > > 为了结果一致，需要硬件相同，算子实现一样才能没有完全没有误差。不需要纠结单个样例的结果是不是完全一样，不放心的话，可以用opencompass测下精度，这个对齐就没问题了。 @irexyc 非常感谢