呦吼呦吼lyb
Results
3
comments of
呦吼呦吼lyb
感谢回复，在尝试将LN去掉后重新载入v1.1ckpt还是出现了同样的问题。错误提示缺少"embedding_manager.proj.0.weight", "embedding_manager.proj.0.bias"但是存在"embedding_manager.proj.weight", "embedding_manager.proj.bias"
请问你是跑Omni的训练吗，在第二阶段预训练有遇到loss is nan的情况，目前不知道怎么解决