BaiStone2017
BaiStone2017
Recomend: Use gensim.models.Word2Vec to train your own wordvec_100 model. corpus:data/**_train
> 是在data_utils.py中，在train_phase=3下修改吗？比如 `tokenizer(prompt, return_tensors="pt", max_length=max_seq_len, padding="max_length", truncation=True)` 我这边的运行日志中有一些act loss和cti loss是inf或者非常大的数值，然后就会报 Current loss scale already at minimum - cannot decrease scale anymore. Exiting run. 这个错误 `epoch: 0|step: 46|ppo_ep: 1|act_loss: inf|cri_loss: inf|unsuper_loss:...
> 这个问题暂时没有解决，但是我后来尝试使用官方demo，不修改数据和模型，使用single_node方式，把官方demo跑完了，没有出现error，只有在step2的时候，最后出现了`Epoch 1/1 with loss inf`。 现在感觉问题和 @ruihan0495 说差不多，ppo训练过程中的问题，和batch_size、数据、学习率等参数都有关系，很不稳定
> It shouldn't happen, you can check you data clearly once again and I will check my code again in my spare time. Thank you for your report ! It...
yeah，got it.
janus-pro支持多模态理解和多模态生成，大佬，当前这套代码是仅支持多模态理解吧？