Jingji Yu
Results
2
comments of
Jingji Yu
你好，感谢提问。 Q1：我们使用的DecoupledAdamW优化器将learning rate和weight decay参数解绑了，所以weight decay需要设置更小的数值。请参考：https://github.com/mosaicml/composer/blob/dev/composer/optim/decoupled_weight_decay.py#L247 Q2：不好意思，我们目前没有打算开源训练数据集。
你好，请参考：https://github.com/DataCanvasIO/Alaya/blob/main/inferrence.py