NLPIG
NLPIG
> 可以先参考DTR教程试一试 https://megengine.org.cn/doc/stable/zh/user-guide/dtr.html 好的
> 我的理解是你的问题有两个： > > 1. 如何使用 DTR > 2. GPT2-ML pre-trained model > > 第一个问题楼上已经回答了，对于第二个问题，**目前没有提供 GPT2-ML 的模型复现和预训练好的参数。** 可以参考的解决思路是，尝试在 MegEngine 上对比其它框架的实现代码进行复现（MegEngine API 学习/迁移成本很低），比如你这里提到的 https://github.com/imcaspar/gpt2-ml/blob/master/train/modeling.py . 只要模型结构一致，参数可以通过读取其他框架预训练模型的 `model.state_dict()` 来进行微调，本质上都是 `OrderedDict`. > >...
环境是colab pro，已经执行!pip uninstall -y tensorflow和install tensorflow==1.15.2，python是3.7