NLPIG

请问有没有 GPT2-ML 预训练模型，希望结合 DTR 进行微调

4

## 请求 实现MegEngine实现GPT2-ML(https://github.com/imcaspar/gpt2-ml) ## 任务描述 实验项目微调GPT2-ML，由于GPU资源不足（RTX 3060-12GB）无法调试，通过【机器之心】得知MegEngine1.4 DTR技术解决了动态图显存优化的问题，想请问有没有参考教程让我们能通过DTR实现对GPT2-ML的微调 ## 目标 采用MegEngine实现的GPT2-ML模型，通过DTR进行微调

【讨论】gpt2-ml，30G，22w步模型微调报错解决方案

1

tensorflow2.x一直报错，因为 'contrib'在2.x中已经删除，降级成1.x（1.14、1.15）能运行， **开始训练后会出现一堆warring：** > 【Start trainning............................................. > WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version. > Instructions for updating: >...