wellin
wellin
@PineappleWill 你好,我们之前并没有用large模型测试过ptuning,所以我刚刚使用第0个数据集测试了下large模型,在第一个epoch确实像随机,后面就不断变好,结果如下。如果你后面的epoch也是随机结果,那检查下模型下载有没有问题(可以用该模型测试下其他分类问题),以及代码有无其他改动,或者一些其他特殊情况。 
@PineappleWill cuda 10.1,其他环境你可以看下https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/README.md 另外你可以贴下tnews任务上的训练结果吗?
@PineappleWill 你可以到这里下载模型 链接: https://pan.baidu.com/s/1m9SDYBhS1KHRqD8SqqaMoA 密码: e7j1 顺便问一下,你跑的那个文件,应该是https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/ptuning_tnews_old.py, 看你之前说运行ptuning_tnews.py文件。
@PineappleWill 运行这个文件 https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/ptuning_tnews_old.py ptuning/文件夹中,是参考的苏剑林大佬的代码,跟论文方法有一些区别,ptuning_origin/文件夹中,是我们自己复现的论文方法,跟论文中的方法区别更小
@flitdu 这个错应该是tensorflow的报错,我当时用的是2.2/2.3版本,你查看下
为了保证模型结果的公平公正,测试集结果是不对外公布的。