LY54
LY54
我的也是，加了GC后，训练和测试都变慢了
@you-old 请问你最后解决了训练变慢的问题吗？
@ZangHuanyu 您好，我遇到了和您一样的问题，应用SGD_GC后，测试精度基本一样，甚至还低了，weight decay设置的5e-4，您后面有做什么修改解决了这个问题吗
> > @ZangHuanyu 您好，我遇到了和您一样的问题，应用SGD_GC后，测试精度基本一样，甚至还低了，weight decay设置的5e-4，您后面有做什么修改解决了这个问题吗 > > 抛开任务谈参数是没有意义的，大概讲一下我的任务和参数 > 我之前用的SGD，后来改用了SGD_GC，针对我的任务，基本上SGD_GC比GCC表现都好，但是比起SGD提升也不明显，比如我的任务最后准确率大概都是72%左右，用了SGD_GC提升0.1个0.2个百分点这样。打算把这个作为最后一个超参数试一下 > 数据集大概29000训练集，测试集4000，一个基于ResNet的改进结构，50 layers，weight decay设置的5e-4，学习率是0.1，用的是Cosine with warm restart调节学习率 > 准确率和参数都是仅供参考，每个任务每个数据集，参数都不一样，还是得自己实验 嗯嗯，好的，感谢您地回复和耐心指导
@yiyunchen hello! I am curious about the Curriculum learning too. Do you understand this? Can you give me some advice in Curriculum learning?I want to train my data set, but...
@momoda-mht Hello, I have the same problem. Have you solved it? What's your suggestion