如何finetune自己的数据

[kelvinleen]

能否提供一下超参数的配置文件？ 另外，打包中的bert_config_tiny.json这个文件似乎不是run_finetuning.py的hparam的参数文件

[yyht]

bert_config_tiny.json 是 discriminator的参数配置文件（为了与同样规模的roberta-tiny对比，gen是disc的1/4） finetuning的时候 直接使用 PyCLUE 包（使用官方bert源码，scope=‘electra’）以及 把 官方代码里面的layer-wise learning rate decay 加入 对应的optimier即可