能否提供预训练脚本

[yiyepiaoling0715]

基于公司数据做持续预训练, 可否提供预训练脚本,包括 lr，max_seq_len, 及其他需要注意的细节等

[YoctoHan]

您可以参考finetune.py中提供的方式在Base模型基础上进行全量或者非全量的微调，预训练的脚本和相关技术细节开源优先级较低，近期不会在仓库更新。