MOSS icon indicating copy to clipboard operation
MOSS copied to clipboard
verified publisher icon OpenMOSS

微调的finetune_moss.py之后可以支持plugin版本吗

Open dyc1998108 opened this issue 2 years ago • 4 comments

dyc1998108 avatar Apr 27 '23 02:04 dyc1998108

现在的 finetune_moss.py 已经支持带plugin数据的微调了，只需要按照我们提供的数据格式处理数据就行了。

xyltt avatar Apr 27 '23 02:04 xyltt

那可以基于sft-plugin的模型而不是base模型继续微调吗？

dyc1998108 avatar Apr 27 '23 02:04 dyc1998108

可以的！

xyltt avatar Apr 27 '23 02:04 xyltt

请问finetune的硬件要求是什么呀？A100 40g的好像跑不动

KUANWB avatar Apr 27 '23 03:04 KUANWB