VisualGLM-6B icon indicating copy to clipboard operation
VisualGLM-6B copied to clipboard
verified publisher icon THUDM

finetune中的FewShotDataset怎么支持大量数据finetune

Open CaicaiJason opened this issue 2 years ago • 1 comments

image FewShotDataset在init中一次性把所有数据都读进去，亲测8卡V100只能3w左右的数据，有没有支持更多数据微调的方案呢？

CaicaiJason avatar Jun 06 '23 13:06 CaicaiJason

那就在__init__函数里只保存一个索引，在__getitem__函数里从硬盘读取具体内容

1049451037 avatar Jun 06 '23 13:06 1049451037