xtuner icon indicating copy to clipboard operation
xtuner copied to clipboard

是否支持hf的IterableDataset?

Open Zth9730 opened this issue 1 year ago • 0 comments

请问是否可以支持流式dataset? 当前对large-scale data处理的时候耗时非常长,并且会缓存非常大的cache,请问目前有没有简便的办法改为iterabledataset,或者有没有其他推荐的对large-scale data的处理方式?

Zth9730 avatar Jul 23 '24 08:07 Zth9730