xtuner
xtuner copied to clipboard
是否支持hf的IterableDataset?
请问是否可以支持流式dataset? 当前对large-scale data处理的时候耗时非常长,并且会缓存非常大的cache,请问目前有没有简便的办法改为iterabledataset,或者有没有其他推荐的对large-scale data的处理方式?