Qi Lv
Qi Lv
预训练细节
请问在你们预训练过程中，使用100GB的数据，是通过什么方式载入到dataset的。 据我所知，一般数据集不大的情况下是直接在dataset的__init__方法载入数据直接读进内存，但是数据量大的情况下采用什么方式? 我看到torch有提供一个iterabledataset，但是如果使用这个dataset的话，是不是就没有办法进行shuffle了呢?
首先祝贺这份工作被录用，其次论文中对拼音和字形的预训练我很感兴趣，请问你们对这两个部分预训练分别采使用什么样规模的数据，比如说多少条句子，文件总大小约为多少；其次，在预训练过程中，你们是否采用了验证集，如果采用了，验证集和训练集的大小比例是什么样的；最后，你们在预训练的时候采用的learningrate是什么级别的，是bert建议在下游任务上finetune的lr还是设置了比较大的lr，十分感谢！
Hi, Otter is a great job. However, when initializing openflamingo model, I come across this problem below. ``` File "pipeline/train/instruction_following.py", line 351, in main model = FlamingoForConditionalGeneration.from_pretrained( File "/yang_yu/miniconda3/envs/otter/lib/python3.9/site-packages/transformers/modeling_utils.py", line...
下载问题
使用modelscope下载pretrain数据集过程中报错，如下所示： ``` 2023-07-26 14:05:26,858 - modelscope - INFO - Loading ast index from /root/.cache/modelscope/ast_indexer 2023-07-26 14:05:27,483 - modelscope - INFO - Loading done! Current index file version is 1.7.1, with...
你好作者，mplug的能力非常强，想请问一下在预训练和微调中mplug分别使用了多少显卡，消耗多长时间？
Hello, authors. I want to install the RLBench on the A5000 linux server. However, I encounter some problems need your help. I strictly follow the instruction in this repo and...
Hi, I noticed that you set the training epoch to 3050 in `uva_pusht.yaml`. This means the video prediction model needs to train for a very, very large number of epochs....