rookiebird
rookiebird
想问下UER支持从断点加载模型重新训练吗？ 我设置50w个step的训练， 因为服务器不稳定的原因训练有时会中断，所以我设置了断点保存，然后每次从新训练的时候，都是将pretrain.sh 中的 pretrained_model_path 路径重新设置为断点路径，然后再修改下要训练的step数目。 我的数据大概200w+，使用的是 bert-wwm, 进行mlm训练， batch_size 为 128 ， 现在大概训练了30w个step ，但是准确率只有0.5左右，不知道是不是我哪里操作有问题？， 这个是我pretrain.sh的配置 python3 pretrain.py --dataset_path dataset.pt \ --vocab_path /data/notebooks/jupyter-notebook/berts/chinese-roberta-wwm-ext/vocab.txt \ --pretrained_model_path save_model/output_model_2.bin-100000 \ --config_path models/bert/base_config.json \...
Hi,in your document ,it says that the parameters is identical to XBoost. So Does thunderGBM support early stopping? It seems that 'thundergbm.sparse_train_scikit' doesn't support this parameter.
When I use aiohttp.ClientSession resquest method to make a post request, it encounters CancelledErrors and I read the issue in [https://github.com/aio-libs/aiohttp/issues/2056](url) I change the original code ``` async with self.session()...
## Expected Behavior Hi，I want to know how does mitie deal with the segmentation of OOV. In fact, two of my train example like this: 1.The daily life of the...
配置描述: 1、使用了finetune.sh脚本对llama-7b-hf进行finetune 2、 **训练的时候使**用的是两卡,32gv100, 对fintune.py进行过修改，主要为半精度加载模型训练，改动部分如下 ``` model = LlamaForCausalLM.from_pretrained( args.model_path, load_in_8bit=False, torch_dtype=torch.float16, device_map=device_map, ).half() tokenizer = LlamaTokenizer.from_pretrained( args.model_path, add_eos_token=True ) #model = prepare_model_for_int8_training(model) ``` **测试的时候**，使用的是generate.sh脚本， 没有怎么改动generate.py 文件， 仅仅是将load_in_8bit 改为false。 3、使用的数据集是本github上百度网盘上下载的instruction数据集中的merge.json...