Delius

> > 能否提供下 tigerbot-7b-sft-4bit-128g 这个？ 感谢 > > 两个7b的模型都给你了。 链接: https://pan.baidu.com/s/1WRqBLdmMZ_csagAwfkMsoQ?pwd=mth9 提取码: mth9 请问百度网盘有13b的吗？

> > 请问百度网盘有13b的吗？ > > 链接: https://pan.baidu.com/s/1XhUrTDDcss3B321GJW_V7g?pwd=e9ny 提取码: e9ny --来自百度网盘超级会员v100的分享 感谢！

> 你好，使用如下配置和命令，是可以在4张3090上训练LLaMA-13B的。需要注意的是，该`batch_size`开得过大，并不能优化出WIC数据集上的最优结果。 > > ``` > # model > model_name_or_path: '/remote-home/share/llama_hf/13B' > # data > dataset_name: 'wic' > refresh: false > data_tag: 'base' > train_on_inputs: false > data_max_length: 1024 >...

> 可以参考https://www.deepspeed.ai/getting-started/#resource-configuration-multi-node 3张3090训练13B报OOM👇   参数配置如下： args_lomo.yaml:  ds_config.json:  run.sh:  跑得是baichuan-13b。 对源码的修改我就添加了loss在0.46以下时保存在一个特殊的output directory：  这咋弄呀

> --opset 11 may be suitable `--opset 11` not work either.

> anyone meet this question? torch.onnx.errors.UnsupportedOperatorError: Exporting the operator 'aten::bincount' to ONNX opset version 12 is not supported. Please feel free to request support or submit a pull request on...

Awesome! Solved the problem.