Zhang Wohao

> 可以，理论上llama最多可以设置到2048。如果将mirco batch size设置为2，一张3090Ti就可以 您好！ 如果是最大长度为1024，两张v100 32G，应该如何设置呢？本库支持模型并行 deepseepd吗

In fact, I only need to do similar parsing in a word document, which contains a consistent structure, similar to markdown. You are right that understanding the layout structure of...

> 为什么我3090 24g，跑llama-7b就报CUDA out of memory了？？又试了下两张3090还是同样的错误 model = LlamaForCausalLM.from_pretrained( 在这步加载模型的时候就报了： RuntimeError: CUDA error: out of memory 这是我的参数设置： Training Alpaca-LoRA model with params: base_model: ../LLaMA-7B data_path: ./instruction_data.json output_dir: ./lora-alpaca batch_size: 24...