yawzhe

Results 17 comments of yawzhe

[BUG] <Qwen-72b-Chat lora+Deepspeed-3微调出现loss始终不下降的情况>

你好，我lora72b的出现这个问题？ 问题：1+1=？ The answer to 1 + 1 is 2.老泥嘆ปรับปรุงฟอร์มซื้อล้อทีมงาน利กล่าวทักษพันธุ露ทุเจอร์รู้จัก凌林ว่างนักเรียนจัน都สล็สนับค่า北دّเหล่านี้วงศ์เลยค่ะแอร์เดียวกรีทุกคนศึกษาใหม่PostalCodesNLשּׁขณะที่ประชุมช่องร่วฟรีพืชสัมพันธ์เข้มทุกที่ ，什么原因呀？麻烦请教一下你们怎么lora微调的？

[BUG] <Qwen-72b-Chat lora+Deepspeed-3微调出现loss始终不下降的情况>

我用的数据是alapca_gpt4_zh 和alapca_gpt4_en

我用官方提供的代码部署会报错RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

我也有这样的问题，怎么解决呀？我这个是两个人同时调用，线程出错后就出现这个问题，14b大模型

我用官方提供的代码部署会报错RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

在A6000上使用streamlit部署，不可以同时调用，否则就报上面的错误，使用fp32可以，如果使用3090上可以两个人同时调用，怎么解决呀，使用了bf16也不行

我用官方提供的代码部署会报错RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

解决了没

Need to support Qwen1.5-72B-Chat 32k token?

不支持

Looking forward to adding support for Qwen1.5

fastchat部署不支持qwen1.5吗？

多卡训练lora超时

torch.distributed.init_process_group(backend="nccl", timeout=datetime.timedelta(seconds=xxx)) 这个加在那呀，我设置 --ddp_time 加载数据集 可以顺利加载一次，但是运行的时候要加载两次data_tokenizer,第二次就报错了。 ![微信图片_20240318191811](https://github.com/hiyouga/LLaMA-Factory/assets/127652671/da4cc25e-092d-4bf7-ad1b-c0efbef1cf4c)

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

有解决的没？我也遇到了

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

我报错是 运行的 bash finetune/finetune_lora_ds.sh ,使用的是你们提供的deepspeed_stage3， 初次运行的时候报了其他的错误，注释了 device_map="auto"