LMXKO comments

Results 8 comments of


                                            LMXKO

hello 不能运行

大神，直接运行login报错：execjs._exceptions.ProgramError: TypeError: 'JSON' 未定义

> 硬件：单机，8张3090 配置： command_file: null commands: null compute_environment: LOCAL_MACHINE deepspeed_config: gradient_accumulation_steps: 1 gradient_clipping: 1.0 offload_optimizer_device: none offload_param_device: none zero3_init_flag: true zero3_save_16bit_model: true zero_stage: 3 distributed_type: DEEPSPEED downcast_bf16: 'no' dynamo_backend: 'yes'...

请教：微调报错怎么解决？

> 用了base模型，还是报错，RuntimeError: Socket Timeout 我是单机8卡，不涉及到socket通信

<help> 请问大家有qwen72B 全参数微调完成的吗？

用官方代码全参微调成功了

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

这个问题我也遇到了 ![image](https://github.com/QwenLM/Qwen/assets/35209678/a4b1033e-76dc-4d98-ae41-decfa11f8ced)

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

> 我也遇到了, 通过finetune/finetune_lora_ds.sh对Qwen-14B模型进行finetune时遇到的不用lora这个错误就没了

LMXKO

hello 不能运行

请教：微调报错怎么解决？

请教：微调报错怎么解决？

<help> 请问大家有qwen72B 全参数微调完成的吗？

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

Qwen model issues & embedding and loss has nan

Is there a plan to support multi-node traning?