Lifeng-Xu
Lifeng-Xu
@ykf173 --lora_rank 64不太行，我也是这样的报错，--lora_rank 16可以，--lora_rank 32,64都不行
> 我在本地机器上测试了没有问题，我的测试参数是： > > ```shell > #!/bin/bash > > CUDA_VISIBLE_DEVICES=0 python src/train_sft.py \ > --model_name_or_path chatglm2 \ > --use_v2 \ > --do_train \ > --dataset alpaca_gpt4_zh \ > --finetuning_type lora...
@hiyouga 对呀，您调整lora_rank=32/64生成的文件大小是正常的嘛？
@ykf173 我用的V100，单机8卡，跑出来的就是17kb,可能是accelerate问题？
@Jintao-Huang 有的，自己本地的也试了，官方的例子也试了，都不行
```python import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' # from swift.hub import HubApi # _api = HubApi() # _api.login('') # https://modelscope.cn/my/myaccesstoken from swift.llm import ( ModelType, get_lmdeploy_engine, get_default_template_type, get_template, inference_lmdeploy, inference_stream_lmdeploy )...
@Jintao-Huang 确实得main分支安装才能视频推理成功，这个就不行pip install 'ms-swift[llm]' -U
@Jintao-Huang 您好，这个加速推理视频的结果不对，我用的InternVL2-2B模型进行推理，出现的结果是这样的
md = MarkItDown(llm_client=client, llm_model="gpt-4o") ,图片转md需要提供llm的接口才能识别