FATE-LLM Qwen模型问题

[zapjone]

各位大佬好，想请问下，fate中使用的哪个千问模型？我使用Qwen-7B和Qwen1.5-7B，都无法正常跑起来。使用ChatGLM3-6B是可以正常训练的。

[zapjone]

hua换成QWen2模型后，会报这个错误。

[mgqa34]

hua换成QWen2模型后，会报这个错误。

这个报错是需要设置一下lora的target_modules，qwen的不是query_key_value，可以设置为q_proj, v_proj等。