caixun99
Results
4
issues of
caixun99
我在调大num_trials后模型取得了更好的效果，想问下为什么将num_trials设置为2
在用huggingface加载ziya的BLIP2时，想用多卡推理，于是加了device_map="auto"，成功多卡加载模型。但是用model.chat推理时出现中间残差层hidden_states=hidden_states+residual的两个向量设备不一致的问题，应该如何解决呢