mamba824824
mamba824824
> The original Qwen2-7B-Instruct could be numerically unstable with float16 depending on the inference framework and whether flash attention is enabled or not. Please first check if the original model...
> ..... 泥为啥觉得 7B 换 1.5B 是合理的呢... > > 俺不管广告怎么宣传，2024年**通用对话业务**就是不能用 10B 以下的模型。 > > 如果没有合适的机器， config.ini 用 siliconcloud， 例如 > > ```shell > remote_type = "siliconcloud" > # 你的 siliconcloud...
> 已调整默认模型配置，现在应该是可以的。 我该如何处理，重新clone repo本机运行，或者选择siliconcloud？