Mark

Same issue with WeChat 4.1.0.34 Actually my WeChat already logged in.

可以参考教程https://blog.051088.xyz/2025/05/14/WeClone-%E7%94%A8%E5%BE%AE%E4%BF%A1%E8%81%8A%E5%A4%A9%E8%AE%B0%E5%BD%95%E6%89%93%E9%80%A0%E8%87%AA%E5%B7%B1%E7%9A%84AI%E6%95%B0%E5%AD%97%E5%88%86%E8%BA%AB/

> 不带vllm训练好后推理的时候还需要vllm，这个该如何解决 上面的教程里面有，需要在对应代码里面插入patch

这个原因是因为bfloat16 (BF16) 是一种较新的浮点数格式，需要GPU硬件计算能力 >= 8.0才能原生支持，T4包括v100好像都不行。 在settings.jsonc中增加下面的参数，然后重新执行weclone-cli make-dataset试试呢？ "infer_args": { "repetition_penalty": 1.2, "temperature": 0.5, "max_length": 50, "top_p": 0.65, "infer_dtype": "float16" // 添加这一行 }

> [INFO|tokenization_utils_base.py:2048] 2025-05-16 19:45:46,398 >> loading file vocab.json 再不行就直接改weclone/data/clean/strategies.py，找到下面这段代码然后插入修改。这个方法实测可行。如果方便的话麻烦帮忙测试一下上面settings.jsonc中增加的参数可不可行。 outputs = vllm_infer( inputs, self.make_dataset_config["model_name_or_path"], template=self.make_dataset_config["template"], temperature=0, guided_decoding_class=QaPairScore, repetition_penalty=1.2, bad_words=[r"\n"], vllm_config= json.dumps({"dtype": "float16"}) # 这里直接传递表达式的结果 )

这个功能好像astrbot有做好的插件可以用