zhongtianHU

Question about whether Yi-VL-6B can be fine-tuned using its own dataset

15

### Reminder - [X] I have searched the Github Discussion and issues and have not found anything similar to this. ### Motivation The low footprint of Yi-VL's video memory and...

[Usage] Error "KeyERROR: "LlavaMistralConfig"" in reasoning

1

### Describe the issue Issue: I downloaded llava-v1.6-mistral-7b locally, and this "LlavaMistralConfig" problem appeared when reasoning about llava-v1.6-mistral-7b, I don't know the exact reason for this, I am following the...

能否使用自己的测试集对微调后的模型进行批量推理？

18

我希望可以有一个脚本，将自己的数据集放入模型，对微调的模型进行批量预测

在网页版的demo中推理仅仅只能进行语言模型的对话，没有多模态的推理

5

例如： 我已经微调好了Yi-VL-6B，想使用网页版推理进行对话，但是推理页面没有专门的图片输入选项，只能进行chat，希望可以改进一下

[FEATURE] Quantization of the Language Model Pedestal for LLAVA Multimodal Models

1

Hi author, I appreciate your outstanding contribution to model quantization. However, after quantization using the llama2-13B-Chinese language base in llava-v1.5-13B, and reading the quantized model again using llava, I found...

FEAT: Qwen2.5 support function calling

7

### Feature request / 功能建议 希望可以尽快支持关于Qwen2.5系列模型的推理，感谢作者和所有开发团队 ### Motivation / 动机 1 ### Your contribution / 您的贡献 1

在现在的很多直播平台中，对违禁词的管控是重中之重，所以本项目有没有好的违禁词处理，将AI的文案进行违禁词删除或者检测后替换成非违禁词呢？

我遇到一个偶现问题，在本项目长时间运行的时候不会有什么问题，大约运行了1-2个月没有暂停本项目。在这两个月的时间内，这个接口最大能承受100个并发，并且不会爆显存，但是在大约两个月之后突然发送一个请求返回“200OK“后出现了报错，这个报错之后必须强制关闭本项目并且重启才能得以解决！！ 我认为，应该不会出现这种需要人工强制关闭重启才能解决的问题，问题截图和相关报错在下面，欢迎解决和讨论！！   2025-02-19 17:25:31 | ERROR | stderr | ERROR: Traceback (most recent call last): 2025-02-19 17:25:31 | ERROR | stderr | File "/root/miniconda3/envs/fastchat/lib/python3.10/asyncio/runners.py", line 44, in run...