skyantao

微调训练的几个疑问

3

1. 小样本微调后，是否会影响原来的准确性？ 我们实测有影响，场景为：部分图片例如很暗的图片检索会匹配多种语义，所以我们进行了标注，基于数据集进行微调，微调后发现其他图片准确度也下降了 2. 如果问题1存在，有没有解决办法？ 3. 能否联系微调，例如对成都标志性建筑进行训练，基于训练好的模型A，继续对重庆的标志性建筑训练，得到模型B 以后基于B 就可以持续识别成都和重庆的特定建筑场景

💡 [REQUEST] - 推理加速框架

6

### 起始日期 | Start Date 01062024 ### 实现PR | Implementation PR Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒 ### 相关Issues | Reference Issues 5️⃣ ### 摘要 | Summary Qwen-VL 有加速框架吗？如vLLm 或者...

Notice: In order to resolve issues more efficiently, please raise issue following the template. （注意：为了更加高效率解决您遇到的问题，请按照模板提问，补充细节） ## ❓ Questions and Help 我的系统有GPU，也安装了 onnx_gpu, 但是全部使用的是CPU，我需要用GPU onnx 1.16.1 onnxruntime 1.19.0 onnxruntime-gpu 1.18.1 model_dir...

### Proposal to improve performance  I use vllm as backend to test the perdormance my question is : 1. when GPU kv cache useage is 100% , waiting reqseq...