ExploreUniverser
ExploreUniverser
Are the calculations for Kzx the same in class Conv with RBF basekern and class ConvRBF? If that true,can I have a idea that what really works in the result...
我在hugging face上下载的模型与代码，但是按照示例代码运行时， model.chat(video_path=video_path,...)这一行代码报错，出现了TypeError: chat() got an unexpected keyword argument 'video_path'的错误； 并且我在使用image_processor = model.get_vision_tower().image_processor也会报错'InternVLChatModel' object has no attribute 'get_vision_tower'。我想是不是该模型的部分代码是不是上传错误了（例如上传成InternVL2.5的代码了？）。 作者大大看下是不是真的代码上传错了。。。
任务背景： 我做了一个目标检测任务，其中包含多项目标检测类别，该任务中的类别大部分是一些事件（特定场景中的人或物满足某种状态）。 使用模型：InternVL2_5_MPO 训练阶段，设计训练prompt： 由于这些类别大部分都是事件，比较特殊，并不类似于“猫”、“狗”等通用类别；进而，该任务的类别需要精准描述且描述语句通常较长；因此，为了减少模型预测时的输入token数，训练样本的prompt采用都两轮对话的形式：先询问并回答类别定义，后询问并回答类别坐标框（模型预测时只使用后者问答，以减少输入token）。 训练prompt示例: [{"from": "human", "value": "在xxx场景中，以下事件的定义是什么？请使用json格式回答：\n事件a\n事件b\n事件c"}, {"from": "gpt", "value": "{'事件a': '事件a的定义或描述', '事件b': '事件b的定义或描述', '事件c': '事件c的定义或描述'}"}, {"from": "human", "value": "\n请查看图像，根据xxx场景下的事件定义，提供下列所有事件的区域的边界框坐标（未发生事件的边界框坐标为空）：\n事件a\n事件b\n事件c"}, {"from": "gpt", "value": "事件a[]\n事件b[[110,220,330,440]]\n事件c[[110,220,330,440],[10,20,30,40]]\n"}] 另外，为了提高模型对单个事件的理解，我会放入对单个事件的问答，prompt格式如上。 验证阶段结果： 单个事件检测：precision精准度低，recall召回高。我发现bbox框中的错误情况有两种：1....
问题1：你们做目标检测训练时，是否只使用了文本相关loss进行训练，而没有视觉相关loss？ 问题2：多类别多框的训练样本是否应该这么写： ```python dog(1,2),(3,4)(5,6),(7,8),cat(2,4),(6,8)(3,5),(7,9) ``` 问题3：传统目标检测中，会按照1:3配比训练正负样本，请问qwen训练时，负样本怎么写？是否可以类似： ```python dog(1,2),(3,4)(5,6),(7,8),cat(),() ``` 问题4：垂域中的事物有时候定义或者描述复杂，仅仅使用几个字难以概括，是否可以使用两轮对话形式进行训练，即第一轮说明事件名称下的精确定义，第二轮标出坐标框。在模型使用时，只需要问事件名称就行。 ```python "conversations": [ { "from": "user", "value": "在xxx场景中，以下事件的定义是什么？请使用json格式回答：\n事件a\n事件b" }, { "from": "assistant", "value": "{'事件a': '事件a的定义或描述', '事件b': '事件b的定义或描述'}" }, { "from":...