Mingzhou He

好的 https://github.com/DocF/multispectral-object-detection 顺便请问一下你们CVF openaccess的文章能提供一下吗？

目前从你们homepage取得的应该是最新的吧，顺便请问一下新老数据有没有明显的区分方式

请问下你们训练时的配置，什么显卡，最后是用的best.pt吗？ 我在yolo上跑，自己用的rtx3090 imgz=1280 batchsize=8,我跑出了下面的结果，这个结果较高，我有点怀疑我的实验结果  我是用的best.pt基本上在50个epoch内就能取到了。 

会不会是因为作者用的1024img_size丢了信息，LLVIP paper用的1280

  @DocF 这是我在yolov5上跑的红外单模态，为什么IR的指标都优于了融合后

@zjh21 您好，请问您有试过只用yolov5各模态单独跑吗，对于红外这个模态，无论是yolov5 5.0还是6.1版本，我都能跑出比作者给出的高得多的指标，甚至超过了融合的方法，请问你有这种情况吗

> 谢谢你的回复。 > 我是在训练的时候把data里的path换位置。效果就是在论文里面上面分支是RGB，下面是IR。我如果反过来，上面是IR，下面是RGB，训练结果应该是一样的。但是，实际情况是IR在上面比RGB在上面结果好。 > 我分析原因是你用的上面分支的label作为最后的label，IR的视野相对大一些，所以换过来效果会好。不知道理解的对不对。 > 直接用训练好的换过来肯定不行呀。。。 请问下你说的这个IR视野要大一些是什么意思? 我阅读了作者的代码，我觉得造成这个原因可能是因为加载coco预训练参数的原因。因为实际上应该只加载了model中0-4层的权重（因为模型从第5层加入融合模块导致结构开始改变了，weights中的k,v对不上了不能加载），也就是只有网络的上半分支的第一个融合点前使用了预训练参数。所以你将红外放到上面去后，红外这个强模态用了这个预训练参数，比RGB用效果提高了（说明COCO的这个预训练参数很好用）。 如果上下分支融合前的模块，也就是RGB和红外都能用上这个预训练的权重，指标应该还有提升。

i find the reason. i use RTX3090, must run in env >CUDA11. How can I use pytorch1.9?

> > > @zjh21 您好，请问您有试过只用yolov5各模态单独跑吗，对于红外这个模态，无论是yolov5 5.0还是6.1版本，我都能跑出比作者给出的高得多的指标，甚至超过了融合的方法，请问你有这种情况吗 > > > > > > 我也发现了这个问题，我跑的是FLIR数据集，图片大小都是320*320，预训练权重都是COCO上的yolov5l.pt 同样发现单模态表现比坐着提出的融合方法要好 同时还发现将双流网络输入全部设置为可见光比输入为可见+红外的效果要好 > > 请问您指标会达到多少？FLIR是一个比较困难的数据集，里面有大量的并排车辆，而且有标注错误（我尝试重标过1000张左右，后面放弃了），很多目标人都很难以分辨，CFT的40.0mAP已经是不容易取得的了。单纯使用yolov5，单模态达到高很多的得分有点让人吃惊，ECCV 2022的一篇ProbEn能达到80+的mAP50，注意是mAP50，不是mAP。 全部设置为可见光是重新训练了还是仅作测试？这是个值得研究的问题。一方面，FLIR数据集的可见光图像也能提供不少信息，我自己标注的时候经常会参考它。但是，另一方面，原始标注是按IR图像给的，也就是：有些在RGB图像中很明显的目标，因为它在IR图像中不明显，所以没有被标注。这在训练过程中会误导模型，测试时则会拉低mAP。 ECCV那篇Proben用的FLIR数据集版本不同

> > > > @zjh21 您好，请问您有试过只用yolov5各模态单独跑吗，对于红外这个模态，无论是yolov5 5.0还是6.1版本，我都能跑出比作者给出的高得多的指标，甚至超过了融合的方法，请问你有这种情况吗 > > > > > > > > > 我也发现了这个问题，我跑的是FLIR数据集，图片大小都是320*320，预训练权重都是COCO上的yolov5l.pt 同样发现单模态表现比坐着提出的融合方法要好 同时还发现将双流网络输入全部设置为可见光比输入为可见+红外的效果要好 > > > > > > 请问您指标会达到多少？FLIR是一个比较困难的数据集，里面有大量的并排车辆，而且有标注错误（我尝试重标过1000张左右，后面放弃了），很多目标人都很难以分辨，CFT的40.0mAP已经是不容易取得的了。单纯使用yolov5，单模态达到高很多的得分有点让人吃惊，ECCV 2022的一篇ProbEn能达到80+的mAP50，注意是mAP50，不是mAP。 全部设置为可见光是重新训练了还是仅作测试？这是个值得研究的问题。一方面，FLIR数据集的可见光图像也能提供不少信息，我自己标注的时候经常会参考它。但是，另一方面，原始标注是按IR图像给的，也就是：有些在RGB图像中很明显的目标，因为它在IR图像中不明显，所以没有被标注。这在训练过程中会误导模型，测试时则会拉低mAP。 > >...