SceneChangeDet icon indicating copy to clipboard operation
SceneChangeDet copied to clipboard

When are you updating the complete source code?

Open Amelia0911 opened this issue 7 years ago • 45 comments

I am very interested in your paper. I want to run your code to see the effect. If you can send me a complete project, it would be great. My email address is: [email protected]

Amelia0911 avatar Nov 07 '18 06:11 Amelia0911

@Amelia0911 hi, thanks for your interest in our work. full source code and pre-train model will be updated before 15.Nov.

gmayday1997 avatar Nov 07 '18 06:11 gmayday1997

I am glad to received your Email. Can you speak chinese? I want to ask you a few question about your paper.

At 2018-11-07 14:59:41, "gmayday1997" [email protected] wrote:

@Amelia0911 hi, thanks for your interest in our work. full source code and pre-train model will be updated before 15.Nov.

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

Amelia0911 avatar Nov 07 '18 09:11 Amelia0911

有相关问题,请讲。

gmayday1997 avatar Nov 07 '18 12:11 gmayday1997

训练过程中的输入分别是t0,t1和GT,下载的数据集中包含t1和GT,想问一下关于t0的输入方式、t0数据的组成、t0与t1是如何对应输入的?

在 2018-11-07 20:10:10,"gmayday1997" [email protected] 写道:

有相关问题,请讲。

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

Amelia0911 avatar Nov 08 '18 07:11 Amelia0911

• t0和t1是同一场景不同时刻的图像对(a pair of images/image-pair),其作为原始输入喂到孪生卷积神经网络中。具体是下图中圈的部分

gmayday1997 avatar Nov 08 '18 09:11 gmayday1997

issue

Amelia0911 avatar Nov 08 '18 10:11 Amelia0911

事实上,我们在文章的4.2.3提到过cdnet的数据组织方式 我们是从input里面选出一张最最接近背景的图片(无任何前景)作为t0,其余的作为t1. 这样做的好处是groundtruth不用做任何处理,可以直接作为change mask使用。 建议你去看看PCD数据集,那个结构比较清晰。 http://www.vision.is.tohoku.ac.jp/us/research/4d_city_modeling/pano_cd_dataset/

gmayday1997 avatar Nov 08 '18 11:11 gmayday1997

谢谢您的回复,我再好好看一下实验部分的内容,如果有什么问题还得请教。希望代码早一点更新,可以看一下效果。再次感谢。

在 2018-11-08 19:31:02,"gmayday1997" [email protected] 写道:

事实上,我们在文章的4.2.3提到过cdnet的数据组织方式

我们是从input里面选出一张最最接近背景的图片(无任何前景)作为t0,其余的作为t1. 这样做的好处是groundtruth不用做任何处理,可以直接作为change mask使用。 建议你去看看PCD数据集,那个结构比较清晰。 http://www.vision.is.tohoku.ac.jp/us/research/4d_city_modeling/pano_cd_dataset/

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

Amelia0911 avatar Nov 09 '18 00:11 Amelia0911

还没更新啊~~~

Amelia0911 avatar Nov 15 '18 12:11 Amelia0911

抱歉,最近有个紧急的事耽搁了,这个事情要19号完成。不好意思。

gmayday1997 avatar Nov 17 '18 02:11 gmayday1997

hello,我等的花都谢了~

Amelia0911 avatar Nov 27 '18 01:11 Amelia0911

事实上,我们在文章的4.2.3提到过cdnet的数据组织方式 我们是从input里面选出一张最最接近背景的图片(无任何前景)作为t0,其余的作为t1. 这样做的好处是groundtruth不用做任何处理,可以直接作为change mask使用。 建议你去看看PCD数据集,那个结构比较清晰。 http://www.vision.is.tohoku.ac.jp/us/research/4d_city_modeling/pano_cd_dataset/

 请问groundtruth输入是3通道还是1通道?

raytrun avatar Dec 05 '18 02:12 raytrun

事实上,我们在文章的4.2.3提到过cdnet的数据组织方式 我们是从input里面选出一张最最接近背景的图片(无任何前景)作为t0,其余的作为t1. 这样做的好处是groundtruth不用做任何处理,可以直接作为change mask使用。 建议你去看看PCD数据集,那个结构比较清晰。 http://www.vision.is.tohoku.ac.jp/us/research/4d_city_modeling/pano_cd_dataset/

 请问groundtruth输入是3通道还是1通道?

hi, 我们已经把cd2014的数据集分享到百度云,又需要请下载 https://pan.baidu.com/s/19ReVH6pmizcU79sk2Rsz5w。

gmayday1997 avatar Dec 08 '18 08:12 gmayday1997

你好,我之前用date2014里的数据进行训练和测试效果都挺好的,但是我现在的输入图像尺寸是413*134,结果验证保存的图像显示fc与embedding都没有输出了。这是为什么呢?我试着修改了网络中conv3中的stride值,将值变为1,也是没有效果。我应该如何调整训练参数呢?

Amelia0911 avatar Jan 15 '19 11:01 Amelia0911

你好,我之前用date2014里的数据进行训练和测试效果都挺好的,但是我现在的输入图像尺寸是413*134,结果验证保存的图像显示fc与embedding都没有输出了。这是为什么呢?我试着修改了网络中conv3中的stride值,将值变为1,也是没有效果。我应该如何调整训练参数呢?

应该不是分辨率的问题,可能是你数据量少吧。如果是的话,做 data augmentation. 如果不是,看loss下降情况,先调整初始学习率。

gmayday1997 avatar Jan 15 '19 12:01 gmayday1997

最开始我用的是dataset2014中的PTZ中的twoPositionPTZCam,共460张,从验证的10张图片来看,训练效果还不错。用自己的图片训练,loss值最开始1~2epoch降,后面就没有明显的下降,将学习率调小也没有变化。 这是PTZ的效果。 in001520 in001520 这是我的图的conv5的效果: left_behind_2019_01_08_2296 left_behind_2019_01_08_2296 left_behind_2019_01_08_2296

Amelia0911 avatar Jan 16 '19 01:01 Amelia0911

如果我没理解错的话,只有conv5有输出,最后两个没有输出内容。最开始浅层特征有多层监督信息,深层收敛慢于浅层,所以conv5最容易收敛。但深层特征经过几个epoch也会收敛。 你观察一下,深层的loss是不是一直不降? 试一试调整不同层loss的权重,看有没有效果。

gmayday1997 avatar Jan 16 '19 07:01 gmayday1997

确实如您所说的,我之前只打印了loss的均值和embedding的loss。那这个loss的权重是要怎么定才合理呢? 2019-01-16 16-13-14

Amelia0911 avatar Jan 16 '19 08:01 Amelia0911

看loss问题应该出现在fc层上,loss下降的很慢,权重设置多少要试,我也不是很确定。

gmayday1997 avatar Jan 16 '19 08:01 gmayday1997

@Amelia0911 或者调整fc学习率,目前只是为embedding层设置了10倍学习率。

gmayday1997 avatar Jan 16 '19 08:01 gmayday1997

修改了学习率和系数之后明显好多了,目前就是loss收敛过程中呈上下跳动,且幅度挺大的,不过绘制了曲线发现走势是好的,现在已经把学习率调小并且把batch_size设为4,loss看起来正常多了。阿里嘎多!

Amelia0911 avatar Jan 17 '19 08:01 Amelia0911

请问如果想检测其他类物体的变化,是否需要使用该类物体的标注数据重新训练网络?谢谢。

XinZhangRadar avatar Jan 29 '19 15:01 XinZhangRadar

@Amelia0911 你好,我同样用twoPositionPTZCam中的700多张图像做训练,源码基本没改动,但是模型好像没有学习的趋势,changemaps都是一片蓝,loss也没有下降的趋势,请问你对代码有做什么改动吗,label是用gtbinary吗 Edit: 自己改了改模型和超参数,可以训练了

stillwaterman avatar May 23 '19 03:05 stillwaterman

When I use the t dataset, I get the following error, how do you do it? thank you ! NotImplementedError: Got 5D input, but bilinear mode needs 4D input Position in "utils line 227" I want to know the format of your trainval.txt,may be i am wrong

xiaoyige99 avatar May 29 '19 08:05 xiaoyige99

@Amelia0911 你好,我同样用twoPositionPTZCam中的700多张图像做训练,源码基本没改动,但是模型好像没有学习的趋势,changemaps都是一片蓝,loss也没有下降的趋势,请问你对代码有做什么改动吗,label是用gtbinary吗

Hello, I also want to try to feed the neural network with hundreds of images from CD2014, but it seems that there is a problem with the format of train.txt, even though I just deleted some of the contents of train.txt, but tried many times. There will be problems, but the original train.txt can be used, I would like to ask how you do it, if you can share your data screenshots and txt documents, thank you. My email: [email protected] 图片

xiaoyige99 avatar May 30 '19 00:05 xiaoyige99

@gmayday1997 你好,非常感謝你的工作,我在執行該code時運行非常慢,請問你在訓練的時候一個epoch要多久呢,我執行python train.py,一個小時都沒有跑完一個epoch,如下圖: 123Capture 我的電腦配置如下: Ca33pture 請問程序執行很慢,是什麼原因呢,謝謝。

124399839 avatar Jun 10 '19 06:06 124399839

@gmayday1997 我將程序 if (batch_idx) % 1000 == 0: model.eval() current_metric = validate(model, val_loader, epoch,save_change_map_dir,save_roc_dir) 改爲 if (batch_idx + 1) % 1000 == 0: model.eval() current_metric = validate(model, val_loader, epoch,save_change_map_dir,save_roc_dir) 這樣在batch_idx=0時就不執行eval, 我發現在執行current_metric = validate(model, val_loader, epoch,save_change_map_dir,save_roc_dir)時非常慢,請問這樣正常嗎?Tanks.

124399839 avatar Jun 10 '19 08:06 124399839

@Amelia0911 @raytrun @XinZhangNLPR @stillwaterman 請問你們在訓練的時候是不是也非常的慢,你們有什麼解決方法嗎?另外可以分享一下cdnet2014訓練的model麼。謝謝, 我在使用cdnet2014訓練model,現在訓練的速度非常慢,而且還有如下error, Epoch [0/27990] Loss: 2006.7865 Mask_Loss_conv5: 177.4561 Mask_Loss_fc: 1743.4923 Mask_Loss_embedding: 85.8382 Exception RuntimeError: RuntimeError('main thread is not in main loop',) in <bound method PhotoImage.__del__ of <Tkinter.PhotoImage instance at 0x7f78b8226950>> ignored Tcl_AsyncDelete: async handler deleted by the wrong thread Aborted (core dumped) 請問你們有沒有遇到呢,謝謝。

124399839 avatar Jun 11 '19 07:06 124399839

修改了学习率和系数之后明显好多了,目前就是loss收敛过程中呈上下跳动,且幅度挺大的,不过绘制了曲线发现走势是好的,现在已经把学习率调小并且把batch_size设为4,loss看起来正常多了。阿里嘎多!

@Amelia0911 I have been using google translate to read this page as I am having issues training. I was wondering if you could list what changes to the code you made so that I could try them? I plan on using google translate to translate this message, but I wanted to leave the English version in case there are problems with the translation.

Google Translate: 我一直在使用谷歌翻译阅读此页面,因为我有问题培训。 我想知道你是否可以列出你所做代码的哪些更改,以便我可以尝试一下? 我计划使用谷歌翻译来翻译此消息,但我想保留英文版以防翻译出现问题。

ahfriedman avatar Jul 08 '19 16:07 ahfriedman

When I use the t dataset, I get the following error, how do you do it? thank you ! NotImplementedError: Got 5D input, but bilinear mode needs 4D input Position in "utils line 227" I want to know the format of your trainval.txt,may be i am wrong @xiaoyige99 我遇到了同样的问题。你解决掉了吗

zjz5250 avatar Jul 23 '19 09:07 zjz5250