Time-Series-Library icon indicating copy to clipboard operation
Time-Series-Library copied to clipboard

异常检测结果复现对不上

Open FireAngelx opened this issue 7 months ago • 3 comments

https://github.com/thuml/Anomaly-Transformer/issues/14 这个我也看了之前Anomaly Transformer的解释,大概能理解指标有变动的原因,但是横向对比几篇论文,指标完全对不上。比如Anomaly Transformer那篇,五个数据集Pre Rec F1全在90以上,到TimesNet这篇论文上已经完全不行了。评测方式有改动可以理解,但是还是希望给出某个指标值是怎么算出来的,很多论文指向仓库都是这个,但是脚本复现的结果似乎完全对不上,环境是按照requirement.txt配置的,使用scripts/AD下面的脚本,甚至普通Transformer的指标比Autoformer和FEDformer的都要高,我自己搓了一个头用DataEmbedding,中间两层Linear的简单模型,训练后测试下来结果也比Autoformer和FEDformer要好。 测下来只有TimesNet的结果和论文中是基本一致的。

FireAngelx avatar Jul 30 '25 05:07 FireAngelx

比如就TimesNet这篇论文,FEDformer在SMD上能跑到85,但是用这个仓库里面的脚本怎么改都只能到72左右

FireAngelx avatar Jul 30 '25 05:07 FireAngelx

为什么我在做异常检测使用Timesnet的时候,训练有损失值,但是测试的时候变成NAN了

Uncle-George-13 avatar Oct 11 '25 09:10 Uncle-George-13

为什么我在做异常检测使用Timesnet的时候,训练有损失值,但是测试的时候变成NAN了

这个不太清楚,我在自己跑模型的时候会出现精度降到fp16会出现NAN的问题,一般用bf16或fp32跑是不会出现NAN的,用默认的脚本没有问题,我自己改了一些参数或者用自己的模型跑也不会出现

FireAngelx avatar Oct 13 '25 10:10 FireAngelx