点击 “训练特征索引” 之后系统崩溃重启
使用v2版本跑的训练,前面所有的训练都没问题,当点击训练特征索引,输出信息显示training过后几秒钟,系统就直接崩溃重启了。这边也不知道哪里可以找到训练索引的log,所以无法提供日志定位问题,希望有dalao能提供帮助
系统版本:Windows 11 22H2 GPU:4090 内存:64G 磁盘剩余空间:300G+
诡异。难道是爆内存了,但是64G内存已经很大了。你的训练集有几个小时?
训练集都是小文件,总时长是一小时2分,训练前内存已经占用掉大概40G了
之前都是跑1000轮的,今天跑了个750轮的也是崩了,是训练集数据太多了的原因吗?大概有646个文件
文件缩减到了280个,跑了850轮,训练特征索引的时候还是崩溃
你的faiss是cpu版本的吗
应该是,我直接pip install -r了requirements.txt
faiss是cpu版本的,然后我发现了一个问题,150个文件总时长23分钟,跑200轮没问题,可以生成索引。之后再次训练跑到500轮生成索引就会崩溃
发现了,只有当训练集较多的时候才会出现这种问题,少的时候不会
fixed at 230618v2