skyantao

我用的lora ,训练集较小 600条测试，很快loss就到0.01， 是不是越小越好？

我内存不够，长度太长OOM了，等新设备中

@gg22mm ，兄弟，你这是自己训练，不是微调？ 用了多少设备，我的手上也有很多数据，但是不敢动

@gg22mm ，对了，我用lora 测试的结果反推你的情况，应该是 batch_size 和maxstep关系不对，你的size是1 ，一个epoch 700W 数据 应该是700W step。 我600条数据，size = 3 ， 训练200步是一个epoch , 所以加大显存，加大size , 减少步数，至少应该跑完1个epoch吧。我不知道我的推断是否正确，供参考

不要用他的安装方法 ，先uninstall 然后 pip install auto-gptq optimum

我是windows 的cuda 117, ******************************************************************************** python setup.py install running install D:\ProgramData\anaconda3\envs\cpm\lib\site-packages\setuptools\_distutils\cmd.py:66: SetuptoolsDeprecationWarning: setup.py install is deprecated. !! ******************************************************************************** Please avoid running ``setup.py`` directly. Instead, use pypa/build, pypa/installer, pypa/build or other standards-based...

windows就放弃了吧，我是wsl2安装， 1. 先安装cuda 驱动，注意适配，我是适配的 wsl Ubantu 3. 然后conda ， 3. 然后 torch 注意版本匹配，我是cuda 11.7 4. 然后 requirements.txt 5. bmtrain 编译慢，pip 还要卡很久

@xiaoguaishoubaobao, 我是wsl2 Ubantu 22.04 注意torch 安装 python = 3.9.16 pip install torch==1.13.0+cu117 -f https://download.pytorch.org/whl/torch_stable.html 其余的没啥了 import torch torch.__version__ 输出 torch 1.13+ cu11.7 翻译没测试，续写好像 10多秒 GP100 16G， 显卡有点老

> 您好，下图是我用vit-H-14模型运行的结果，其中斑马、蓝色交通工具，小女孩是在图库中真实存在的，其它几类是不存在的。斑马和蓝色交通工具的线看上去可以用某个阈值区分，但是小女孩这个搜索就不是很合适用同一个阈值来划分。从更多的数据看，感觉很难找到一条阈值线来区分匹配和完全匹配。  我这里也出现不匹配的情况，很多模糊或黑场的画面会被检索出来而且得分靠前，我想通过finetuning对这些图片标注，但是感觉没有效果，而且从前正确的图片感觉精确度也会下降。