Peter
Peter
> Hi, this is a wonderful project, but I have a question about after trained my own data and got the best model, how can I use the trained model...
这个错误通常发生在使用PyTorch框架进行深度学习模型训练时，特别是在尝试使用半精度浮点数（‘Half’，即16位浮点数）进行矩阵乘加操作（addmm）时。半精度浮点数是一种用于加速计算和减少内存占用的技术，但它并不支持所有的操作。 为了解决这个问题，你可以考虑以下几种方法： 使用全精度浮点数（‘Float’）： 将模型和数据类型转换为全精度浮点数，通常是32位浮点数（torch.float32 或 torch.FloatTensor）。这样可以确保所有的操作都是支持的，但是会增加内存使用和计算时间。 # 例如，将一个张量从半精度转换为全精度 tensor = tensor.to(dtype=torch.float32)
> 如下错误：请问如何处理。label为灰度图像，img为rgb RuntimeError: stack expects each tensor to be equal size, but got [1, 512, 512] at entry 0 and [1, 512, 512, 512] at entry 7 解决了吗？我和你的错误一模一样
> 同问，使用SFT或者LORA的脚本训练后，生产出的模型需要怎么进行Chat或者推理？似乎没办法再用model.chat的方式了，是不是需要对输入做一些前置处理？ 试试下面的代码： import torch from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer path = '/mnt/ly/project/MiniCPM/models/MiniCPM' # 替换你的基础模型路径 device = torch.device("cuda:2" if torch.cuda.is_available() else "cpu") # 一张显卡就 cuda:0 #...
15000step应该数据集一次还没迭代完吧？batch_size是1的话，并且使用一张卡。你的epoch=8是怎么算出来的？我现在也在微调，还没跑完，不知道结果怎么样呢。出来结果了我们可以对照一下
这是我训练的模型，输出也很烂，不知道是为什么？ 
有没有试过全量微调啊，用float32的话大概需要多少显存？