levishen
levishen
sts-b任务的数据是有label的，为什么是无监督训练呢？不解
v100 finetune.py设置load_in_8bit=False，可以正常训练 但是，推理的时候，会抱着个错误：RuntimeError: expected scalar type Half but found Float
> > @ztxz16 请帮忙看看这个小问题 V100测试LLama: [ user: "Below is an instruction that describes a task. Write a response that appropriately completes the request. > > ### Instruction: > > Building...
cuda 11.2
输入文本是： 北京有什么景点？ 长度不会超过2048呀
1. 通过在 response 接口中 限制 max_length=400, 不会出现爆显存的情况了。 2. 但是生成的内容质量很差 
使用楼主的代码测试 我的硬件环境： cuda 11.2 gcc 7.5 v100 CmakeLists.txt 文件第20行修改为：set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -pthread --std=c++17 -O2") 测试速度如下： fp16 generate token number 2330 time consume 43.830317974090576 s 18.81129526785003 ms/token int4 generate token number 2200...
> > 使用楼主的代码测试 我的硬件环境： cuda 11.2 gcc 7.5 v100 CmakeLists.txt 文件第20行修改为：set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -pthread --std=c++17 -O2") > > 测试速度如下： fp16 generate token number 2330 time consume 43.830317974090576 s 18.81129526785003 ms/token >...
使用的模型是llama-7b