levishen

cmake .. -DUSE_CUDA=ON ERROR

7

-- The CXX compiler identification is GNU 7.5.0 -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Check for working CXX compiler: /usr/bin/c++ -...

chinese-llama-alpaca 模型 BUG

3

如题， 会出现爆显存的问题，并打印如下错误： status = 7 2049 1 128 Error: cublas error. terminate called after throwing an instance of 'char const*' Aborted (core dumped)

Why I get the wrong output?

1

I uset the progect directly, and run the predict.py, when I give it "美国 科罗拉多州 山林 大火 持续 肆虐 TAG_NAME_EN 当地 时间 TAG_DATE 横扫 州 内 第二 大 城市 科罗拉多斯...

首token耗时

3

prompt 长度在310左右时，首个token的耗时在160ms左右， 随着prompt的长度减少，首个token的耗时也会减少 这种情况正常吗？ 在模型f16， v100 上测试