omer

在机器上执行cmake -j步骤时报错

19

1. 在Ubuntu 20.4的Docker容器上编译安装 2. GCC 9和GCC 11版本都试过了，一样的报错 3. 机器是老的Dell R720，可能CPU比较老 麻烦帮忙看下 ``` In file included from /usr/lib/gcc/x86_64-linux-gnu/11/include/immintrin.h:47, from /root/app/fastllm/include/utils/utils.h:21, from /root/app/fastllm/src/fastllm.cpp:5: /usr/lib/gcc/x86_64-linux-gnu/11/include/avx2intrin.h: In member function 'void fastllm::Data::CalcWeightSum()': /usr/lib/gcc/x86_64-linux-gnu/11/include/avx2intrin.h:119:1: error: inlining...

运行一段时间后偶发异常terminate called after throwing an instance of 'char const*'

2

使用chatglm-6b-int8.flm在24G的GPU上运行，理论上内存是足够用的。 但是运行一段时间后会异常，控制台报错： terminate called after throwing an instance of 'char const*' python会进入状态，挂住。 请问： 1. 是否有其他的详细日志供排查分析？ 2. 进入这个状态后，是否有办法自动重启？

请教一下有适合的CPU推理加速的框架么？

1

有一些项目环境没有GPU，想请问下如果用CPU跑XLNet，有推荐的加速框架么？

Support ModelName Settings

2

User can config the `Model Name` in Settings to test GPT4-o or other new models like below:  and the default value keep the same as before. for #90

To accommodate new models, allow users to set `ModelName` themselves.