selfhostedAI issues

[Feature Request] Support InternLM

Dear selfhostedAI developer, 我是 InternLM 社区开发者&志愿者尖米, 大佬开源的工作对我的启发很大，希望可以探讨使用 InternLM 实现 selfhostedAI 的可能性和实现路径，我的微信是 mzm312，希望可以取得联系进行更深度的交流； Best regards, 尖米

JimmyMa99

llama-7b运行成功但是无法在插件正确显示

1

使用llama-7b-4int模型后，终端运行成功插件选择自定义模型后，提问报错：错误: Cannot read properties of undefined (reading '0') 我看了终端，是有回答的，但是插件是无法显示吗？

blpcx

Slow performance on NVIDIA MX450 GPU - Possible to optimize or downsize the model for ordinary users?

3

I am using an NVIDIA MX450 GPU on my laptop and was excited to try your selfhostedAI project. After installing GCC and CUDA 11, I managed to get it running....

brynne8

请问一下，如果用POSTMAN来调用，如何传参呢。

3

在本地已经跑起来了，效果不错用POSTMAN来调用，如何传参呢。非常感谢

heiheiheibj

OutOfMemoryError: CUDA out of memory

5

``` File "C:\Users\sicma/.cache\huggingface\modules\transformers_modules\local\modeling_chatglm.py", line 277, in attention_fn attention_scores = attention_scores * query_key_layer_scaling_coeff torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 116.00 MiB (GPU 0; 6.00 GiB total capacity; 5.07 GiB...

Sicmatr1x