Llama.cpp 上运行问题

[32ns]

Describe the bug 我不知道在idea上是不是运行良好,但是在goland和clion上基本无法正常使用,我自己本地的模型,试了好多都是输出正常,但是无法结束,结尾会无限输出,问一个问题要重启一下IDE,1.8.3中添加的停止按钮也不能停止它,点击停止后界面是停了,但是GPU还在算,不过调用API好像没这问题,我没怎么试. 还有就是输出如果太长的话滚动条会定死在一个点,往下滑或者往上滑都会自动滚回原来的点;不等他输出完你就看不到下边的内容,但是它又不会停止,只能停掉server才能看到全部,然后再启动它; 我的server用的是llama.cpp

[phodal]

看上去像是你的模型 server 有问题，估计需要你的对应实现是否是标准 SSE 。

[32ns]

一进对java很排斥,也帮不上忙,只能接着等了

[phodal]

你说的问题，别人都没遇到过……。可能你需要提供更详细的信息，比如操作系统版本，IDE 版本等等。

[32ns]

该搞个群,能上传上视频,一看就清楚了,有问题也好反馈

[phodal]

参考：https://github.com/unit-mesh/auto-dev-vscode

[32ns]

是模型的问题,估计是llama.cpp没有适配结束符,不搞了,换成qwen就好了