NeterOster

Results 10 comments of NeterOster

I believe that it's a problem of WireGuard. Edit: Change 127.0.0.1 to your LAN ip (such as 192.168.1.4) will solve the problem.

I tried this and noticed that fine-tuning `Qwen/Qwen1.5-0.5B` consumes more than 18 GB VRAM with following config. Is this expected? Config ``` #!/bin/bash CUDA_VISIBLE_DEVICES=0 python ../../src/train_bash.py \ --stage sft \...

I also met the problem and I found that after clearing the cover of the FLAC file, it can be played properly.

问一下博主,使用推荐的 **CTeX** 宏集,如何更改中文和英文字体呢。

@Liam0205 谢谢你的详细回答!

@oliverkurth 's method work for me on Arch Linux latest version with open-vm-tools installed. Thank you!

对于继续的一些讨论: ChatGPT 网页版可能有两种途径实现“继续” 1. 只是隐式的向模型发出“继续”指令,甚至直接拿当前上下文请求 2. 控制底层的 chat template,实现直接在上次生成的结尾处继续而不是新开一个 `assistant` 块 方法 2 显然无法通过 API 实现,方案 1 和直接说“继续”很可能无显著区别。 有一些 LLM 的 API 例如 claude,支持 prefill `assistant` 的回复,可能可以用于实现更可靠的继续(如下所示) ``` user: XXXX...

简单看了一下,他们应该是采用的自动插入继续的消息,不过有几个可能可以借鉴点 1. 在 assistant 后用 system 角色要求继续(可能只有部分模型能用,比如 Claude 只能有一个 system) 2. 发送的内容不止「继续」两字,还有上条回复的最后一部分,相当于做了个虚拟的 prefill 理论上感觉确实可以提高继续成功率。 参考 https://github.com/SillyTavern/SillyTavern/issues/2379