MOSS
MOSS copied to clipboard
请问 moss-moon-003-sft-plugin 和 moss-moon-003-sft 的推理方式是一样的吗
没有看到moss-moon-003-sft-plugin相关的推理代码,这个插件功能是如何打开或关闭的呢,还是直接推理即可,感谢
插件需要跟后端交互时调取api,将api返回结果concat之后再发送给推理,需要修改moss inference demo
@fade-color plugin的推理和sft不太一样,需要将meta instruction中相应的插件改为enabled并给出API接口,在调用MOSS推理时格式如下:
<|Human|>: ...<eoh>
<|Inner Thoughts|>: ...<eot>
<|Commands|>: ...<eoc>
<|Results|>: ...<eor>
<|MOSS|>: ...<eom>
我们稍后会给出使用plugin的例子
好的好的,respect!
插眼,等待更新~
期待更新。
期待更新!
期待更新!
@fade-color @milk-bottle-liyu @Ch3nYe @cjrzh @firdota 插件版MOSS使用说明已经更新到README