Yuxi-Know
Yuxi-Know copied to clipboard
Question: 智能体使用stream_message模式输出内容,会导致工具逻辑内有大模型调用的内容都输出到页面上
作者您好。开发过程中发现了几个问题,麻烦帮忙看下。 如题所示,智能体使用stream_message模式输出内容,会导致工具逻辑内有大模型调用的内容都输出到页面上,但是在输出完之后,调用历史记录接口获得的信息却是正常的,没有多余的大模型调用内容。是否使用stream_message模式不可解决这个问题,需要使用stream_value? 还有个问题是,切换线程和停止当前输出都会导致这个问题曾经的输出再也不可见,这样体验不太好,怎么修改可以让它变成点击停止,还保留之前输入的内容。 点击停止时,还有小概率触发因工具还未返回导致当前会话中的最后一条toolmessage没有得到回复,导致当前会话再也不可用的问题。
好问题。
能否分享一下你的工具(脱敏一下),我来测试看看。
对于关于工具那里的错误,可以在中间件中添加一个 deepagents 库中的 tool patch 什么的,这个在 deep_agent/graph.py 里面有使用示例