rufeng-h

> demo样例 from modeling_chatglm import ChatGLMForConditionalGeneration from tokenization_chatglm import ChatGLMTokenizer import gradio as gr > > model_path= r'chat-GLM' #tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) #model = AutoModel.from_pretrained(model_path,trust_remote_code=True).half().cuda() tokenizer = ChatGLMTokenizer.from_pretrained(model_path, trust_remote_code=True) model...

> 它每年都不一样的规定，这个人为情况太多，程序是很难应对的 大概是每年11月12月会公布下一年的放假安排，就是说每年都要定时维护一次

> 解决了吗，我加载成功了，但一直卡在推理

> 请问Llama2-Chinese-13b-Chat支持流式输出吗？或者应该怎么修改能让模型支持流式输出呢 IteratorTextStreamer

> 请问导入的是官方的QWen模型吗？ 是的，之前hugging face上下载的Qwen-7B-Chat

> @rufeng-h 可以试一下最新PR中的修改 这样写可以避开这个问题

今天测试的时候发现升级transformers到4.33后from_hf方法会报错，降级到4.32.0后正常 

> 大模型使用的是 qwen 7b-chat 当 self.chat_messages = [] 为空时, 工具tools 是正常调用的, 但是只要传入消息的上下文, 就会影响工具调用. > > ```python > self.chat_messages.append({'role': 'user', 'content': question}) > #...... > response = self.agent.run(messages=self.chat_messages) > ``` 我也碰到了这个问题，在尝试解决方案...

> > 传入历史对话的时候，有保证把历史对话中的“工具调用”信息也带上吗（即包括 function_call 或 role=function的messages）？模型有学习历史对话的倾向，这意味着：如果存在“需要调用工具、但是却没有调用工具的messages”的历史上文，则接下来模型会被误导、导致不调用工具。 > > 是不是需要将system放到messages列表的最前面，我之前的排列顺序是history->system->user，刚才修改了一下顺序，改成了system->history->user似乎起作用了。 我试了这样操作，但是历史对话信息没学习到，比`把历史对话中的“工具调用”信息带上`的效果差很多

> 传入历史对话的时候，有保证把历史对话中的“工具调用”信息也带上吗（即包括 function_call 或 role=function的messages）？模型有学习历史对话的倾向，这意味着：如果存在“需要调用工具、但是却没有调用工具的messages”的历史上文，则接下来模型会被误导、导致不调用工具。 还有一个问题想请教一下，一旦使用function_call，就没法流式输出给用户了，但是我使用过通义千问和智普清言网页版，似乎是同时支持了工具选择和流式输出的，想请教一下实现思路