XiongZhongBo
XiongZhongBo
> 增加 --max_source_length 和 --max_target_length 这个加在哪里,训练的时候吗
同样的问题lora训练后,上下文效果消失了
没那么智能,需要无穷limit方法.
输入限制长度的.智能足够.
> api里修改model.chat为model.stream_chat，然后前端做一些流式设置 好的，谢谢。
> api里修改model.chat为model.stream_chat，然后前端做一些流式设置 有例子嘛。写了下各种报错。
后端代码 # -*- coding: utf-8 -*- from fastapi import FastAPI, Request from transformers import AutoTokenizer, AutoModel import uvicorn, json, datetime import torch from peft import PeftModel from fastapi.middleware.cors import CORSMiddleware...
我已经解决，重新手写一个解决了。
Event Stream Example // 获取用于显示消息的 DOM 元素 var messagesDiv = document.getElementById('messages'); fetch('http://127.0.0.1:8888/stream/721d95ac31da59fa022ec8c12f72f597', { method: 'POST', headers: { 'Content-Type': 'text/event-stream', 'Authorization': 'your-authorization-token' }, body: JSON.stringify({ /* request body data */ }) ...