Ryan comments

Repositories
Issues
Comments

Results 3 comments of


                                            Ryan

纯网关简化版本，专注于 API 适配

作者有时间可以参考一下 [litellm](https://github.com/BerriAI/litellm) 的设计： 1. 可用模型列表可以绑定到 team（类似 one-api 中的分组？）或者 key。 2. 日志（logging）功能可扩展，比如 key, user, model, prompt, response, tokens, cost 可以发送给第三方比如 s3/kafka，便于审计。 3. 计费功能做为商用提供支持🐶。

add support mysql and use pymysql . all test local

混元大模型hunyuan-embedding对接问题

应该是从 v0.6.10-alpha.2 这个版本开始不行的，好像是 helper.Float64PtrMax(request.TopP, 0.9999) 这个函数返回的 topP 是 null 了。