Jer-y

Results 6 comments of Jer-y

> > > > > > > > > 是的,我是用的这个。 现在我用了railway来部署ChatGPT-Next-Web,同样的proxy docker,同样的环境变量设置就可以用了。 > > 谢谢, 用railway, 我这儿还是有问题。。 > > { "cause": { "errno": -3008, "code": "ENOTFOUND", "syscall": "getaddrinfo", "hostname": "https"...

> > @lzhgus > > > > * 你在填写base url的时候只需要包含域名,不要带协议头https:// > > * 我测试下来https是工作的,stream也是支持的,如果你想全部部署在Azure山的话,可以直接用[Azure Container App](https://learn.microsoft.com/en-us/azure/container-apps/overview)去部署[Azure OpenAI proxy](https://github.com/diemus/azure-openai-proxy)和 [ChatGPT-Next-Web](https://github.com/Yidadaa/ChatGPT-Next-Web) > > * 这个方案前200万次请求是免费的 https://learn.microsoft.com/en-us/azure/container-apps/billing#consumption-plan > > * 有个技巧是,你可以把container的最小instance调整到0,这意味着,只有请求过来以后才会起一个container,一段时间不用会自动scale到0,完全不收费。不过这种方式的缺点是,第一次请求的响应会有点慢。 > >...

你是说PlayGround嘛。哈哈哈哈他们都没加打字机效果的实现,另外就是代码输出都没调试过,把markdown原始内容都返回来了,我已经给开发组开了issue了,不过估计他们暂时不会修。另外我倒是同意,不用太纠结这个问题。又不是不能用.jpg

那么你的判断肯定就没错了,我下周一开个feature的work item给他们,不过,这种功能估计优先级不高,可能会拖。

@haibbo 感谢分享!星星已送出 @lzhgus 说的是是对的。我周末测了一下并和OpenAI做了比较,Azure的流式返回是一段一段地吐,虽然实际返回速度比原生的要好,但是视觉感官有点顿顿的。另外很奇怪的点是中文/日文/韩文等响应的latency比英文要高很多,这一点很费解。美国那边的PM说用的和OpenAI是同样的方案。我可以体会到追这种问题要多久。anyway,有需求的暂时就前台处理吧

前两天用GO快速地写了一个转发然后打包成Docker镜像了。 https://hub.docker.com/repository/docker/justjerry/azure-ai-proxy/general 如果有Azure订阅可以拉取镜像创建一个Azure Container Apps来做转发,这样就兼容OpenAI API的格式了。 当然,其他能host Container的云服务都可以。但是注意纯转发,没有做任何安全验证,别暴露自己的domain被薅了导致经济损失。 ![Image](https://github.com/user-attachments/assets/f6b2d181-b4d4-4420-bf30-b4d30d9e492a)