caolixiang
caolixiang
【环境】腾讯云 日本服务器 【问题】通过docker可以正常启动,可以校验api-key。但是导入数据集时,使用Chat-gpt,系统崩溃。 【尝试次数】2
### 背景 模型提供商openai、Azure、第三方等对模型的调用频次有软性设置。 比如:https://platform.openai.com/account/rate-limits 很多第三方模型提供商,可以提供10w+/秒 的GPT3.5接口请求,从费率上看,又可以放宽GPT3.5的频次。 同时,对GPT4等高消耗Token的模型设置频次限制,也是对终端用户的保护。 ### 需求 可以在用户维度(结合4.0版本特性,在用户分组(级别)维度似乎更有通用性),设置常用模型的调用频次。 如: ``` default: { 'gpt-3.5' : {2000, SECOND}, 'gpt4': {20, HOUR*3} } vip: { 'gpt-3.5' : {2000, SECOND}, 'gpt4': {60,...
### Is your feature request related to a problem? We’re using the native ILP Python client (sender.dataframe()) to ingest Polars DataFrames after converting them to Pandas. When we enable use_pyarrow_extension_array=True...