Simon

希望增加一个选项 支持 API GPT-4 support

3

现在OpenAI API GPT-4 接口逐步开放了，希望可以支持 API GPT-4 接口。

用 accelerate 多模式微调模型，多卡使用异常。

2

用 accelerate 普通的多卡模式可以微调模型，但是采用 deepspeed 与 dsdp 就都不行。 微调配置 ``` accelerate launch --config_file accelerate_config.yaml src/train_sft.py \ --do_train \ --dataset self_cognition \ --finetuning_type lora \ --output_dir checkpoint \ --overwrite_cache \ --per_device_train_batch_size 8...

If possible, could support for this model be added to ollama? `https://huggingface.co/BoloniniD/internlm2-chat-20b-gguf `

Use cloudflared Tunnels to publish ollama service ports, with clients returning with no messages

4

The cloudflared Tunnels are used to publish the ollama service port, and the client uses the enchanted-llm app for the dialogue, with no messages returned. But without cloudflared Tunnels, everything...

应用程序监控是否可以通过自定义的设置的方式进行扩展监控。

1

如设置对应程序名称、执行命令（启动、停止、重启）、日志地址、运行目录、备份信息等。

日志采集是否可以设置自定义采集规则

1

是否可以增加日志采集规则，对应名称以及文件地址目录。在根据采集规则下发到对应的Host 主机上。

扩展指标 是否可以自定义指标获取方式

1

扩展指标 是否可以 exec 或者 shell 获取相关指标，例如某个进程或者应用的链接数。某个服务的服务状态或者指标监控。

数据备份 扩展备份的方法方式

1

是否可以扩展支持自定义的数据备份方式，或者自定义备份命令 Shell 方式。

[Usage]: Please provide the environment variable that closes the KoboldAI Lite page.

1

### Your current environment ```text Please provide the environment variable that closes the KoboldAI Lite page. ``` ### How would you like to use Aphrodite? Deploying aphrodite-engine with docker compose