Yiming

rr 模式下，qps 不变，rpc 下游节点增多时，平均耗时和99线耗时明显上升

17

实现了基于 length + body 的自定义协议，使用 rpc press 压测发现，下游只有一个节点时，时耗稳定并且耗时很小，如果增加下游节点（使用 rr 模式），耗时99线明显上升。 下游节点机器、性能、网络均大致相同，正常情况下处理时耗较短，并且耗时高的 ip 均匀分布。 **以下是 1 个下游节点的测试情况：** =========================================================================== 2022/07/04-15:38:47 sent:3001 success:3002 error:0 total_error:0 total_sent:261105 2022/07/04-15:38:48 sent:3001 success:3001 error:0 total_error:0 total_sent:264106 2022/07/04-15:38:49...

How to set request id in Generate？

3

This doesn't seem to work /v2/models/ensemble/generate ``` { "text_input": "...", "parameters": { "id": "123", }, "sequence_id": "456" } ``` verbose log: 

Continue 中代码补全不正确

1

![Uploading 1725936272689.jpg…]()

fix: Properly set engine_id when using multi connector in dynamo

1

Currently, when NixlConnector is used in MultiConnector, the NixlConnectorScheduler and NixlConnectorWorker on the same node will be set to different engine_ids, resulting in the corresponding engine_id being unable to be...