DeepRec
DeepRec copied to clipboard
为什么说“当前Inference场景中,无论用户直接使用TFServing还是使用TF提供的C++接口调用Session::Run,都无法实现多个Session并发处理Request”
The DeepRec docs are open source! To get involved, read the user documents: https://deeprec.readthedocs.io/en/latest/index.html
URL(s) with the issue
Description of issue (what needs changing)
如题, 文档里看到这句话, 是指Session::Run内部有锁之类的操作, 使得统一时刻发出的多个Session::Run调用必须排队吗?
求指明什么地方有这种限制,看了半天tf代码没发现不对劲的地方🤦