在线推理处理数据的最大限制

[sunyinggang]

想了解一下，在线推理有没有数据大小的限制，我是用自定义adapter，然后使用文件的方式，guest和host都是5w条数据就报错了，报错为： 2022-08-18 03:04:55,807 [ERROR] c.w.a.f.s.g.p.GuestBatchInferenceProvider(AbstractServiceAdaptor.java:143) - do service fail, cause by: host return code 605 host msg :grpc unaryCall error 82.156.250.29:8869

想问一下是不是目前在线预测达不到5w条

[forgivedengkai]

批量预测一次预测量不建议太大，太大的可以拆分成多批进行 ，比如每个批次1000条以下，太大的数量计算时间已经完全超过了rpc的超时时间，如果要进行一次万以上记录的预测，是否可以考虑离线预测？