aiXcoder-7B icon indicating copy to clipboard operation
aiXcoder-7B copied to clipboard
verified publisher icon aixcoder-plugin

sess_megatron.py 这个类中，如果要改成可多并发而且是流式输出的应该怎么写

Open lwinhong opened this issue 1 year ago • 0 comments

sess_megatron.py 这个类中，如果要改成可多并发而且是流式输出的应该怎么写

看到def run_infer(）函数有一个while True: 循环收集数据

lwinhong avatar Apr 13 '24 11:04 lwinhong