Lukangkang123

> 1.python preprocess.py -train_src xxx -train_tgt xxx -dev_src xxx -dev_tgt xxx -save_data 222 2.python train.py -data_path 222 -model_path 333 3.w_q = Linear([d_model, d_k * n_heads]) ----> w_q = Linear(d_model, d_k...

200人也不会同时访问吧

> [HL0718](/HL0718) 应该不会的，我用的是80G的A800。可以把batch调到300左右。你可以根据你的显卡来调整MAX_BATCH_SIZE，显存小你就调小些。 PS: 虽然这种方式也会让显存增加，但是推理速度有极大提升，所以收益是明显的。我用相同的一千条数据测过，这种分batch的方式只需要30秒就可以推理完成（batch=100），而完全串行需要500秒左右。分batch比串行的显存只增加了数倍。

> > > [HL0718](/HL0718) > > > > > > 应该不会的，我用的是80G的A800。可以把batch调到300左右。你可以根据你的显卡来调整MAX_BATCH_SIZE，显存小你就调小些。 > > PS: 虽然这种方式也会让显存增加，但是推理速度有极大提升，所以收益是明显的。我用相同的一千条数据测过，这种分batch的方式只需要30秒就可以推理完成（batch=100），而完全串行需要500秒左右。分batch比串行的显存只增加了数倍。 > > 您每个batch里面的每天数据的长度应该不会很长，我试了一下，当长度为2048时，80G显存的A100最多支持batch为32 我的数据确实不长。但是你这么长的数据，完全串行更费时间吧，你可以比较一下跟串行相比的速度有无提升。

> > > > > > > > > 我的数据确实不长。但是你这么长的数据，完全串行更费时间吧，你可以比较一下跟串行相比的速度有无提升。 > > 这个确实是有提升的，串行的时间大概是80s左右，batch的形式的话大概就是18s左右 对啊，说明分batch这种方式还是有效果的，请问您是用我提供的代码运行的吗？

> 多个请求会报错，RuntimeError: Task got Future attached to a different loop 请求您服务器端是用哪种方式部署的？我这套代码，只需要用fastAPI部署就行了

> 我的显存只有16g，目前堪堪部署fp16的模型，如果我替换成int4的权重，再配上您的代码是不是可以测试一下这个高并发能力了 可以试一下，但是batch应该不能开太大

> 就是用的fastapi，用的你得代码，同时两个页面进行请求，就出现了上面的错误 我这边多线程测试是没问题的。您可以把完整报错信息发来我看一下

> ERROR: Exception in ASGI application Traceback (most recent call last): File "/root/anaconda3/envs/chatglm-py39-cu117-torch1131/lib/python3.9/site-packages/uvicorn/protocols/http/h11_impl.py", line 428, in run_asgi result = await app( # type: ignore[func-returns-value] File "/root/anaconda3/envs/chatglm-py39-cu117-torch1131/lib/python3.9/site-packages/uvicorn/middleware/proxy_headers.py", line 78, in **call**...

> (I am new to LangChain so please forgive any mistakes, just trying to help and learn at the same time. 😄) > > Is this question about the subtle...