chengduo

@AIpioneer ``` ... W0614 10:27:31.884506 9177 dynamic_loader.cc:107] Can not find library: libcudnn.so. Please try to add the lib path to LD_LIBRARY_PATH. W0614 10:27:31.884533 9177 dynamic_loader.cc:165] Failed to find dynamic library:...

> 请问这里单进程和多进程的具体含义是什么？ 多进程多卡是指，每个进程对应一张卡进行计算，卡之间的通信通过nccl完成，即多个进程上的GPU使用nccl进行通信。单进程多卡是指，一个进程使用多个GPU卡参与计算计算，卡之间的通信依然是使用nccl。 > 不知道benchmark里的batch_size是多少？ benchmark的执行脚本在这里：https://github.com/PaddlePaddle/benchmark/blob/master/NeuralMachineTranslation/BERT/fluid/train/run.sh#L42

@ccmeteorljh 为什么是多进程单卡？ 没有设置环境变量（CUDA_VISIBLE_DEVICES）？

@QianShengWu 目前还不支持多进程单卡模式

 这个sync是因为CPU->GPU数据传输导致的，因为在Op里面，如果数据的tensor是在CPU上，但是当前Op是在GPU上运行，需要有从CPU到GPU的拷贝，拷贝时会调用sync操作。