WinSun
WinSun
> > 在调用train.py时，batch_size可以设为8000左右，且一步用时在200s左右，而调用infer.py时，batch_size只能设的很小，4，12或更小，超过32就可能爆显存。这与平时的直观经验不一致啊。平时eval模式下应该比train模式下更快，占用内存也更小才对啊。请问是什么原因呢？ > > 这个是多方面的： > > 1. batch size，train的时候是按照token算的；infer的时候是按example算的的 > 2. train的时候只需要forward一次网络，generation的infer是step by step generation，GPU利用率不高，耗时比较大；而且和选用的decoding strategy有关，比如multi sample，或者beam search等，速度会受影响 > > 另外你说的一步200s，应该是100个step的耗时吧？ 对对对，是--log_step 100的时候的耗时。受教了，多谢！！！
我也遇到了，某一部分的内容只翻译了一点，没有完全翻译，不知道是什么情况。
> OpenAI Key有问题哦~怎么办？ 可以先检查一下是否api没复制全或者api已经过期了
If the value of api related params are not given in some modules, these values may be set to the global_xx values.
The problem I mentioned in `ask` may be caused by function `litellm_get_search_query` in helpers.py. Though query contains all the information about the settings, they are all dropped in this function,...
wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - && sudo sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list' && sudo apt-get update && sudo apt-get install...