tlk1997
tlk1997
以下几个方面检查并解决： 1、是否创建了新的虚拟环境，datasets包是从哪来的，因为3,.4.0的transformers并不依赖于datasets 2、卸载之前安装的依赖包，修改setup.py中的tqdm==4.64.0，再通过python setup.py install 的方式进行安装依赖包
Check as followings: 1. Whether a new virtual environment is created, and where does the datasets package come from, because 3,.4.0 transformers does not rely on datasets 2. Uninstall the...
lm的参数需要修改为对应的模型，比如下载使用的是bert模型，lm就需要改为chinese-bert-wwm
lm_file 改为 hfl/chinese-bert-wwm 如果继续报错，则从huggingface下载下来模型，改为模型的路径
你这是在用cpu跑模型吧，如果是的话，可以降低batch size来减少内存使用，还有这个只是模型需要的内存量，其他线程也需要内存分配，所以你这接近1G不够，最好还是单独提一个issue，该为实践分享，在这提问可能会打扰到原分享者 > 求问，re模型训练的时候报错can't allocate memory: you tried to allocate 402653184 bytes，但是查看机器内存还有接近1G可用，事为啥呢