kevinuserdd

> examples/information_extraction/duuie 这个版本是UIE的paper的版本，通过生成模型来进行信息抽取，偏向于学术； model_zoo/uie是通过大量语料微调出来的模型，使用的是阅读理解式的抽取模型，在工业使用效果相对好 请问有torch版本的uie预训练模型吗？ 目前找的uie-base和uie-tiny预训练模型都是在paddle框架里

> > > examples/information_extraction/duuie 这个版本是UIE的paper的版本，通过生成模型来进行信息抽取，偏向于学术； model_zoo/uie是通过大量语料微调出来的模型，使用的是阅读理解式的抽取模型，在工业使用效果相对好 > > > > > > 请问有torch版本的uie预训练模型吗？ 目前找的uie-base和uie-tiny预训练模型都是在paddle框架里 > > 您好，目前UIE只有paddle的开源版本。 请问一下，论文里提到的方法，包括使用了wiki数据做预训练，这个生成的预训练模型是哪个？？ 难道uie-base预训练模型的任务，不是使用论文中的方法？？

> 您好， > > 1. 可以一起训练，这样说到负迁移具体是什么含义了？ > 2. 实体抽取、事件抽取可以在一条标注数据里面，但是训练的时候会拆成多条数据来训练 > 3. UIE本身来说是没有预训练，底座是依赖于ERNIE-3.0系列的模型，ERNIE系列的模型预训练地址: https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0 UIE本身没有预训练？？不对吧，论文里面不是提到用的wiki数据预训练的么

> 请问是使用的哪个代码，使用的paddlenlp的版本是什么呢，我们复现排查看下。 > > > 本地开发的环境，之前一直运行没问题； 今天再跑模型，就出现以下bug，很奇怪，我也没有重新安装新的版本 > > 如果使用代码没变，paddlenlp版本也没变，突然跑不通是有些奇怪的 paddlenlp 2.3.4 paddlepaddle 2.2.0 我也搞不懂，之前conda里面的环境都训练没问题，今天再跑一下就报这个错

> 可否也提供下出问题的代码呢，我们复现下 而且，我想说，你们的文档能不能准时的更新？ 比如paddlenlp的安装文档里面写的”pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simple“ 这个根本就不能执行，至少安装教程要写的很正确，。。。哎

你们就没发现deepspeed 启动的时候，显存是gpu数量的倍数吗？ 无法模型并行，所有卡都加载了同样的显存，至少推理时候测试是这样

> > 你们就没发现deepspeed 启动的时候，显存是gpu数量的倍数吗？ 无法模型并行，所有卡都加载了同样的显存，至少推理时候测试是这样 > > 这个 我猜测是 ZeRO Stage 2方式的原因，模型参数没有并行。但是我尝试用ZeRO Stage 3 时 会报错。 你是怎么切换到zero stage3的？ ds_config.json文件里面改的吗? 我觉得不是这个原因，应该就是模型本身不支持层并行。 你可以看下deepspeed的源码？ 官方文档写了这句话“DeepSpeed provides a seamless inference mode for compatible transformer...

> > @duzx16 参考 #530 通过zero3 offload微调还是不行，求大神指导下。 > > 之前不能是bug，大神已经修复了，用最新的代码，然后载入模型的部分加上empty_init=False，使用zero3的模式，4张3090能跑起来，我试了下，单卡显存占用16G，cpu offload大概100G 怎么弄？ 你把核心代码贴上来，而且我说的问题和你说的不是一个意思吧。 我说的意思是用deepspeed 推理chatglm的时候，会出现模型无法并行，1张卡显存15g，2张卡30g，3张卡45g。 deepspeed.init_inference()推理阶段啊。。。。。。。。。你解释的我不太懂，最好贴个代码看看，推理一般就10行左右代码

> > > > @duzx16 参考 #530 通过zero3 offload微调还是不行，求大神指导下。 > > > > > > > > > 之前不能是bug，大神已经修复了，用最新的代码，然后载入模型的部分加上empty_init=False，使用zero3的模式，4张3090能跑起来，我试了下，单卡显存占用16G，cpu offload大概100G > > > > > > 怎么弄？ 你把核心代码贴上来，而且我说的问题和你说的不是一个意思吧。 我说的意思是用deepspeed 推理chatglm的时候，会出现模型无法并行，1张卡显存15g，2张卡30g，3张卡45g。...

> > 大佬们都微调了多久，我微调后全是重复的语句 > > 我微调后都是空。。。 怎么解决的？我也出现空