ERNIE-Pytorch

ERNIE-Pytorch copied to clipboard

ernie2.0

1

大佬，问下这里的ernie2.0是中英都可行的吗。

1170300618

有计划增加ernie-3.0吗

13

[ernie-3.0](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-3.0)

RyanHuangNLP

BertForMaskedLM预测错误的修复方法

4

您好，尝试用huggingface里面的BertForMaskedLM去加载您转换的模型，然后预测被mask的词语，发现预测到的结果并不正确，请问这是什么原因？ 您是否知道大概原因？我可以手动修复吗？

shunyuzh

CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)

3

When i loaded ernie-1.0 model to do fine-tune task, i came across runtime error. what's wrong?

Julylmm

guanxichouqu

模型转换后预测logits不同的原因

1

您好，作者，想请教下，为什么转完torch后模型预测logits会不同呢

kg-nlp

Bumps [paddlepaddle](https://github.com/paddlepaddle/paddle) from 2.3.1 to 2.5.0. Release notes Sourced from paddlepaddle's releases. PaddlePaddle 2.5.0 Release Note 1. 重要更新 动静统一新架构：实现基础算子组合的动转静加编译器执行新模式，在ResNet50&Bert模型上完成动转静、组合算子、神经网络编译器优化加速全流程。动转静完成整图fallback核心功能开发，支持动转静失败时回退到动态图训练执行；组合算子设计一套包含150多个基础算子的基础算子体系，实现python层前向算子拆分机制和支持动、静态图的反向算子拆分机制，实现70多个常用前、反向算子的拆分；CINN编译器修复正确性问题，开发关键Pass，添加手工Schedule规则，实现内核代码自动生成，ResNet50模型性能提升12%，Bert模型性能提升10%。 PHI算子库算子架构统一：将原算子体系下剩余的350+算子内核全部统一到PHI算子库中，以及原算子体系中的算子定义方式也都统一为PHI算子库的算子定义形式（基于YAML配置定义算子），提升了架构统一性，降低了框架开发的理解成本；将PHI算子库依赖的Fluid头文件全部解耦，并独立编译为动态链接库，为框架的二次开发提供更轻量的算子库复用方式；继续对飞桨框架中不规范的算子以及算子内核进行规范化调整，便于开发者理解，降低了硬件的接入成本。 静态图新执行器全面上线：静态图新执行器实现多项功能和性能优化，完成对原有多套旧执行器的统一和替换，成为静态图单卡和分布式训练python端入口以及动转静、控制流、CINN等后端默认使用的执行引擎，大幅提升框架调度性能，功能架构更加清晰，二次开发能力显著增强。 Python API 支持0维tensor：为形状为[1,] 及形状为 [] 的张量定义了清晰的语义。 新的环境适配：适配了CUDA 12，并支持使用gcc12进行编译。 2....

dependabot[bot]

训练过程中提示： `The OrderedVocab you are attempting to save contains a hole for index 12084, your vocabulary could be corrupted !` 检查了tokenizer.json和vocab.txt，’: 12083,{: 12085之间确实没有12084，请问这是tokenizer本身如此吗？

LiShaoyu5

Bumps [transformers](https://github.com/huggingface/transformers) from 4.20.1 to 4.30.0. Release notes Sourced from transformers's releases. v4.30.0: 100k, Agents improvements, Safetensors core dependency, Swiftformer, Autoformer, MobileViTv2, timm-as-a-backbone 100k Transformers has just reached 100k stars...

dependabot[bot]

由于ark-nlp工具库限制，目前无法使用ErnieModel，所以转换代码仍为BertModel。后续我会给ark-nlp开发者提交issue或者pr，帮助修改该问题。

yysirs