TurboTransformers icon indicating copy to clipboard operation
TurboTransformers copied to clipboard

想问下turbo支持huggingface的bart模型么

Open will-wiki opened this issue 4 years ago • 4 comments

will-wiki avatar Jan 20 '22 08:01 will-wiki

目前只看到了bert和decoder的支持demo,不知道对于bart这种encoder-decoder类型的模型是否支持,是两个组件分开调用turbo么

will-wiki avatar Jan 20 '22 08:01 will-wiki

Turbo支持过标准的encoder-decoder NMT模型。对于bart的细节我没研究过,我认为方法应该类似。 https://github.com/TurboNLP/Translate-Demo/blob/master/mytranslator.py

feifeibear avatar Jan 21 '22 02:01 feifeibear

好的 十分感谢,不过看demo里面只对decoder部分做了处理,是因为encoder只编码一次 这边只对主要耗时的解码器加速吧

will-wiki avatar Jan 21 '22 02:01 will-wiki

例子里应该都处理了吧,encoder和bert类似,改起来很简单。

feifeibear avatar Jan 21 '22 03:01 feifeibear