Jhin

我想问下lightseq内部是不是默认就是用的fp16做的推理呀，感觉数据不太对，能否开放源码直接编译inference，通过pip install -e .的形式把inference也做进去，方便调试。

What do you mean? Is it the default fp16? I see your demo that comparison with transformers, transformers use fp32.Does it mean the comparison between the fp16 used by lightseq...

Ok, thanks for your reply, lightseq works well, but this problem really bothered me too, I'll try to build inference from source.Thanks again

  1080和1080ti 算力不支持fp16，你可以试试pytorch分别用fp16和fp32，fp32应该也会比fp16快，lightseq底层用的cublas库，是需要硬件的算力支持的，

是的，EET是只针对推理做加速的，所以是没有梯度信息的。另外EET对于clip的加速效果还是不错的，相对transformers在3090上有十倍以上的性能提升。你可以用于训练好的模型在线上推理时做加速使用

请问你这个模型是标准的transformer模型（seq2seq）吗？fairseq的版本是哪一个，目前我们只支持了gpt2和bert，我们正在搞seq2seq模型，可能过几天就能支持了。刚建了个VX群，你可以加一下交流群，我帮忙具体看一下 

非常感谢反馈，我们暂时不支持 nezha, roformer的 relative position embedding，为了方便用户使用，我们尽力融入transformers和fairseq社区，如果你的模型结构不一样的话可以通过参考修改[eet/transformers](https://github.com/NetEase-FuXi/EET/tree/main/python/eet/transformers)中的文件通过op level的APIs，将Embedding改成你需要的relative position embedding，其他模块修改权重名即可。

hi, cuda: 10.1 torch: 1.5.0+cu101 cmake: 3.19.3 I can succeed when i build with C++,but there is question when i build with PyTorch

I tried it and it did get better, BTW - what does ckpt do, I see some people use "scratch"

ok，thank you