Xiaopu17 comments

Results 5 comments of


                                            Xiaopu17

[Bug]: 使用 PaddleNLP/llm/inference.md 安装推理优化，运行时报错 cannot import name 'top_p_sampling' from 'paddlenlp_ops'

请问一下, csrc中的编译cuda算子生成paddlenlp_ops库部分，作者用的什么版本的cuda以及相关库，我现在用的cuda:11.6， nvcc:11.6，python3.9.18，paddlepaddle-gpu.0.0.0.post116, paddlenlp 2.6.1.post0，没有生成成功，尝试了好多种办法

[Question]: paddlenlp_ops安装报错PaddleNLP/csrc/generation/quant_int8.cu(57): error: no suitable user-defined conversion from "__nv_bfloat16" to "__half" exists

请问这个问题解决了吗

[Question]: paddlenlp_ops安装报错PaddleNLP/csrc/generation/quant_int8.cu(57): error: no suitable user-defined conversion from "__nv_bfloat16" to "__half" exists

> > 请问这个问题解决了吗 > > 目前需要cuda10.2,安装这个paddlepaddle [http://10.255.125.21:8111/paddlepaddle_gpu-0.0.0.post102-cp37-cp37m-linux_x86_64.whl,和paddlenlp这个branch](http://10.255.125.21:8111/paddlepaddle_gpu-0.0.0.post102-cp37-cp37m-linux_x86_64.whl,%E5%92%8Cpaddlenlp%E8%BF%99%E4%B8%AAbranch) [https://github.com/PaddlePaddle/PaddleNLP/pull/7600,和先删除conda里的zlib库(1.2.13版本)，然后通过export](https://github.com/PaddlePaddle/PaddleNLP/pull/7600,%E5%92%8C%E5%85%88%E5%88%A0%E9%99%A4conda%E9%87%8C%E7%9A%84zlib%E5%BA%93(1.2.13%E7%89%88%E6%9C%AC)%EF%BC%8C%E7%84%B6%E5%90%8E%E9%80%9A%E8%BF%87export) LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libz.so 把zlib的链接目标到系统自带的1.2.8版本的zlib能编译成功更换zlib也不行，还是相同的地方相同的错误

给该项目适配 WechatFerry 协议【暂时不要使用了，会引起风控】

今天我也被封了7天。。用的wcf

wcferry协议也导致了封号

咋搞，我也是