fuerpy
fuerpy
> Hi,Yoh-Z 感谢你的回复 1. 因为我现在的环境并不是能够直接通过ncnn原生编译推进去运行,所以我修改了编译方式。如果我通过宏定义方式会影响速度吗? 2. 对比的是一样的模型 相同平台通过ncnn cmake编译的apk运行,也就是我所说REE环境。
好的,我从这个方向入手,有了一点发现。 项目我是中途接手,发现编译时为了躲过错误关闭了一些宏定义。 https://github.com/Tencent/ncnn/issues/2133 然后我照着这个 issus查看了两个编译器的区别,没有发现什么明显区别,但是还是有几个宏没有出现,不知道是哪里定义的比如“__ARM_FEATURE_SIMD32” ##### 我又打印了些LOG 看上去 和 __ARM_FEATURE_SIMD32 这个宏相关的函数并没有走到
> The draft tokens are generated from a cached trie tree (each node is a token id). Currently the trie tree is constructed from prompts and responses on-the-fly, therefore it...