Linly
Linly copied to clipboard
推理速度比原版的llama要慢一些
@ydli-ai 感谢分享! 请问一下:为什么推理速度比原版的llama要慢一些?
可以参考一下这个推理哈~ https://github.com/fengyh3/llama_inference