Mr-Nineteen
Mr-Nineteen
Dynamic embedding is a very important feature for us. When training the sorting model that supports scenarios such as search, recommendation, and advertisement, we encountered the following problems: 1. For...
When will it be supported?
Baichuan-13B-Chat 模型是没有问题，直接使用 `https://github.com/baichuan-inc/Baichuan-13B/blob/main/cli_demo.py` 推理是正常的，使用 `vllm#530` 就有问题，在 tp=2 时，胡言乱语的
> > > > 你好，想问下这个repo进行张量并行的时候会报错：ray.exceptions.RaySystemError: System error: No module named 'transformers_modules' 该怎么解决呢～ 这个需要设置一个参数就行了，export HF_MODULES_CACHE=安装的 Python 库的地址
@gameofdimension 在 tp=2 时，有没有发现什么问题？
我们已经解决了，W_pack 的问题，切错了导致的，基于你的代码改的，https://github.com/Mr-Nineteen/vllm/tree/dxwang
@gameofdimension PR 给你了，代码还可以优化一下的，之前我没有进一步优化一下逻辑；发现社区也有 MR 改了 https://github.com/vllm-project/vllm/pull/598/files ，不过实现不一样