WeClone icon indicating copy to clipboard operation
WeClone copied to clipboard

windows 下运行 weclone-cli make-dataset 提示 ModuleNotFoundError: No module named 'vllm._C'

Open scourgen opened this issue 8 months ago • 12 comments

使用的是最新的master分支,按照主页的教程一步一步安装,cuda也显示开启,但是运行到weclone-cli make-dataset 这一步提示 ModuleNotFoundError: No module named 'vllm._C'

scourgen avatar May 13 '25 09:05 scourgen

加一

Jayczee avatar May 13 '25 09:05 Jayczee

加一

即便手动安装vllm也提示找不到模块,异常栈如下:

 83559  cd D:\Code\WeClone\
 WeClone  .\.venv\Scripts\activate
 WeClone  uv pip install vllm
Audited 1 package in 22ms
 WeClone  python -c "import vllm; print(vllm.__version__)"
INFO 05-13 17:47:27 [__init__.py:239] Automatically detected platform cuda.
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\__init__.py", line 11, in <module>
    from vllm.engine.arg_utils import AsyncEngineArgs, EngineArgs
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\engine\arg_utils.py", line 22, in <module>
    from vllm.executor.executor_base import ExecutorBase
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\executor\executor_base.py", line 16, in <module>
    from vllm.model_executor.layers.sampler import SamplerOutput
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\model_executor\layers\sampler.py", line 23, in <module>
    from vllm.spec_decode.metrics import SpecDecodeWorkerMetrics
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\spec_decode\metrics.py", line 9, in <module>
    from vllm.model_executor.layers.spec_decode_base_sampler import (
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\model_executor\layers\spec_decode_base_sampler.py", line 10, in <module>
    from vllm.platforms import current_platform
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\platforms\__init__.py", line 271, in __getattr__
    _current_platform = resolve_obj_by_qualname(
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\utils.py", line 1905, in resolve_obj_by_qualname
    module = importlib.import_module(module_name)
  File "C:\Users\83559\AppData\Roaming\uv\python\cpython-3.10.17-windows-x86_64-none\lib\importlib\__init__.py", line 126, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "D:\Code\WeClone\.venv\lib\site-packages\vllm\platforms\cuda.py", line 15, in <module>
    import vllm._C  # noqa
ModuleNotFoundError: No module named 'vllm._C'

Jayczee avatar May 13 '25 09:05 Jayczee

看起来vllm还不支持Windows,建议使用wsl,如果一定要用win可以试一下把依赖中的vllm去掉,然后配置里的enable_clean设为false,不清洗数据集

xming521 avatar May 13 '25 11:05 xming521

好的,感谢,我试试看

---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2025年05月13日 19:59 | | 收件人 | xming521/WeClone @.> | | 抄送人 | Jayczee @.>, Comment @.> | | 主题 | Re: [xming521/WeClone] windows 下运行 weclone-cli make-dataset 提示 ModuleNotFoundError: No module named 'vllm._C' (Issue #53) | xming521 left a comment (xming521/WeClone#53)

看起来vllm还不支持Windows,建议使用wsl,如果一定要用win可以试一下把依赖中的vllm去掉,然后配置里的clean_dataset关掉,不清洗数据集

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

Jayczee avatar May 13 '25 12:05 Jayczee

Image

大佬,这个是咋回事呢

Evring avatar May 14 '25 10:05 Evring

请问有人在windows上面尝试成功了吗,如果不用wsl的话,我这里不知道如何清除vllm的依赖项

看起来vllm还不支持Windows,建议使用wsl,如果一定要用win可以试一下把依赖中的vllm去掉,然后配置里的enable_clean设为false,不清洗数据集

catcatcc-a avatar May 14 '25 12:05 catcatcc-a

我直接切换到Linux了,win要是没有尝试

---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2025年05月14日 20:37 | | 收件人 | xming521/WeClone @.> | | 抄送人 | Jayczee @.>, Comment @.> | | 主题 | Re: [xming521/WeClone] windows 下运行 weclone-cli make-dataset 提示 ModuleNotFoundError: No module named 'vllm._C' (Issue #53) | catcatcc-a left a comment (xming521/WeClone#53)

请问有人在windows上面尝试成功了吗,如果不用wsl的话,我这里不知道如何清除vllm的依赖项

看起来vllm还不支持Windows,建议使用wsl,如果一定要用win可以试一下把依赖中的vllm去掉,然后配置里的enable_clean设为false,不清洗数据集

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

Jayczee avatar May 14 '25 12:05 Jayczee

请问某人在windows上面尝试成功了吗,如果不用wsl的话,我这里不知道如何清除vllm的依赖项

看起来vllm还不支持Windows,建议使用wsl,如果一定要用win可以试一下把依赖中的vllm去掉,然后配置里的enable_clean设为false,不清洗数据集 我刚刚清除了vllm依赖,但是貌似代码内部是有调用vllm的,所以好像只有linux可以完成这个工作

catcatcc-a avatar May 14 '25 13:05 catcatcc-a

可以参考教程https://blog.051088.xyz/2025/05/14/WeClone-%E7%94%A8%E5%BE%AE%E4%BF%A1%E8%81%8A%E5%A4%A9%E8%AE%B0%E5%BD%95%E6%89%93%E9%80%A0%E8%87%AA%E5%B7%B1%E7%9A%84AI%E6%95%B0%E5%AD%97%E5%88%86%E8%BA%AB/

BAIKEMARK avatar May 15 '25 03:05 BAIKEMARK

可以参考教程https://blog.051088.xyz/2025/05/14/WeClone-%E7%94%A8%E5%BE%AE%E4%BF%A1%E8%81%8A%E5%A4%A9%E8%AE%B0%E5%BD%95%E6%89%93%E9%80%A0%E8%87%AA%E5%B7%B1%E7%9A%84AI%E6%95%B0%E5%AD%97%E5%88%86%E8%BA%AB/

感谢!!

catcatcc-a avatar May 15 '25 04:05 catcatcc-a

不带vllm训练好后推理的时候还需要vllm,这个该如何解决

fengbichuan avatar May 15 '25 10:05 fengbichuan

不带vllm训练好后推理的时候还需要vllm,这个该如何解决

上面的教程里面有,需要在对应代码里面插入patch

BAIKEMARK avatar May 15 '25 11:05 BAIKEMARK

#95

拉取最新代码后 uv pip uninstall vllm

xming521 avatar May 18 '25 14:05 xming521