jianweimama

non-singleton dimension errors when run Deepspeed-AutoTP

4

HOST安装的步骤 conda create -n llm python=3.11 conda activate llm # below command will install intel_extension_for_pytorch==2.1.10+xpu as default pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/ pip install transformers==4.37.0 pip install oneccl_bind_pt==2.1.100...

IPEX-LLM 运行源2.0 M32量化版失败 on Intel ARC

1

源2.0-M32大模型研发团队深入分析当前主流的量化方案，综合评估模型压缩效果和精度损失表现，最终采用了GPTQ量化方法，并采用AutoGPTQ作为量化框架。 --------------------------------------------------------------------------------------------- Model： Yuan2-M32-HF-INT4 https://blog.csdn.net/2401_82700030/article/details/141469514 容器： intelanalytics/ipex-llm-serving-xpu-vllm-0.5.4-experimental:2.2.0b1 Test Step： Log into container: # docker exec -ti arc_vllm-new-2 bash # cd /benchmark/all-in-one/ # vim config.yaml Config.yaml 配置：  # run-arc.sh 运行报错...

自编译的 fastdeploy_python-1.0.7-py3.10-linux-x86_64 使用 openvino 作为backend 报错, paddle, ort 工作正常

2

********************************************* 温馨提示：根据社区不完全统计，按照模板提问，可以加快回复和解决问题的速度 ********************************************* ## 环境 - 【FastDeploy版本】： 说明具体的版本， fastdeploy_python-1.0.7-py3.10-linux-x86_64 - 【编译命令】如果您是自行编译的FastDeploy，请说明您的编译方式（参数命令） 参考: https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/build_and_install/cpu.md git clone https://github.com/PaddlePaddle/FastDeploy.git git checkout origin/release/1.0.7 cd FastDeploy/python export ENABLE_ORT_BACKEND=ON export ENABLE_PADDLE_BACKEND=ON export ENABLE_OPENVINO_BACKEND=ON export ENABLE_VISION=ON export...