cpp-qn
cpp-qn
I added this in the cgo comments section of llm/llm.go: // #cgo LDFLAGS: -fopenmp And the above error disappears. I hope it can be used as a reference.
I convert minicpm-v-2.6 on the latest minicpmv-main branch, just follow the instructions in [README-minicpmv2.6.md](https://github.com/OpenBMB/llama.cpp/blob/minicpmv-main/examples/llava/README-minicpmv2.6.md)
官方提供了解决方法,十分有效: https://huggingface.co/openbmb/MiniCPM-o-2_6-int4 首先要安装 minicpmo 分支的 AutoGPTQ: ``` git clone https://github.com/OpenBMB/AutoGPTQ.git cd AutoGPTQ git checkout minicpmo # install AutoGPTQ pip install -vvv --no-build-isolation -e . ``` 然后只需修改加载模型的代码: ``` import torch from...
我在win10的wsl2上解决过类似的问题,看看能不能作参考。 首先我下载ffmpeg-7.0.2.tar.xz并解压,并进行`make`以及`sudo make install`,这些不同系统上操作可能不同。 然后我修改了examples/llava/CMakeLists.txt中的部分内容,手动配置了ffmpeg库的路径: ``` set(FFMPEG_DIR "/path/ffmpeg_v7.0.2") # ffmpeg path find_path(FFMPEG_INCLUDE_DIRS NAMES libavformat/avformat.h HINTS ${FFMPEG_DIR}/include ) find_library(AVFORMAT_LIBRARY NAMES avformat HINTS ${FFMPEG_DIR}/lib ) find_library(AVCODEC_LIBRARY NAMES avcodec HINTS ${FFMPEG_DIR}/lib ) find_library(AVUTIL_LIBRARY...
可能是一些包版本不对。你是否按照[README](https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file#local-webui-demo-)要求,保证了transformers版本为4.44.2? [README](https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file#local-webui-demo-)中提到: Please ensure that `transformers==4.44.2` is installed, as other versions may have compatibility issues.
`Could not open video file.`看起来视频文件没有正确被打开。是不是您的文件路径有问题?可以尝试使用绝对路径。我使用[`minicpmv-main`分支](https://github.com/OpenBMB/llama.cpp/tree/minicpmv-main)的最新代码以及[huggingface](https://huggingface.co/openbmb/MiniCPM-V-2_6-gguf/tree/main)上提供的模型能够构建运行并描述视频内容。 ``` cmake -B build -DLLAMA_CUDA=ON cmake --build build --config Release -t llama-minicpmv-cli ./build/bin/Release/llama-minicpmv-cli -m xxx/ggml-model-Q4_K_M.gguf --mmproj xxx/mmproj-model-f16.gguf -c 4096 --temp 0.7 --top-p 0.8 --top-k 100...