手机端跑2.5版本闪退
专门买了部小米14pro,跑2.5版本的多模态。 下载好模型后,上传照片。然后就是解析图片,过几秒后就闪退出去,没有任何报错。
另外llama.cpp的方式是不是比mlc的方法,推理更快、或者bug问题更少?
安卓apk还不完善,有非常多工程问题,目前这有点超出我们目前的人力限制,我们已经在repo里面删掉了。 很抱歉我们短期内不能在安卓使用上提供太多的维护能力。
对于llama.cpp和mlc,我们认为都是很好的开源框架,也各有侧重。 只是我们暂时会提供llama.cpp的适配版本,提供给开源社区试用。 如果有哪些个人或团队,在mlc上尝试适配minicpmv,我们也将非常愿意给力所能及的支持。
Hi. I met a bug when I deployed the model to Android Pixel 8 Pro with 12G RAM.
clip_model_load: params backend buffer size = 996.02 MB (455 tensors) key clip.vision.image_grid_pinpoints not found in file key clip.vision.mm_patch_merge_type not found in file key clip.vision.image_crop_resolution not found in file clip_image_build_graph: ctx->buf_compute_meta.size(): 884880 clip_image_build_graph: load_image_size: 448 448 GGML_ASSERT: ggml.c:4344: ggml_can_repeat(b, a) Aborted
**sqzhang-jeremy ** commented Aug 9, 2024 •
The Android apk is not perfect yet and has many engineering problems. At present, this is a bit beyond our current manpower limit. We have deleted it from the repo. I'm sorry we can't provide much maintenance capabilities for Android usage in the short term.