piaodangdang

Hi,David: I had config the launch.json like this: { // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit:...

从官网“借来”（14天无理由退换）两台机器，通过up主的启发，看看mps下统一内存的决定性配置是在内存还是处理核心： A配置：M1Max 内存64g 2T B配置：M2Max 内存32g 1T 软件版本： Anaconda3-2023.03-1-MacOSX-arm64 python=3.10.9 pytorch=2.1.0.dev20230705 模型是chatglm2-6b默认配置，修改web_demo的后端为mps 目前只是验证推理侧，本地启动chatglm2，目前的验证结果是： A配置启动后，发送消息后无任何回应，内存飙升，一直到占满可用内存也无法返回回到 B配置启动后，正常进行对话，内存占用在28G左右

我用了M1 Max 64g 进行chatglm2的inference ，基本不可用，模型吐出来的都是各种的得（程序后端也没报错），内存使用大约54G， 但是放在m2max 32Gb 正常返回我的问题答案（内存稳定在29g左右）——但基本是一本正经的胡说八道，比m1max的效果要好，是不是metal 对m1max的支持不理想，已经把m1max的机器退掉，购入m2max的mac

> 这不太正常，你是用 base (glm-4-9b) 模型还是 chat (glm-4-9b-chat)？ 用的glm-4-9b,不是chat，难道这种需要用chat模型才可以？