mikestut

> 我也遇到了，不知道为啥，前天还好好的 huggingface.co 无法访问导致，需要本地加载 config.json -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/a907a4d270fc3456b076018f28b57b9925e56750 configuration_chatglm.py -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/b4b196a51c922f44936b6f6bd2bbd80980f1755d ice_text.model -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/99871e0c85db81ad7af1028854fd091cd5778c8414ae9d94bbbc10d02c831c21 modeling_chatglm.py -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/10a1df2c45e5b3271446da824823bb52e30b50fb pytorch_model-00001-of-00008.bin -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/fe5bac6bfa5b5404ddfe3fabe04862b785e013afd7b308b7beca08239f9489fa pytorch_model-00002-of-00008.bin -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/a80198fb714f7363d7e541125bb70b9cb6b1d1ef5988d32a7a25a852a374cbc3 pytorch_model-00003-of-00008.bin -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/aaba0ae53b3ea30559575c8528dab52ca291a26ac847c5601fcf874db401198f pytorch_model-00004-of-00008.bin -> /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/968d134dd9b11e393d160144f097d6bff8c559413e3f75e9e0b6d35618eba669 pytorch_model-00005-of-00008.bin ->...

cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/a907a4d270fc3456b076018f28b57b9925e56750 tokenizer/config.json cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/b4b196a51c922f44936b6f6bd2bbd80980f1755d tokenizer/configuration_chatglm.py cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/99871e0c85db81ad7af1028854fd091cd5778c8414ae9d94bbbc10d02c831c21 tokenizer/ice_text.model cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/10a1df2c45e5b3271446da824823bb52e30b50fb tokenizer/ modeling_chatglm.py cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/fe5bac6bfa5b5404ddfe3fabe04862b785e013afd7b308b7beca08239f9489fa tokenizer/pytorch_model-00001-of-00008.bin cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/a80198fb714f7363d7e541125bb70b9cb6b1d1ef5988d32a7a25a852a374cbc3 tokenizer/pytorch_model-00002-of-00008.bin cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/aaba0ae53b3ea30559575c8528dab52ca291a26ac847c5601fcf874db401198f tokenizer/pytorch_model-00003-of-00008.bin cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/968d134dd9b11e393d160144f097d6bff8c559413e3f75e9e0b6d35618eba669 tokenizer/pytorch_model-00004-of-00008.bin cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/fc628ce0dcd5c38783e63fc81dd1b609fe01670ec3b855b358aa0d1d7ea48bf3 tokenizer/pytorch_model-00005-of-00008.bin cp /root/.cache/huggingface/hub/models--THUDM--chatglm-6b/blobs/511ec23b7907b7a26461671775a2ac08c08fb3695285bbe7d91fc534d7cbfd7e...

> 哈哈哈 现在又可以了喔... 是的，亲测可用。不过不知道能持续多久；如果只是提供窗口期，那么做些本地化处理还是有必要的。

遇到同样的问题！！

> outputs = self.model.generate(**inputs, max_length=2048, eos_token_id = self.tokenizer.eop_token_id, pad_token_id=self.tokenizer.eop_token_id) 修改后还是报错，求解决！！ 

哥们，如果昇腾能够支持TORCH 2.0+和 cuda11+，理论上应该支持的。不过，实践是检验整理的唯一标准。

访问结果：   求达人支持！！

> 声明export SERPAPI_KEY=“***********************************”后执行如下： > >  GPU加载为13GB，是chatglm2-6B模型。  历史问题：https://github.com/THUDM/WebGLM/issues/33，双卡目前不支持10B大模型。

> 你好！WebGLM 使用的并非 6B 的 Chat 模型（ChatGLM-6B 或者 ChatGLM2-6B），而是 [2B/10B 的基座模型](https://github.com/THUDM/GLM)，你可以使用 THUDM/WebGLM-2B 或 THUDM/WebGLM-10B 载入模 本以为6b能加载就能用，结果还是用不了。基座模型到底是个啥，参数都不一样。

我的M40都可以，你的P40就更可以的，速度杠杠的。