aa03146

Can GlueStick export onnx?

5

Hi, I am very concerned about some recent developments of GlueStick. What I care about is whether GlueStick is easy to deploy and transplant to other platforms, such as whether...

在纯 CPU 上可以运行吗？比如苹果电脑没有 cuda?

3

同上。

原生的只支持 phi-2，理论上对 phi-1_5也是支持的，下面是我参考 phi-2的写了load_model函数，模型倒是能正常导出来，但好像是一些参数对不上，导出来 的模型推理也不正常，麻烦帮忙看下，非常感谢！这是模型地址：https://huggingface.co/microsoft/phi-1_5 下面是我写的load_model函数： def load_model(self): transformer = self.model.model self.lm = self.model.lm_head self.embed_ = transformer.embed_tokens self.hidden_size = self.embed_.weight.shape[-1] self.blocks_ = transformer.layers self.final_layernorm_ = transformer.final_layernorm # Some wrapper self.stop_ids.append(self.tokenizer.eos_token_id)...