chenbo90

me too! how to use multi-node multi-card inference? Does Energonai support ?

> 参考 wasm-cpp[README.md](https://github.com/alibaba/higress/blob/main/plugins/wasm-cpp/README.md)部署 cpp 插件，构建报错。 > >  请教下cpp的编译你是用他们官方镜像进行编译的么？是执行PLUGIN_NAME =xxx make build的么？我现在也在编译，你那个提醒我也遇到了，但是继续往下编了，但是还没成功。

我把镜像修改回去，并且重启了pod。上图是各个组件用的pod镜像名称。然后从服务列表页面还是没找到对应的moonshot数据。

我尝试着将controller的镜像修改为1.4.1，再从页面就能看到这条数据了。 进入到gateway的pod中查询cluster也是能查到的

kubectl get mcpbridge default -n higress-system -o yaml 结果如下： 版本的情况是这样的，一开始，我使用官方文档部署，部署的controller和gateway镜像我看都是2.0.0的，console是1.4.3的。因为我之前部署过，当时controller和gateway镜像是1.4.1，console版本是1.4.2。我把controller的镜像从2.0.0改为1.4.1就可以了。我一开始怀疑是console的版本不对，后来排除了。

抱歉，我找到原因了，配置的时候选择【按比例】或者【按模型名称】，我应该配置按模型名称。抱歉，这个问题解决了。但是还有一个问题就是，如果配置了降级，这个怎么测试验证？比如deepseek的路由配置降级成moonshoot，听开发说目前支持4XX和5XX触发降级，我将ds的apitoken配置错误，想触发降级，但是直接报鉴权失败。这个怎么触发降级呢？有什么好办法么？还望指教

> > 抱歉，我找到原因了，配置的时候选择【按比例】或者【按模型名称】，我应该配置按模型名称。抱歉，这个问题解决了。但是还有一个问题就是，如果配置了降级，这个怎么测试验证？比如deepseek的路由配置降级成moonshoot，听开发说目前支持4XX和5XX触发降级，我将ds的apitoken配置错误，想触发降级，但是直接报鉴权失败。这个怎么触发降级呢？有什么好办法么？还望指教 > > 要看一下DS返回的状态码是4xx吗？ 嗯，是401，授权错误。我是把deepseek的凭证故意写错，想制造出4XX的故障，让他降级。结果看没降级成功。您看是这么配置么？还有，想问下，这个降级的代码在哪能看到？是在插件里还是在控制台

> > 嗯，是401，授权错误。我是把deepseek的凭证故意写错，想制造出4XX的故障，让他降级。结果看没降级成功。您看是这么配置么？还有，想问下，这个降级的代码在哪能看到？是在插件里还是在控制台 > > 我先本地试一下看看。 好的，现在是否有结论？我看最终是生成一个Envoyfilter，里面是4xx和5xx。

> > 好的，现在是否有结论？我看最终是生成一个Envoyfilter，里面是4xx和5xx。 > > 我本地测了是可以降级的，你看一下 higress-system 下面都有哪些 ingress，把配置贴一下。 我控制台配置了两个AI路由，因为我用的是AIO方式进行部署的，配置都是文件，我从后台看AI路由相关的ingress有三个： ai-route-deepseek-ai-router.internal.yaml配置内容如下： annotations: higress.io/destination: llm-deepseek-pro.internal.dns:443 higress.io/exact-match-header-x-higress-llm-model: deepseek-chat higress.io/ignore-path-case: "false" labels: higress.io/domain_higress-default-domain: "true" higress.io/internal: "true" higress.io/resource-definer: higress rules: - http: paths: -...

> > 上面的格式用 Markdown 的代码块包装一下吧。 > > 你的描述是对的。 > > fallback 那个 ingress 的内容也贴一下。还有 higress-config 这个 ConfigMap 的内容。 ai-route-deepseek-ai-router.fallback.internal.yaml配置如下： ``` annotations: higress.io/destination: llm-moonshot-pro.internal.dns:443 higress.io/exact-match-header-x-higress-fallback-from: ai-route-deepseek-ai-router.internal higress.io/exact-match-header-x-higress-llm-model: deepseek-chat higress.io/ignore-path-case: "false" labels:...