deepflow icon indicating copy to clipboard operation
deepflow copied to clipboard

[BUG] 搭建ck 集群后,grafana上面显示的ck 数据监控只是其中一个节点的

Open wuzongling opened this issue 1 year ago • 3 comments

Search before asking

  • [X] I had searched in the issues and found no similar feature requirement.

DeepFlow Component

Server

What you expected to happen

企业微信截图_1bf994fa-6a77-4277-b50d-5c4bcfcaec35 企业微信截图_becaf140-bc60-4ed2-bba8-2fa1049d9720

我们有2个节点的ck,grafana显示的只是其中一个 1 deepflow-server 自带ck,搭建出来的service是一个handless service。通过server通过deepflow-clickhouse的域名去访问ck的,访问的只是其中的一个节点。 2 访问查看查询system.disks 表,这张表记录的是当前节点的数据统计,不是整个ck集群的

影响: 1 grafana 上ck的监控只是单节点的 2 deepflow-server 磁盘满了以后,进行的数据清理。这里判断的磁盘是否满了,应该也只是单节点的

How to reproduce

No response

DeepFlow version

6.3

DeepFlow agent list

No response

Kubernetes CNI

No response

Operation-System/Kernel version

No response

Anything else

No response

Are you willing to submit a PR?

  • [X] Yes I am willing to submit a PR!

Code of Conduct

wuzongling avatar Feb 27 '24 06:02 wuzongling

ck的system的表,不是distribute表,只能查本节点的。 可以使用 clusterAllReplicas('df_cluster', xxxx) 查询所有节点的数据。例如: select * from clusterAllReplicas('df_cluster', system.disks) img_v3_028f_df74f456-04f7-4e24-b80d-a3bbd9012e0g

lzf575 avatar Feb 27 '24 07:02 lzf575

deepflow-server 磁盘满了以后,进行的数据清理。这里判断的磁盘是否满了,应该也只是单节点的。 这个也麻烦评估一下是不是也是判断的单节点

wuzongling avatar Mar 08 '24 02:03 wuzongling

deepflow-server 磁盘满了以后,进行的数据清理。这里判断的磁盘是否满了,应该也只是单节点的。 这个也麻烦评估一下是不是也是判断的单节点

一般不是,如果 kubectl -n deepflow describe svc deepflow-clickhouse 中看到的endpoints 也是配置的service, 那就可能只监控一个节点了。 正常1个deepflow-server 会写入1个或多个ck 的endpoints,同时也监控这几个ck 的disk。所有ck的endpoints都会均匀分配给所有的deepflow-server,所以监控的是所有的disk。

lzf575 avatar Mar 12 '24 06:03 lzf575