bk-log

bk-log copied to clipboard

optimization: 优化运营指标上报逻辑

2

kiritoscs

minor: 容器日志yaml模式联调

1

ta0tao

zzhutianyu

采集项数据量过大，索引集管理新增采集类型索引集报502错误

1

1. 问题描述 当业务下“数据接入”建立的采集项过多时，在“索引集管理”-“新建”-“采集接入”-“新增索引” 报502错误； 2. 版本信息 4.2.653 3. 报错截图  4. 问题原因 metadata_get_result_table_storage 接口设计不合理，为get请求，参数result_table_list支持传list，当达到一定大小后接口返回502错误

Eli-ZhangLu

1. 问题描述 点击“仪表盘” - “Dashboard settings” - “variables” - “add variable” 填写变量信息有报错，无法设置变量 2. 版本信息 4.2.653和4.3.1-275测试都有发现 3. 报错截图   

Eli-ZhangLu

字段提取在隐藏已删除模式下，切换类型选择bug

4

  由于table引用的数据最终来源都是tablelist,在隐藏已删除状态下，修改表格第一列的类型会作用于隐藏列第一列（即隐藏列第一列在表格中的index为0）。

daomiaru

字段提取功能问题

1

# 版本信息 - saas&后台版本：4.2.653 # json提取方式问题 1. 问题描述：json清洗后带特殊字符的字段重命名后前端校验不通过； 2. 理想结果：json清洗后带特殊字符的字段重命名，只需要校验重命名字段格式，而不需要校验原始字段； 3. 问题截图：  4. 日志原文： ```json { "@timestamp": "2021-11-05T22:10:00.000Z", "@version": "1", "program": "/usr/sbin/cron", "host": "127.0.0.1", "timestamp": "Nov 6 06:10:00", "message":...

Eli-ZhangLu

日志路径： 现在要一起采集服务器A和服务器B的日志，日志路径如下 服务器A日志： ``` /log/a/*.log /log/b/*.log /log/c/*.log ``` 服务器B日志： ``` /log/a/*.log /log/d/*.log /log/e/*.log ``` 采集需求：排除 /log/a/ 路径，其余的都采集。 

xianyuLuo

## 为什么需要采样 - 在生产系统中，调用是非常频繁的这就导致了在高频系统中，会产生非常多的span，这样就会给整个链路和存储带来压力 - 而一些系统又不是高频系统，所以可以存储所有的span 合理的采样可以极大降低成本和整体系统的压力 所以我们对于span的产生需要进行合理采样 ## 怎么进行采样 目前主要有两种采样形式 - 一种是基于头部的采样 也就是在根链路的产生的时候来进行采样策略判断是否进行采样，目前主流的分布式跟踪框架都主要使用这一方式，虽然头部采样的形式能比较好降低span的产生，但是在实际生产中，大部分都是正常的链路，少部分才是异常链路，采样策略可能会将错误链路给命中，导致异常被遗漏。基于头部的采样，是需要在TRACE-SDK进行配置，它直接在应用程序生效，所以管控这个配置是有成本的。如果在微服务更个服务比较独立的时候还存在一些服务开启了采样，一些服务没有开启采样，这就会导致某几个未开启服务产生大量span对整个上下游服务进行了传播，导致后端服务压力大增。 - 基于尾部的采样 基于尾部的采样能很好的将异常的链路进行保留，而且基于尾部的采样是允许在接收服务中的，这就意味着，应用程序只需要关注上报服务是谁，而不在需要关注额外的配置和配置变更。但是尾部采样也存在的一些问题，就是当span跨度过大时，进行的采样的时候，可能会遗漏部分长尾span.而且过大的全量流量对于上报服务来说也有着一定的压力考验。 ## 基于头部的采样  基于头部的采样是现在主流分布式跟踪的框架进行采样的主要模式。在otlp当中就原生实现了采样的配置，并支持了一些原生的采样策略。 - ALWAYS_ON 总是产生 - ALWAYS_OFF 不产生 - ALWAYS_PARENT 信任父span的采样结果...

zzhutianyu

## 指标关联Trace ### exemplar机制 #### prometheus prometheus主要是采用 exemplars 的机制在 metrics 中带上额外的信息。通过metrics的接口可以同事暴露exemplar https://github.com/OpenObservability/OpenMetrics/blob/main/specification/OpenMetrics.md#exemplars-1 ``` # 后面的内容就是exemplar # lable 采样值 采样时间 foo_bucket{le="0.1"} 8 # {} 0.054 foo_bucket{le="1"} 11 # {trace_id="KOO5S4vxi0o"} 0.67 foo_bucket{le="10"}...

zzhutianyu