iamhungry
iamhungry
整库同步自动建库建表--MySQL实现已测试
java源码生成的路径换了个目录,能正常生成,但编译报错。
具体代码在哪个地方,修改思路能说明一下吗?
最好是添加一个控制参数,通过开关来实现这个功能。
@silentmoooon 你可以提个pr,建议官方合到主仓库去。这个需求是存在的。
> @iamhungry 这个需求的场景是什么 https://mp.weixin.qq.com/s/A5ONkvkh9JF5SvDdDP-o0Q 我是参考这篇文章处理业务层的数据上报,想用ilogtail替换filebeat 本地落盘的log是业务层上报的数据,通过filebeat直接传入kafka。 落盘的文件按业务划分,一个业务只向一个文件里写,一个文件对应一个kafka的topic,追溯信息来源不需要特别指定是哪个文件。即通过定义约定,可以省掉很多中间的逻辑。 自己解析确实不复杂,这种日志量很大,在讲究性能的情况下,能不解析少操作一步,肯定是优化。
在filebeat里,是有这个配置项的。它默认也是附加了一些字段,通过以下配置可以原样写入kafka. 
> > > @iamhungry 这个需求的场景是什么 > > > > > > https://mp.weixin.qq.com/s/A5ONkvkh9JF5SvDdDP-o0Q > > 我是参考这篇文章处理业务层的数据上报,想用ilogtail替换filebeat > > 本地落盘的log是业务层上报的数据,通过filebeat直接传入kafka。 > > 落盘的文件按业务划分,一个业务只向一个文件里写,一个文件对应一个kafka的topic,追溯信息来源不需要特别指定是哪个文件。即通过定义约定,可以省掉很多中间的逻辑。 > > 自己解析确实不复杂,这种日志量很大,在讲究性能的情况下,能不解析少操作一步,肯定是优化。 > > 日志文件和topic区分了业务,但是日志来自那个实例节点你们是直接打印的日志里吗。比如程序跑5个实例在不同的机器上,有一个实例的机器可能是网络故障、硬件损坏了,如果只存message内容目前你们是怎么在采集里区分的在那台机器出问题 哪台机器出问题,属于运维监控层面的事,负载均衡会自动去掉异常节点,不将日志流量转发过去。 监控系统很成熟,通过监控报警,自然就知道问题出现在哪台机器上。 分层思想,可以简化当前处理的问题。也就是说,我们不在业务里面处理日志的节点跟踪。