chunjun
chunjun copied to clipboard
chunjun 增加自定义函数模块
提个想法:是否可以在chunjun项目里增加个flinkx-udfs or chunjun-udfs(udafs/udtfs 名称待定)模块。 加这个模块的的作用主要有两点: 1、解决flink 1.12 缺少新版本的一些内置函数,因为永远也跟不上flink 社区版本的节奏。 2、收集汇总常用的udfs ,就算flink 社区开发再快,也有一些没有特性函数,比如nginx ip 查询ip库解析。 3、比如现在版本缺少json内置函数,首先我还要另开项目去开发,开发完还要想办法集成到chunjun里进行测试。 4、待补充,其它优势就不一一列举了 各位看看这个想法如何?欢迎补充
我现在就遇到这种尴尬处境,想用flink 新特性函数吧, 要等咱们chunjun 升级相关版本的话,一时半会估计也升级不了, 用flink 最新版本搞吧,又脱离了咱们chunjun 自己开个项目搞个udf吧,然后还在chun里使用测试,感觉多个项目又有些割裂。
在该项目里面,可以新增udf模块,涉及到udf、udaf、udtf等。 在进行相应的配置和只编译自定义函数模块,就可以马上进行测试,并且可以单步调试,给出一下demo函数和使用步骤说明等。 并且自定义函数需要注意flink 的版本,相同udf实现在不通版本之间可能会出现异常。