yangxusun9

如何实现精准一次性读取数据

12

#24 请问：我的疑问其实跟这个issue类似，我在实际运行mysql-cdc时，发现每次重启，cdc都会去把表中数据全量读取一遍，即使我已经在代码里设置了 `properties.setProperty("debezium.snapshot.mode", "never"); //schema_only也是一样的` 完整代码如下： ` import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource; import com.alibaba.ververica.cdc.debezium.DebeziumSourceFunction; import com.alibaba.ververica.cdc.debezium.StringDebeziumDeserializationSchema; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import java.util.Properties; public class MySqlBinlogSourceExample { public static void main(String[] args) throws Exception { Properties...

feat: add sink options to sink with no schema

1

#117 support sink with no schema demo: ``` CREATE TABLE `source_table` ( `key` STRING, `value` STRING, `biz_type` INT, `vehicle_id` STRING ) WITH ( 'connector' = 'kafka', ... ); CREATE TABLE...

是否考虑flink sql 模式下无Schema写入StarRocks

3

# 场景 上游数据的特征为schema变化频繁，为了避免频繁的重启任务，需要借助于StarRocks 根据表Schema解析Json的能力。即flink 任务的输出为Json体，StarRocks 接收到Json后，根据表当前的Schema 去解析为表数据。只要保证StarRocks 表与上游数据的Schema 保持同步，就可以实现在不影响flink 任务的情况下，下游及时获取到新增Schema的数据 # 现状 目前低阶API 能实现这个功能，但是无法在sql模式下调用 #建议 在sql 模式下通过配置的方式，让用户选择使用Schema模式和无Schema模式，比如： `create table sr_sink ( biz_type int, vehicle_id string, tags array )with( 'connector' =...