恒美微站
首页
关于我们
建站服务
主题模板
案例展示
资讯中心
联系我们
hudi系列-changelog的读写
首页
资讯中心
/
hudi系列-changelog的读写
hudi系列-changelog的读写
发布时间:2026/8/14 5:29:47
1. chanelog模式在以hudi的MOR表作为flink cdc的源时,出现了一些并非预期的效果。hudi自身支持ChangelogModes#FULL ChangelogModes#UPSERT两种模式,从它们支持的RowKind来看,还以为数据写入与读取时 RowKind是一致的,其实不然;另外,如果读写分别使用了不同的模式,那又会产生什么后果,我们应该怎么使用它。当changelog.enable=true时,为FULL模式,包含的RowKind有:INSERT , UPDATE_BEFORE , UPDATE_AFTER , DELETE当changelog.enable=false时,为UPSERT模式,包含的RowKind有:INSERT , UPDATE_AFTER , DELETE2. FULL模式2.1 写数据在该模式下,sink端会完整接收上流所有RowKind类型的数据,在hudi内部通过往行记录中增加元数据字段_hoodie_operation,并将该字段的值设置为RowKind的名称(+I,-U,+U,-D),通过查看生成的rt表和ro表结构,多了一列。