DataHub问题之同步篇

2023年11月19日 0 154

Q:DataHub同步延迟很大,不符合5min/64m归档一次

  • 检查数据同步状态,若为EXECUTING代表同步任务正常
  • 可能原因:数据同步点位设置有误,页面创建默认从当前时间创建
  • 如何解决:创建同步时指定时间为数据最早写入时间

Q:Datahub归档状态显示为hang?

  • image.png

点击问号按钮查看详情,会显示hang原因,进行更正

DataHub归档状态为error

  • 7.png

解决办法:查看失败原因,尝试重启归档

Q:Odps partition not in partition config. partition:ts traceId: 20200331160333a838dc0bcc14e600]

  • MaxCompute中对应的分区信息不在DataHub的分区信息中。这个多见于使用SystemTime或者EventTime模式同步的方式,这种方式,需要MaxCompute中固定存在三级分区分别是ds/hh/mm,分区类型为String,如果匹配不上,就会报这个错误。

maxcompute新加一个字段流程

  • 首先Topic schema需要使用appendField新加字段,然后connector也需要新加字段,最后调用connector reload方法进行重启,具体所用到的方法见https://help.aliyun.com/document_detail/158841.html?spm=a2c4g.11186623.6.589.6f621a12k5u2ia#h2-connector-10

数据同步脏数据会自动清理的吗

  • 脏数据指的是在datahub里,写不到下游的数据【下游产品无法接收】,同步时候会自动跳过

datahub里面在配置数据同步的页面的时候,出现了字段信息太多的问题,导致后面的页面无法上翻

  • 全屏即可下翻

所有文章为演示数据,不提供下载地址,版权归原作者所有,仅提供演示效果!

资源淘 大数据领域 DataHub问题之同步篇 https://www.ziyuantao.com/wenzhang/detail/7754

我们只做高端Wordpress主题开发!

相关文章

猜你喜欢
发表评论
暂无评论
全部评论