Skip to content

简介

本文档以【采购风险管理】需求为案例,此需求里,我们需要从中台同步三个表数据到云ERP的库里。

准备工作

  • 《Easydata平台》账号,需要web界面操作
  • 对方系统提供的已经授权的表信息,例如本需求里的:
    • jzt_cdm.ads_jzt_prod_inv_expired_risk_fk015a_mtd
    • jzt_cdm.ads_jzt_inv_risk_alarm_fk016a_zy_origin_dd
    • jzt_cdm.ads_jzt_supplier_prepay_alarm_fk018a_dd

步骤1:进入数据资产地图

  • 登录《Easydata平台》,从侧边栏进入数据资产地图 查看授权的表信息1
  • 直接搜索需要查看的对方的表信息 查看授权的表信息2

步骤2:查看授权表的关键信息

  • 查看详情,重点关注以下信息
    • 所属库jzt_cdm,可以查询到数据源类型
    • 项目-集群jzt_dmp-easyops-cluster查看授权的表信息3
  • 可以通过查看DDL或者查看Select语句,借助AI工具快速生成你需要的建表语句,先把表建起来,这里我在对方的数据结构基础上加上了一个自增id字段id BIGINT NOT NULL AUTO_INCREMENT COMMENT '自增ID'

步骤3:进入新建任务页面

  • 进入【数据传输】菜单,点击【新建任务】按钮,先随便选个数据源,让【新建数据源】按钮出现,点进去可以利用所属库jzt_cdm查询到数据源类型 创建离线同步任务1创建离线同步任务2

注意:所属库jzt_cdm查询到数据源类型后,顺便也在这个页面查询一下你需要同步的数据库是否配置在数据源列表里,记得核对数据源连接信息是否正确

步骤4:创建离线同步任务

  • 回到新建任务页面,开始填写信息,并且核对下面的字段映射,注意几个特殊点:
    • 这里我是需要每晚全量覆盖同步,需要先清空表再同步数据,因此才配置了 PreSql TRUNCATE TABLE ods_mid_prod_inv_expired_risk_mtd
    • 我使用了自增长 id,并且没有设定唯一索引,才可以使用默认的写入规则追加,如果有唯一键,这里需要根据实际情况设置 创建离线同步任务3
  • 保存之后,可以在任务列表里点击一次运行,验证是否能成功执行,如果失败可以通过试运行状态旁边的日志图标查看运行日志

步骤5:创建调度任务

  • 进入【离线开发】菜单,选择一个目录,创建一个任务 创建调度任务1

步骤6:填写任务基本信息

创建调度任务2

步骤7:画任务链路

  • 根据需要调度的任务,拖动对应数量的任务块,命名并画线 创建调度任务3

步骤8:引用之前已设置好的任务

  • 双击任务块,进入任务详情页面,展开引用详情,选择步骤2创建的同步任务覆盖过来,点击临时保存 创建调度任务4

步骤9:开启调度

  • 进入【调度设置】,开启调度
  • 设置调度时间,这里我配置了每天凌晨5点执行 开启调度

步骤10:添加依赖节点

  • 不同项目之间的任务节点依赖,需要对方先将他们的任务授权给我们
  • 等对方授权之后,我们点击【添加任务依赖节点】,搜索到对方的任务,选择【末级节点】勾选 添加依赖节点

步骤11:依赖节点添加之后保存

  • 后面的设置如果没有特殊需求默认即可,我这里没有去动
  • 依赖节点的添加如下 依赖节点添加之后保存

步骤12:提交线上

  • 全部设置好之后,记得保存,并且可以全选运行一次,验证是否成功,可以通过运行按钮旁边的结果按钮查看运行状态和日志
  • 最后提交才能发到线上,线上模式才会生效,才会定时执行,一定得全部提交(包含调度和任务),如果只是改了部分或者调试也可以部分提交 提交线上

页脚:版权前显示的信息