在本文中,将学习如何通过Azure Data Factory创建一个数据管道,以实现数据库表之间的数据复制。这个过程包括创建源数据集和目标数据集、映射数据流和表架构、创建活动以复制表数据,以及设置手动和计划触发器。
在开始之前,请确保拥有以下条件:
首先,需要创建一个数据工厂。点击资源,搜索数据工厂,然后从菜单中选择数据工厂,接着点击创建数据工厂。
填写必要的字段并点击创建。创建数据工厂后,点击作者和监控。
在作者和监控页面,选择复制数据。
点击复制数据,从向导中填写所有必填信息,然后点击下一步。
点击下一步,选择源数据存储,即数据需要从哪里获取。
点击创建新连接,因为正在处理Azure SQL表,所以选择Azure SQL数据库。
在下一个屏幕上填写必要的字段,包括服务器名称、数据库名称、用户名和密码。这些是在设置Azure SQL服务器时使用的SQL身份验证凭据。
点击测试连接,一旦成功,点击完成。
接下来,选择源表中需要传输数据的表。如果需要在从源表检索数据时添加任何过滤数据或自定义查询,请添加自定义查询。
现在,为目的地数据库添加另一个数据集。在下一个屏幕上,选择Azure SQL数据库并点击完成。
在下一个屏幕上,输入目标数据源的必填信息。点击创建按钮后,源和目标数据存储将显示在屏幕上。
接下来,对于选择复制的每个源数据存储中的表,选择目标数据存储中的相应表或指定要在目标处运行的存储过程。
点击下一步,需要选择如何映射源和目标列。
点击最终的下一步按钮,将显示完整的部署确认消息,包括管道、数据集、创建和启动触发器。
点击完成按钮,以从向导部署数据工厂及其所有配置。然后,点击管道配置。
发布更改后,选择管道,触发器,立即触发,以将数据从源视图复制到目标表。
现在,数据已成功复制到目标数据库。
现在,将添加另一个活动,即在源到目标表的数据转换成功后执行的操作。在这个练习中,将添加一个存储过程活动,以删除所有日期大于当前日期180天的数据。
点击存储过程活动,更改名称和其他必填字段。然后,点击SQL帐户选项卡配置SQL数据源。
接下来,选择存储过程选项卡,并从下拉选择中选择所需的存储过程。
再次更改后,让验证更改。如果没有发现错误,那么可以发布更改。
还可以计划触发器在一定时间间隔后运行。以下是执行此操作的步骤。
点击左侧的作者图标,然后点击触发器,新建。
填写必填字段。计划触发器每天凌晨12点EST运行。选择以下选项,并在不想触发时不要勾选激活按钮,因为它可以在触发器与任何管道关联后激活。
点击完成。
发布触发器后,点击左侧的监控图标,然后点击触发器运行标签。应该能够看到每个触发器的运行状态。