文章目录
- 一、概述
- 1、简介
- 2、核心能力
- 3、产品架构
- 3.1、系统架构
- 3.2、数据迁移工作原理
- 3.3、数据同步的工作原理
- 二、DTS智能助手
- 三、数据同步方案
- 1、源为自建MySQL或RDS MySQL
- 2、源为AnalyticDB MySQL 3.0
一、概述
1、简介
数据传输服务DTS（Data Transmission Service）是阿里云提供的一站式数据传输与处理平台。它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力，致力于在多种数据源之间，构建安全、可靠、高性能的数据流动链路，以满足业务上云、异地灾备和实时数仓等多样化场景需求。
2、核心能力
DTS围绕数据的流动，提供了丰富且强大的核心能力，覆盖从数据迁移、实时同步到增量订阅等多种场景。这些能力可以归纳为以下几大类型：
| 功能类型 | 主要能力 | 适用场景 |
|---|---|---|
| 数据传输_数据迁移 | 将数据从一个数据源一次性地迁移至另一个数据源。支持同构和异构数据库，可实现在业务不停服的情况下进行数据迁移，将停机时间降至分钟级。 | 业务上云、数据库搬迁等。 |
| 数据传输_数据同步 | 在不同数据源之间建立实时、持续的数据同步链路，可以实现数据库之间的对等同步（支持单向或双向），从而构建高可用或高性能的数据架构。同时，提供额外的数据投递链路，支持使用SDK将各种类型的增量数据（如日志数据或其他特殊数据类型）投递至指定数据源。 | 版本升级、数据拆分或扩容、异地多活、异地灾备、跨境同步、查询报表分流、构建实时数据仓库等。 |
| 数据订阅 | 实时捕获源数据库的增量变化数据（如INSERT/UPDATE/DELETE操作），供下游应用按需消费。 | 缓存更新策略、业务逻辑异步解耦、为复杂ETL或异构数据源同步提供实时数据流。 |
| 数据加工 | 在数据流动过程中，对流式数据进行实时的抽取（Extract）、转换（Transform）和加载（Load）。 | 满足实时数据清洗、格式转换、字段增删等数据处理和计算需求。 |
| 数据校验 | 支持在数据迁移或同步任务中，或创建独立的数据校验任务，对比源端和目标端的数据，以验证数据的一致性。 | 作为一项保障能力，帮助您及时发现并定位数据不一致问题，确保数据传输的准确性。 |
3、产品架构
3.1、系统架构
DTS系统架构特性说明
系统高可用
数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到其他节点。
数据源地址动态适配
对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。
3.2、数据迁移工作原理
数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。 如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。
- 结构迁移：在迁移数据之前，DTS需要在目标数据库中重新创建数据结构。对于异构数据库之间的迁移，DTS会解析源数据库的DDL代码，将代码转换成目标数据库的语法，然后在目标数据库中重新创建结构对象。
- 全量数据迁移：在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。 源数据库保持运行状态，在迁移过程中仍不断进行数据更新。 DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。 当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。
- 增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。 此过程将持续下去，直到所有正在进行的数据变更都复制到目标数据库，并且源数据库和目标数据库完全同步。
3.3、数据同步的工作原理
DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：
- 同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。
- 数据实时同步：DTS同步正在进行的数据变更，并保持源数据库和目标数据库的同步。
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：
- 事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果源数据库为RDS MySQL，那么数据抓取模块通过Binlog dump协议连接源库。
- 日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到目标实例。
DTS具备日志读取模块、日志回放模块的高可用，DTS容灾系统一旦检测到链路异常，就会在健康服务节点上断点重启链路，从而有效保证同步链路的高可用。
二、DTS智能助手
DTS智能助手是数据传输服务DTS（Data Transmission Service）基于阿里云大模型构建的智能问答助手。该功能利用深度学习与自然语言处理技术，为您提供DTS常见问题的咨询服务，帮助您全面了解并使用DTS的各项功能，同时协助解决在使用DTS过程中遇到的问题。
优势
智能问答
通过先进的人工智能算法快速准确地理解并回答提问，从而减轻技术支持人员的压力，同时提升解决问题的效率。
全面覆盖
涵盖DTS的所有核心功能与应用场景，即使是首次接触DTS的新手也能够迅速获取相关的帮助信息。
个性化推荐
根据您的查询记录和个人偏好，在答复末尾主动推送相关教程或解决方案，协助您获取适合的帮助信息。
持续更新
随着DTS产品的迭代和技术的进步，DTS智能助手的知识库将持续扩充和完善，以确保为您提供全面的帮助信息。
操作步骤
登录数据传输服务DTS控制台。
进入DTS智能助手对话框。
有如下两种方式进入对话框，请根据实际情况选择。
在页面右上方，单击
。
在任务列表（数据同步、数据订阅、数据迁移、数据校验或专属集群）页面上方，单击DTS智能助手。
在对话框下方的文本框，输入您的问题。
按回车键，然后耐心等待智能助手生成答案。
说明
您也可以在输入框右侧，单击Send。
查看生成的结果。
说明
您可以单击末尾的帮助文档或推荐内容，查看更多信息。
三、数据同步方案
1、源为自建MySQL或RDS MySQL
| 目标库 | 同步类型 | 同步拓扑 | 配置文档 |
|---|---|---|---|
| PolarDB MySQL版所有版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步双向同步 | PolarDB MySQL版间的单向同步PolarDB MySQL版间的双向同步 |
| 自建MySQL5.1、5.5、5.6、5.7、8.0版本RDS MySQL所有版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步双向同步 | PolarDB MySQL版同步至RDS MySQL |
| PolarDB-X 1.0 | 全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至PolarDB-X 1.0 |
| PolarDB-X 2.0 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至PolarDB-X 2.0 |
| 云原生数据仓库 AnalyticDB MySQL 版2.0、3.0版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 |
| 云原生数据仓库 AnalyticDB PostgreSQL 版4.3、6.0、7.0版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至云原生数据仓库AnalyticDB PostgreSQL版 |
| 阿里云消息队列Kafka版0.10.1.02.x版本自建Kafka0.10.1.02.7.0版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至阿里云消息队列Kafka版 |
| DataHub | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至DataHub |
| 云数据库ClickHouse集群20.8及以上版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至ClickHouse集群 |
| Elasticsearch5.5、5.6、6.x、7.x、8.x版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至Elasticsearch |
| MaxCompute | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至MaxCompute |
| Oracle（RAC或非RAC架构）版本为9i、10g、11g、12c、18c、19c | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至自建Oracle |
| 云数据库SelectDB版 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至云数据库SelectDB版 |
| Doris1.2及以上版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至自建Doris |
| 云原生多模数据库Lindorm | 全量数据同步增量数据同步 | 单向同步 | PolarDB MySQL版同步至云原生多模数据库Lindorm |
2、源为AnalyticDB MySQL 3.0
| 源库 | 目标库 | 同步类型 | 同步拓扑 | 配置文档 |
|---|---|---|---|---|
| 云原生数据仓库 AnalyticDB MySQL 版3.0版本 | 云原生数据仓库 AnalyticDB MySQL 版3.0版本 | 库表结构同步全量数据同步增量数据同步 | 单向同步 | AnalyticDB MySQL 3.0间的同步 |
