腾讯云通用业务上云迁移工具
立即咨询
首页
常见云组件与迁移工具列表
迁移服务平台MSP
功能介绍
腾讯官方迁移工具、合作伙伴迁移工具、一资源扫描工具
资源选型对照表、资源创建工具、对象存储迁移工具
数据库迁移批量辅助工具、数据库迁移割接工具、大数据迁移校验工具
资源选型对照表、资源创建工具、对象存储迁移工具
数据库迁移批量辅助工具、数据库迁移割接工具、大数据迁移校验工具
覆盖产品
能覆盖主流云厂商
主机迁移方法
主机迁移场景
K8s集群的选型
K8s容器应用迁移方案
K8s应用部署方案针对客户自研开发的应用，推荐使用CICD的方式直接发布版本到云端腾讯云提供托管容器服务TKE和容器镜像服务TCR，用户可以通过CICD的方式将Docker镜像推送到腾讯云的容器镜像服务，然后通过He1m Chart进行应用管理部署。
迁移工具-数据传输服务DTS
迁移能力
厂家支持：支持自建和友商（阿里，AWS）
源数据库:支持9种（mysq1、redis、mongoDB、perconna、sqlserver、tdsql以及PG）
数据迁移：通常支持结构迁移、全量迁移以及全量+增最迁移
异构迁移：不同类型数据库之间迁移以及跨版本迁移
断点续传：支持断点续传
数据一致性检查
源数据库:支持9种（mysq1、redis、mongoDB、perconna、sqlserver、tdsql以及PG）
数据迁移：通常支持结构迁移、全量迁移以及全量+增最迁移
异构迁移：不同类型数据库之间迁移以及跨版本迁移
断点续传：支持断点续传
数据一致性检查
约束限制
只支持迁移基础表和视图，暂不支持函数、触发器、存储过程等对象。
相互关联的数据对象需要同时迁移，否则会导致迁移失败。
数据库版本，例如mysq1要求源5.5以上版本
相互关联的数据对象需要同时迁移，否则会导致迁移失败。
数据库版本，例如mysq1要求源5.5以上版本
数据库迁移：迁移至腾讯云数据库CDB方案
方案要点
数据同步：使用DTS进行全量+增量的整个实例 同步方式
业务停写：当DTS显示源目标端数据差距和延时均为0，业务停写
数据备份：源库做数据备份
源目标端数据一致性检查
业务切换：业务读写流量指向目标数据库
数据同步：建立数据同步任务
流量切换及试运行
业务停写：当DTS显示源目标端数据差距和延时均为0，业务停写
数据备份：源库做数据备份
源目标端数据一致性检查
业务切换：业务读写流量指向目标数据库
数据同步：建立数据同步任务
流量切换及试运行
回滚方案
由于存在数据同步任务，两端数据一致，回滚代价较低
注意点
CDB for mysq1 最低版本为5.5,自建低版本建议升级至5.5版本，再迁移数据库管理工具 CMS，数据库诊断工具 DB-Brain
DTS支持数据库类型
MySQL、MariaDB、Percona、TDSQL-C、TDSQL MySQL、PostgreSQL、Redis、MongoDB、SQL Server 等多种数据库类型
数据库迁移：MongoDB迁移方案工具：云DTS工具进行迁移
支持场景：
DTS 支持的版本包括 MongoDB 3.0、3.2、3.4、3.6、4.0、4.2
支持副本集 -副本集、副本集 -分片集群、分片集群 - 副本集:分片集群 -分片集群的4种场景
MongoDB DTS迁移指引
数据库迁移：迁移Redis方案
存储迁移：对象存储迁移方案工具：对象存储迁移工具-MSP场景
场景
其他公有云迁移到腾讯云COS
URL文件迁移到腾讯云COS
S3协议对象存储迁移到腾讯云COS
URL文件迁移到腾讯云COS
S3协议对象存储迁移到腾讯云COS
功能
支持查看数据迁移进度
文件一致性校验
失败重传、断点续传
传输限流、传输速度取诀带宽
文件一致性校验
失败重传、断点续传
传输限流、传输速度取诀带宽
全托管模式
不需要安装Agent，创建同步任务即可
通过公网读取源数据，源对象会产生出流量费，入流量免费最大速度200Mbps，约2TB/天，适合存储量小的业务（TB级）
通过公网读取源数据，源对象会产生出流量费，入流量免费最大速度200Mbps，约2TB/天，适合存储量小的业务（TB级）
Agent半托管模式景
源和目标之间建设专线，不会有流量费，但会产生建设专线费用源云上部署 Agent，Agent 通过内网拉取源数据，并推送到腾讯云对象存储 Cos，Agent支持多服务器协同
速度取决专线带宽，适合存储量大的业务（PB级）
速度取决专线带宽，适合存储量大的业务（PB级）
存储迁移：对象存储迁移方案
COS Migration
丰富的数据源:本地数据,其他云存储,URL 列表,Bucket
断点续传/分块上传/并行上传
迁移校验
断点续传/分块上传/并行上传
迁移校验
COSCMD
将本机数据上传至 COS
COSDistCp
增量迁移、数据校验
对源文件进行正则表达式过滤
对源目录中的文件进行解压缩 ，并转换为预期的压缩格式
基于正则表达式，对文本文件进行聚合
保留源文件和源目录的用户、组、扩展属性和时间
配置告警和 Prometheus 监控
统计文件大小分布
对读取带宽进行限速
对源文件进行正则表达式过滤
对源目录中的文件进行解压缩 ，并转换为预期的压缩格式
基于正则表达式，对文本文件进行聚合
保留源文件和源目录的用户、组、扩展属性和时间
配置告警和 Prometheus 监控
统计文件大小分布
对读取带宽进行限速
COSFS
对象存储桶挂载到本地
存储迁移：文件存储迁移方案
工具：Filetruck
功能
数据迁移任务
查询任务执行情况
支持MD5数据一致性验证
数据迁移任务
查询任务执行情况
支持MD5数据一致性验证
场景
CFS 文件系统/CBS 云硬盘/COSFS本地路径
CFS 文件系统/CBS 云硬盘/COSFS本地路径
打通网络后挂载到该主机上的所有本地路径
存储迁移：离线迁移方案
工具
CDM，云数据迁移（c1oud Data Migration）是腾讯云提供的 TB-PB 级别的数据迁移上云服务。CDM 使用专用迁移设备将数据从您的数据中心快速高效地迁移上云，并且采用 RAID 、加密等多种方式对迁移过程的数据进行安全保障， 最大程Q度降低数据损坏和泄露的风险。
离线迁移设备
M30：适用于办公区，网络带宽较小
L80：适用于机房环境，网络带宽较大
离线迁移场景
数据量大（TB级别），超过50T以上
通过在线迁移，时长超过1周以上
接受离线传输
接受离线传输
离线迁移流程
1、客户根据容量确定设备型号和数量，提交申请
2、客户收到由腾讯云寄出的设备后，拷贝数据到设备
3、客户提交寄回申请
4、腾讯云收到寄回的设备后，把数据拷贝到云存储cos
5、客户验证，完成数据迁移
3、客户提交寄回申请
4、腾讯云收到寄回的设备后，把数据拷贝到云存储cos
5、客户验证，完成数据迁移
中间件迁移：kafka迁移至腾讯云Ckafka方案
消息有序性要求较高
消息有序性的前提是严格控制单个消费者来消费数据，因此存在新Ckafka 消息堆积情况。迁移步骤如下所示：
1、切换生产流，生产者将数据生产到CKafka实例。
2、原有消费者无需做配置，持续消费自建Kafka集群的数据，在消费完成时，通过配置切换为新消费者消费CKafka集群的数据
1、切换生产流，生产者将数据生产到CKafka实例。
2、原有消费者无需做配置，持续消费自建Kafka集群的数据，在消费完成时，通过配置切换为新消费者消费CKafka集群的数据
3、新消费者持续消费CKafka集群中的数据，迁移完毕
消息有序性要求较低
数据有序性要求不高的情况下，可以采用多个消费者并行消费的方式不会产生消息堆积情况。迁移步骤如下所示：
1、切换生产流，生产者将数据生产到 CKafka 实例。
2、原有消费者无需特殊配置，继续消费自建 Kafka 集群的数据，同时也可以增加新的消费者消费 CKafka 集群的数据。当原有自建集群的数据消费 完成后，即迁移完毕。
2、原有消费者无需特殊配置，继续消费自建 Kafka 集群的数据，同时也可以增加新的消费者消费 CKafka 集群的数据。当原有自建集群的数据消费 完成后，即迁移完毕。
大数据迁移：迁移elasticsearch
大数据迁移：Flink迁移至腾讯云流计算Oceanus
大数据迁移：自建/友商云EMR迁移至腾讯云EMR数据迁移方案迁移工具支持
数据迁移（全量&增量）、数据校验工具、Hive元数据迁移
Hive元数据校验、HBASE一键迁移工具、HiveSQL语法兼容校验
大数据迁移：EMR-HDFS 全量数据迁移
普通迁移
将本地HDFS中的数据通过Hadoop原生工具迁移工具Distcp迁移至日标环境，增量文件通过update 参数控制进行同步
计算存储分离迁移
将本地HDFS中和实时计算关系不大的冷数据迁移至C0S，可以大大降低存储的成本，适用于离线计算的场景
大数据迁移
迁移工具
数据库dump工具，如mysqldump
迁移步骤
dump源Hive元数据库
确认目标Hive表数据在 HDFS 中的缺省路径
确认目标Hive元数据 SDS.LOCATION 和 DBS.DB LOCATION URI 字段
停止目标Hive服务 MetaStore、HiveServer2、WebHcataLog
创建目标Hive元数据库
导入源Hive元数据库到目标数据库
启动目标 Hive 服务 HMetaStore、HiveServer2、WebHcataLog
通过简单的 Hive SQl 进行查询验证
确认目标Hive表数据在 HDFS 中的缺省路径
确认目标Hive元数据 SDS.LOCATION 和 DBS.DB LOCATION URI 字段
停止目标Hive服务 MetaStore、HiveServer2、WebHcataLog
创建目标Hive元数据库
导入源Hive元数据库到目标数据库
启动目标 Hive 服务 HMetaStore、HiveServer2、WebHcataLog
通过简单的 Hive SQl 进行查询验证
大数据迁移：HBase迁移
迁移方案
Hbase表是基于 hadoop HDFS 构建，Hbase的迁移可从两个维度看：
基于HDFS的DistCP方式 和基于Hbase表结构数据迁移:
全量数据通过 Snapshot（快照）方式迁移。增量数据通过 HBase Replication（复制）机制实现
基于HDFS的DistCP方式 和基于Hbase表结构数据迁移:
全量数据通过 Snapshot（快照）方式迁移。增量数据通过 HBase Replication（复制）机制实现
迁移案例-某家装云设计平台某家装设计平台是全球最大室内3D设计、装饰和Sass服务提供商。历时2个月，完成全站向腾讯云迁移
挑战点
多地团队协同
400+业务模块，耦合度高
云服务规模大，涉及20+云产品数据
400+业务模块，耦合度高
云服务规模大，涉及20+云产品数据
规模
全量业务：600+主机;
数据库：RDS 200+套;Redis 100套;MongoDB 10+套;
数据库：RDS 200+套;Redis 100套;MongoDB 10+套;
ES：20+套:Hbase：8华;
对象存储：4PB+。
对象存储：4PB+。
技术组件
云产品：ACK、ECS、RDS、Redis、MongoDB、Hbase、Es、Oss等:
开源组：Nginx、RocketMQ、Kafka、ZooKeeper等。
迁移工具
DTS/Hbase replication/迁移服务平台/Cos migration等。
割接时长
分批割接，核心业务2小时。
迁移案例-某家装云设计平台
迁移步骤
环境准备、业务测试
灰度流量、业务割接
DNS切流、回滚预案
灰度流量、业务割接
DNS切流、回滚预案
迁移经验
成立迁移专项组：建立上升机制、沟通机制
利用迁移工具提升迁云效率：资源一键扫描工具/DTS批量创建工具/数据库割接工具
充分演练：确保每个成员知道自己再什么时间点干什么事
风险预案充分：如办公终端/掉电、疫情风控、腾讯文档故障、腾讯会议等
风险预案充分：如办公终端/掉电、疫情风控、腾讯文档故障、腾讯会议等
迁移常见问题-不适合上云场景
迁移常见问题-软件版本过低
迁移常见问题-带宽打满
迁移常见问题-数据一致性问题
迁移常见问题-环境一致性问题
迁移常见问题-RDS只读问题
迁移常见问题-出口IP冗余问题
产品推荐
腾讯健康组学平台以PaaS架构底座为基因企业提供高效部署、弹性调度、高效易用的生信云环境及多类型计算资源。打通应用、调度、计算和存储之间的边界、简化上云配置、简化运维管理，助力基因企业快速构建/迁移云上自用/对外服务生信云。
数字化社区
视频
文章
