数据迁移服务参数说明

Aliyun OSS

Endpoint

OSS的Endpoint支持如下四种格式&＃xff1a;

当OSS作为数据源时&＃xff0c;迁移服务会自动使用内网下载&＃xff1b;其它数据源时&＃xff0c;OSS会使用内网上传。以下格式均为非法&＃xff1a;

# 带存储空间名称
http://bucket.oss-cn-hangzhou.aliyuncs.com
# 带其它资源
http://oss-cn-hangzhou.aliyuncs.com/bucket
http://oss-cn-hangzhou.aliyuncs.com/bucket/object
# 带有其它限制条件
http://oss-cn-hangzhou.aliyuncs.com/
http://oss-cn-hangzhou.aliyuncs.com?
http://oss-cn-hangzhou.aliyuncs.com/?qs&＃61;
http://oss-cn-hangzhou.aliyuncs.com/?qs&＃61;val
# CDN域名、Cname等费OSS域名
http://d1.d2.d3.com
# 不携带指定协议
oss-cn-hangzhou.aliyuncs.com/

OSS的Endpoint详细列表&＃xff0c;参见访问域名。

Bucket

请填写正确的存储空间名称&＃xff0c;前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件&＃xff0c;即指定前缀的文件&＃xff0c;不包括文件名称为前缀的文件。请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

AccessKeyId/SecretAccessKey

访问密钥&＃xff0c;简称为AK/SK。迁移服务的AK/SK可以是主用户、子用户的密钥&＃xff0c;不能是临时用户的密钥&＃xff0c;上述概念的解释请参考访问控制。目前尚不支持服务费授权。
如果OSS做为迁移服务的数据源&＃xff0c;子用户可以使用以下Policy授权&＃xff1a;

{"Version": "1","Statement": [{"Effect": "Allow","Action": ["oss:GetObject","oss:ListObjects"],"Resource": ["acs:oss:*:*:mybucket"],"Condition": {}}]
}

如果OSS做为起迁移服务的目标&＃xff0c;子用户可以使用以下Policy授权&＃xff1a;

{"Version": "1","Statement": [{"Effect": "Allow","Action": ["oss:GetObject","oss:PutObject","oss:ListObjects","oss:DeleteObject","oss:AbortMultipartUpload"],"Resource": ["acs:oss:*:*: mybucket"],"Condition": {}}]
}

你可以为迁移服务创建特定子用户&＃xff0c;生成专用的AK/SK&＃xff1b;迁移任务完成后相应的AK/SK。

迁移存储量/迁移文件个数

存储空间下的存储量和文件数可以通过OSS的控制台查看。

AWS S3

迁移服务尚不支持AWS S3的白名单访问。如果有白名单配置&＃xff0c;请先暂时取消白名单或提工单。

Endpoint

迁移服务支持以下区域及格式&＃xff0c;其它的格式均不支持。协议支持HTTPS的域名还可以使用https。

Bucket

请填写正确的存储空间名称&＃xff0c;前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件&＃xff0c;即指定前缀的文件&＃xff0c;不包括文件名称为前缀的文件。请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

AccessKeyId/SecretAccessKey

请在AWS控制台的IAM页面&＃xff0c;创建用户并授予 AmazonS3ReadOnlyAccess 权限&＃xff0c;然后再创建访问密钥。迁移完成后删除用户。

迁移存储量/迁移文件个数

请认真评估&＃xff0c;确保与实际值相符。

Azure blob

存储账户/密钥/连接字符串

国际版&＃xff0c;进入Azure的管理控制台&＃xff0c;在路径 主页 > 存储帐户 > {存储帐户名称} > 访问密钥 中找到存储账户、密钥、连接字符串信息。如下图&＃xff1a;

容器

容器即Azure中的container。

前缀

迁移指定“目录”下的文件&＃xff0c;即指定前缀的文件&＃xff0c;不包括文件名称为前缀的文件。请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

迁移存储量/迁移文件个数

在路径 主页 > testbucket2018 - Blob > container - 属性 有 计算大小 按钮可以
计算出容器大小。如下图&＃xff1a;

Tencent cos

迁移服务支持V4版本的COS&＃xff0c;采用V4版本的API访问COS。

所属地区

V4版本的COS可以地域如下表&＃xff0c;所属地区请填写地域简称&＃xff1a;

Bucket

COS Bucket&＃xff08;存储桶&＃xff09;名称由 [自定义名称]-[开发商APPID] 构成。数据迁移服务的bucket配置项请填写自定义名称部分&＃xff0c;比如 mingdi-1252883280&＃xff0c;迁移服务的bucket项填 mingdi。

Prefix

迁移指定目录下的文件&＃xff0c;即指定前缀的文件。请以 / 开头&＃xff0c;以 / 结尾&＃xff0c;如 /docs/。

APPID

请到控制台账号信息页面查看&＃xff0c;如下图。

SecretId/SecretKey

请从控制台 云产品 > 管理工具 > API密钥管理 进入访问控制页面&＃xff0c;查看或新建密钥。推荐您为迁移服务新建密钥&＃xff0c;迁移完成后删除。

迁移存储量/迁移存储量

请从控制台 云产品 > 存储 > 对象存储 进入对象存储页面&＃xff0c;然后进入监控报表的基础数据统计页面&＃xff0c;查看待迁移Bucket的存储量和
对象数量&＃xff0c;如下图。

七牛qiniu

Endpoint

从七牛控制台进入对象存储页面&＃xff0c;选择指定的存储空间后&＃xff0c;在 融合CDN测试域名 或 融合CDN加速域名 栏可以看到域名&＃xff0c;如下图。

Endpoint即http://域名&＃xff0c;如

http://oy4jki81y.bkt.clouddn.com
http://78rets.com1.z0.glb.clouddn.com
http://cartoon.u.qiniudn.com

上面3个均为有效Endpoint&＃xff0c;其它格式均无效。

Bucket

七牛对象存储的存储空间。

Prefix

迁移指定“目录”下的文件&＃xff0c;即指定前缀的文件&＃xff0c;不包括文件名称为前缀的文件。请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

AccessKey/SecretKey

在 管理控制台 > 个人面板 > 密钥管理 页面可以看到AK/SK&＃xff0c;即AccessKey/SecretKey。请使用状态为使用中的有效AK/SK。

迁移存储量/迁移文件个数

从七牛控制台进入对象存储页面&＃xff0c;选择指定的存储空间后&＃xff0c;进入内容管理页面&＃xff0c;可以看到文件数和存蔟量。如下图。

Baidu bos

Endpoint

目前支持“华北-北京”、“华南-广州”和“华东-苏州”三个区域。迁移服务使用Endpoint如下表&＃xff1a;

Bucket的区域请到控制台的 产品服务 / 对象存储BOS - Bucket管理 查看&＃xff0c;如下图。

Prefix

迁移指定“目录”下的文件&＃xff0c;即指定前缀的文件&＃xff0c;不包括文件名称为前缀的文件。请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

AccessKeyID/SecretAccessKey

请到控制台的 安全认证 / Access Key 页面上查看&＃xff0c;如下图。

迁移存储量/迁移文件个数

控制台的 产品服务 / 对象存储BOS - Bucket管理 / Bucket概览 页面可以查看Bucket的存储量&＃xff0c;文件个数请认真评估&＃xff0c;尽量准确。

Http/https

列表地址

列表文件格式

列表文件有两列&＃xff0c;第一列是http/https地址&＃xff0c;地址中特殊字符请URL编码。迁移服务用该链接的Get请求下载文件内容&＃xff0c;Head请求获取文件元数据&＃xff1b;第二列是的文件名&＃xff0c;迁移后的object name是prefix &＃43; 文件名&＃xff0c;两列用制表符\t分割&＃xff1b;每行之间换行\n分割。格式如下&＃xff1a;

http://127.0.0.1/docs/my.doc docs/my.doc
http://127.0.0.1/pics/my.jpg pics/my.jpg
http://127.0.0.1/exes/my.exe exes/my.exe

列表地址格式

迁移文件生成后&＃xff0c;请上传到OSS。迁移服务会下载列表文件&＃xff0c;并根据指定的地址迁移文件。列表地址的格式是 oss://{bucket}/{列表文件}&＃xff0c;示例如下&＃xff1a;

oss://mybucket/httplist.txt

列表访问Endpoint

OSS的Endpoint支持如下四种格式&＃xff1a;

OSS的Endpoint详细列表&＃xff0c;参见访问域名。

列表访问AK/SK

迁移服务需要使用该AK/SK下载列表文件。该AK/SK可以是主账号的AK/SDK&＃xff1b;也可以是子账号的AK/SK&＃xff0c;需要授予GetObject权限。

迁移存储量/迁移文件个数

请认真评估&＃xff0c;确保与实际值相符。

又拍youpai

地址

即对象存储SDK的接入点&＃xff0c;REST API中的域名&＃xff0c;如下表。如果您不能确定自己的网络类型&＃xff0c;请使用 http://v0.api.upyun.com。

服务名称

请在控制台的云存储中查看。

迁移目录

迁移指定目录下的文件&＃xff0c;请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

操作员名/操作员密码

请在控制台的账号管理页面查看和添加操作员。添加您为迁移服务新建操作员&＃xff0c;并授予 可读取 权限&＃xff0c;如下图。

然后进入控制台的云存储页面&＃xff0c;选择待迁移的服务名称&＃xff0c;进入配置页面&＃xff0c;选择内容管理&＃xff0c;并授权操作员&＃xff0c;如下图。

迁移存储量/迁移文件个数

请到控制台云存储的配置页面查看Bucket的存蔟量&＃xff0c;文件个数请认真评估&＃xff0c;尽量准确。

Kingsoft ks3

Endpoint

Region&＃xff08;区域&＃xff09;与Endpoint&＃xff08;域名&＃xff09;的对应关系如下&＃xff0c;Bucket&＃xff08;存储空间&＃xff09;的Region请在控制台上的 存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看。

Bucket

即金山云对象存储的空间。

Prefix

迁移指定“目录”下的文件&＃xff0c;即指定前缀的文件&＃xff0c;不包括文件名称为前缀的文件。请以 / 结尾&＃xff0c;不要以 / 开头&＃xff0c;如 docs/。

AccessKey/SecretKey

请在控制台的身份与管理下的用户管理页面&＃xff0c;创建用户并授予 KS3FullAccess 权限&＃xff0c;然后在用户页面新建密钥。迁移完成后删除该用户。

迁移存储量/迁移文件个数

请到控制台的 存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看Bucket的存储量&＃xff0c;文件个数请认真评估&＃xff0c;尽量准确。