久违的我来了，近期一直忙于其它事情，好一段时间没有更新了，今天抽空整理一篇阿里云的oss迁移到金山云ks3的文档

KS3Up-tool数据迁移工具说明

一．主要特性

• 支持将本地目录内文件、url列表文件或公有云文件同步到指定KS3 Bucket上，目前支持将金山云KS3、阿里云OSS、腾讯云COS、百度云、七牛云、Azure和 AWS S3 设置为迁移源
• 支持增量上传：a. 不在成功列表中；b. 在成功列表中，但最后更新时间不同
• 支持大文件断点续传
• 支持流量控制
• 并发上传
• 迁移进度查询
• 海量文件迁移，部分失败情况，重新全量上传即可，已经成功上传的文件会自动跳过（勿删除log）
• 支持选择存储类型，标准或低频 工具下载地址: http://ks3tools-online.ks3-cn-beijing.ksyun.com/tools/release/ks3up-tool-2.1.1-dist.zip

二. linux环境安装

1.安装jdk

#2. install jdk
yum install -y java-1.8.0-openjdk
ENV JAVA_HOME /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.el7_9.x86_64
ENV PATH $JAVA_HOME/bin:$PATH

 2.如下所示，即安装成功

[root@ds1 ~]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

 三. 使用方式

## 创建环境目录
# mkidr ks3up-tool

## 下载ks3up工具
# wget http://ks3tools-online.ks3-cn-beijing.ksyun.com/tools/release/ks3up-tool-2.1.1-dist.zip

## 解压文件
# unzip ks3up-tool-2.1.1-dist.zip -d ks3up-tool

 1.填写配置文件

解压后的sample.conf，创建用户自己新的任务配置文件xxx.conf, 所有的配置参数项前后都不允许有空格 配置文件中，字段具体含义如下

https://docs.ksyun.com/documents/895

2.完整配置文件如下

[root@ds1 ks3up-tool-2.1.1-dist]# cat ossremoveks3.conf
taskName=ossremove
threadsNum=5
# 选项包括：local/ url / ks3 / oss / bos / qiniu /upyun  /aws /cos / azure
srcType=oss
srcAccessKey=LiEUH
srcSecretKey=eIbvY
# 源endpoint
srcDomain=xxx.link
srcBucket=pt-cn-lingxi-files
#若srcType为url，此处应填url列表文本地址
srcPrefix=
dstAccessKey=AyaA
dstSecretKey=Opt5Pdp2PnZ7oLlCfQ==
# 目标endpoint
dstDomain=ks3-cn-beijing.ksyun.com
dstBucket=pt-cn-lingxi-files
dstPrefix=
# (KB/s) <0 表示不设限
maxNetThroughput=1280KB/s
# 文件权限:Private/PublicRead
cannedAcl=publicread
# 该参数仅当srcType=ks3,oss,cos时有效。该参数为true时，会将源KS3对象的ACL复制到目标对象上，且cannedAcl选项将会被忽略。
useSrcAcl=false
# 存储类型:STANDARD/STANDARD_IA/ARCHIVE
storageType=STANDARD
#该参数为true时，在start模式下且源站是ks3 会对比scr<->dst的md5 一致时跳过上传。
skipDstExistFile=false
#过滤器开关
filterEnable=false
#url文件支持range下载
urlRangeDownload=true
#文件名字包含的子符,多个用逗号分隔
fileNameInclude=
#文件名字不包含的子符,多个用逗号分隔
fileNameExclude=
#文件修改时间范围,以#分割，时间格式为yyyy-MM-dd HH:mm:ss， 如2005-01-12 00:00:00#2016-01-12 00:00:00
modifyTimeRange=
#是否开启https
useHttps = false


#使用分块上传配置
#分块上传文件阈值,大于该值,使用分块传输
singleFileSize=209715200
#分块大小
partSize=104857600
#单文件文件分块传输并发数
uploadPartPoolSize=5

#增量模式 单位秒
incrementalMode=false
incrementalModeInterval=900

#使用分时限流配置 # (KB/s) <0 表示不设限
#不在区间内的速度为maxNetThroughput
# maxNetThroughputRange= 1000#2000#3000
# maxNetThroughputTimeRange= 11:50:00-15:48:50#15:49:00-15:49:50#15:50:00-15:51:50

3.执行选项

(1) 启动任务

java -jar ks3up-1.0.0.jar -c xxx.conf start

注意：xxx.conf 配置文件如果不和ks3up-1.0.0.jar在同一个目录下，-c 需要指明配置文件的正确路径。

linux环境下如果想要后台执行，则用如下命令：

nohup java -jar ks3up-1.0.0.jar -c xxx.conf start > nohup.out 2>&1 &

注意：srcBucket, srcPrefix, dstBucket, dstPrefix确定任务的唯一性

(2) 查询任务状态

java -jar ks3up-1.0.0.jar -c xxx.conf stat

(3) 清空任务数据

java -jar ks3up-1.0.0.jar -c xxx.conf clean

注意:

• 若任务正在运行，则不能清空
• 若任务未曾运行过，则会提示任务不存在
• 使用增量上传功能，需保留任务数据

(4) 导出成功文件列表

 java -jar ks3up-1.0.0.jar -c xxx.conf export_ok_list ${export_file}

注意：只有任务退出，该操作才允许被执行

(5) 导出失败文件列表

 java -jar ks3up-1.0.0.jar -c xxx.conf export_fail_list ${export_file}

注意：只有任务退出，该操作才允许被执行

(6) 增量上传 以及 失败重传

等待当前任务退出后，重新执行“启动任务”的命令，要注意，任务的配置文件不要做修改

 java -jar ks3up-1.0.0.jar -c xxx.conf start

参考地址：https://docs.ksyun.com/documents/895

AD：《熊孩子博客》熊孩子QQ:443060965