PDF《OSS迁移》

cos v4版本需要填上bucket所在的区域,比如华南园区填写:gz,华?园区:tj,>华东园区:sh #8.微软blob: 连接字符?中的EndpointSuffix,如core.chinacloudapi.cn srcDomain=http://oss-cn-shenzhen-internal.aliyuncs.com #源bucket名字,同步本地文件以及通过http地址同步的?需要填,?需要加上"/";

微软blob填container名称 srcBucket=h3yunproductmain #源前缀,默认为空,如果srcType=local,则此目录是本地目录,如果是其他类型,则是源Bucket?需要同步的Object的前缀,注意如果是本地目录,需PYkCdF0eMLrnnIy6beGqT75RfLDZ 同步目的端设置# #目的 access key destAccessKey=LTAIrnGIgoRGJBTF #目的 secret key destSecretKey=YxoVAolvTbw9oTykG1N8aorEi0bllE #目的endpoint,请根据您的实际oss区域填写,默认为杭州的域名,如果用阿?云ecs虚拟机做迁移的,请使用internal域名,?计费且?受虚拟机带宽限 -hangzhou-internal.aliyuncs.com #注意:域名??要带上bucket前缀,oss域名帮助页面:https://help.aliyun.com/document_detail/31837.html destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com #目的bucket,?需要加上"/" destBucket=h3yunproductmain-cn-hangzhou #目标前缀,默认为空,直接放在bucket下(如果要将数据同步到oss的某个目录下,请以'/'结尾),注意:oss?支持 以'/' 作为文件的开头,所以destPrefix请?要配置以'/'做为开头 #一个本地文件?径为 srcPrefix + relativePath的文件,迁移到oss的?径为destDomain/destBucket/destPrefix + relativePath #一个云端文件?径为 srcDomain/srcBucket/srcPrefix + relativePath的文件,迁移到oss的?径为destDomain/destBucket/destPrefi destPrefix= srcType=cos时的配置项# #腾讯云的appId appId=0 srcType=http时的配置选项# #srcType="http"时,需要提供http?表文件的绝对?径,此文件中的http链接需要划分成两?,分别代表前缀以及 上传到oss后的相对?径 #?,有一个完整的http链接是127.0.0.1/aa/bb.jpg,?同的切分方法最后会导致上传到oss的?径会?一样: #c:/example/http.list文件内容: #127.0.0.1/aa/ bb.jpg #127.0.0.1/ aa/bb.jpg # 第一?的文件导入到oss后的?径为 "destDomain/destBucket/destPrefix" + "bb.jpg" # 第二?的文件导入到oss后的?径为 "destDomain/destBucket/destPrefix" + "aa/bb.jpg" httpListFilePath=c:/example/http.list httpPrefixColumn=1 relativePathColumn=2 任务配置,没有特殊需求?需要修改# #job名字,每个任务唯一,单机模式下请?要修改此项 jobName=local_test #job类型(import/audit),import为同步数据到oss,audit为校验源端数据和oss数据是否一致 jobType=import #只导入源文件最后修改时间大于该时间的数据,默认为0,这个时间为unix时间戳(秒数) importSince=0 #在校验时,如果文件的最后修改时间大于该值,则跳过此文件的校验,默认值0为关闭该功能,所有文件都需要校>验,这个时间为unix时间戳(秒数),jo 2019/1/9 OSS迁移 ・ 语雀 https://yuque.ant?n-inc.com/bgrkdl/fw99vc/gmpkpg 3/3 lastModify=0 #数据迁移时,是否跳过已经存在的文件.当设置为true时,根据文件的size和LastModifedTime判断是否跳过;

为false时,总是覆盖OSS上已有文件. isSkipExistFile=true # 每个子任务最大的文件个数限制,这个会影响到任务执?的并?度,一般配置为总的文件数/120 taskObjectCountLimit=10000 #每个子任务下载的最大文件大小限制(bytes) taskObjectSizeLimit=1000000000 #并?扫描文件?表的线程数,只影响扫描文件的效率,没有特殊需求?要修改 scanThreadCount=1 #最大允许并?扫描目录的深度,默认为1就是只能在顶级目录间并?扫描,没有特殊需求?要修改,随意配置的过大>会导致任务无法正常运? maxMultiThreadScanDepth=1