V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
aveline
V2EX  ›  分享创造

写了个简单的阿里云 OSS 同步

  •  1
     
  •   aveline ·
    ym · 2014-05-19 08:13:00 +08:00 · 8821 次点击
    这是一个创建于 3653 天前的主题,其中的信息可能已经有所发展或是发生改变。
    代码随便写的,写的乱七八糟的。
    睡醒了来重构下吧233

    用之前注意以下几个坑:
    1. 在符号链接的处理上有问题
    2. ETag 比较的部分:一般情况下不会出问题,但是如果不是 Put Object 请求创建的 Object,一定会被当成不同的文件。
    3. 文件名里有 + 的文件会上传失败
    4. 不支持断点续传,推荐在阿里云 ECS 上使用

    测试睡醒了再来写 ... 嗯 :-(

    源码在这里: https://github.com/ym/aliyun-oss-sync
    下载在这里: https://drone.io/github.com/ym/aliyun-oss-sync/files/aliyun-oss-sync

    目前只有 linux_amd64 的 build,其他的因为我不需要 ... 就不支持了XD

    用法的话 ./aliyun-oss-sync -help 即可,举个栗子:

    ./aliyun-oss-sync -region beijing -internal -bucket apt-public -source /data/mirror/puppet-deb/ -prefix /puppet/ -key YOUR_ACCESS_ID -secret YOUR_ACCESS_KEY -delete
    6 条回复    2015-06-11 17:13:21 +08:00
    tywtyw2002
        1
    tywtyw2002  
       2014-05-19 08:27:41 +08:00 via iPhone
    oss是啥
    aveline
        2
    aveline  
    OP
       2014-05-19 08:29:16 +08:00
    @tywtyw2002 就是 S3 的 clone
    SoberZhou
        3
    SoberZhou  
       2014-05-19 11:56:24 +08:00
    同步的意思是说
    上传一个文件到服务器时同时上传到OSS上嘛?
    goldenlove
        4
    goldenlove  
       2014-05-20 12:46:41 +08:00
    av 出品, 必是精品 ... 前提, 是得有个阿狸晕手机?
    sofs
        5
    sofs  
       2015-06-11 17:09:42 +08:00
    bug多多
    1:同步文件夹不完整,会有不少文件夹同步不到的。
    2:每个文件件都会产生一个0k的同名文件。

    以上测试基于centos 6.5 64bit 文件夹都是小图片,大概220M。
    sofs
        6
    sofs  
       2015-06-11 17:13:21 +08:00
    @aveline
    bug多多
    1:同步文件夹不完整,会有不少文件夹同步不到的。
    2:每个文件件都会产生一个0k的同名文件。

    以上测试基于centos 6.5 64bit 文件夹都是小图片,大概220M。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1237 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:36 · PVG 07:36 · LAX 16:36 · JFK 19:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.