麻豆成人91精品二区三区,国产91在线播放,加勒比无码专区中文字幕,欧美黑人XXXX高潮猛交

US3SYNC 是一款將不同源的數(shù)據(jù)同步到 S3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機中，可以便捷地從本地或者其他云環(huán)境中將數(shù)據(jù)遷移到 S3 存儲空間。US3SYNC工具可以創(chuàng)建兩種模式的任務(wù)：

普通模式： 普通同步任務(wù)可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。

fetch模式： fetch模式的同步任務(wù)是通過POST請求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上?？梢灾该魑募匠晒褪『蟮幕卣{(diào)接口，US3SYNC會在同步任務(wù)完成后，發(fā)送相應(yīng)的通知。

普通任務(wù)工作原理

圖中master節(jié)點與worker節(jié)點功能：

master節(jié)點：

單點部署，負(fù)責(zé)遷移任務(wù)的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發(fā)給worker進(jìn)程遷移。

worker節(jié)點：

支持節(jié)點擴展，負(fù)責(zé)遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。

master節(jié)點與worker節(jié)點可以部署在同一臺機器，也可以部署在多臺機器上，用戶可以根據(jù)需要自行擴展worker節(jié)點，下面分別介紹：

部署在同一臺機器：

master節(jié)點和worker節(jié)點通過啟動時配置的內(nèi)部通信監(jiān)聽地址進(jìn)行通信。用戶需要確保配置給worker節(jié)點的路徑是單獨的路徑，不可與master路徑以及其他worker路徑重復(fù)。

部署在不同機器：

master節(jié)點和worker節(jié)點通過啟動時配置的內(nèi)部通信監(jiān)聽地址進(jìn)行通信，確保該地址在worker機器上可以訪問。用戶需要確保配置給worker節(jié)點的路徑是單獨的路徑，不可與master路徑以及其他worker路徑重復(fù)。

Fetch任務(wù)工作原理

Fetch類型的任務(wù)跟普通任務(wù)工作原理大致類似，不同的是同步任務(wù)的源端需要發(fā)送POST請求來指定，而不是根據(jù)配置的源端的位置自動拉取。

POST請求語法

POST /fetch/ HTTP 1.1Authorization: AuthContent-Type:application/jsonCopy

請求頭部

ErrorSuccess請求頭部

Authorization為必選項，content-type, date等都是可選項

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下：

method := "POST" md5 := xxxxxxcontentType := xxxxxxdate := xxxxxprivateKey = xxxxx-xxxx-xxxxx-xxxxpublicKey = xxxx-xxxx-xxxx-xxxxstrToSign = method + "\n" + md5 + "\n" + contentType + "\n" + date + "\n" signature = HmacSHA1(strToSign, privateKey) signature = Base64(signature) Authorization: "UCloud " + publicKey + ":" + signatureCopyErrorSuccess

請求內(nèi)容

此處的JobId可以在界面中獲取

返回內(nèi)容

{ "RetCode":, "ErrMsg":, "TaskId": }CopyErrorSuccess

示例請求

POST /fetch/ HTTP/1.1Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=Content-Type:application/jsonContent-Length: 159{ "Url": "http://xxx.xxx.xxx/xxx/movie.mp4", "Bucket": "example_bucket", "Key":"movie.mp4", "JobId": "xxxxxxxxxxxxxxxxxxxx", "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx", "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"}CopyErrorSuccess

返回

HTTP/1.1 200 OKContent-Type: application/json; charset=utf-8Content-Length: 122Connection: keep-alive{ "RetCode":0, "ErrMsg":"success", "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"}CopyErrorSuccess

回調(diào)內(nèi)容

您可以在請求中指定任務(wù)完成后的回調(diào)地址，US3SYNC會依照任務(wù)執(zhí)行結(jié)果給相應(yīng)的地址放松POST請求，請求內(nèi)容示例如下：

Failure callback

{ "Code":1, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "Message":"We encountered an internal error.", "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",}CopyErrorSuccess

Success callback

{ "Code": 0, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "ETag":"xxxxxxxx", "Key":"xxxxxxxxxxxxxxx.mp4", "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c", "Size":638304718}CopyErrorSuccess

主要功能

1. 支持從 s3，oss，qiniu，youpai，S3 云存儲遷移數(shù)據(jù)到 S3 中。
2. 支持從 NAS 存儲或者本地目錄將數(shù)據(jù)遷移到 S3 中。
3. 支持指定 URL 資源列表將數(shù)據(jù)遷移到 S3 中。
4. 支持 web 管理，通過 web 管理遷移任務(wù)，遷移節(jié)點。
5. 支持源端管理
6. 支持配置任務(wù)定期執(zhí)行
7. 支持失敗文件列表導(dǎo)出

注：暫不支持源端為歸檔類型的文件遷移到 S3。

文件結(jié)構(gòu)

US3SYNC├── bin│ |── master # master 可執(zhí)行程序│ └── worker # worker 可執(zhí)行程序├── conf│ └── config.toml # 配置文件├── cert # https證書├── log # master日志文件存放路徑├── pika # 依賴pika└── console.sh # 啟動腳本CopyErrorSuccess

---

當(dāng)前版本：1.10.4

運行環(huán)境：

Linux：

    CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)

    Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)

US3SYNC 依賴 telnet，expect，rsync 命令，確保預(yù)裝這些命令，使用 yum 源做包管理可以使用以下命令安裝：

yum install -y telnet expect rsyncCopyErrorSuccess

下載并解壓

wget -O US3SYNC.tgz "https://ufile-release.cn-bj.ufileos.com/US3SYNC/v1.10.4/US3SYNC.tgz"tar xzf US3SYNC.tgzcd ./US3SYNCCopyErrorSuccess

啟動master服務(wù)

./console.sh start請設(shè)置緩存服務(wù)監(jiān)聽端口[9000]:請設(shè)置緩存服務(wù)密碼[user-passwd]:# 云主機一般綁定EIP，建議ip地址使用0.0.0.0請設(shè)置web 服務(wù)監(jiān)聽地址[0.0.0.0:443]:# 內(nèi)部通信地址不提供外網(wǎng)服務(wù)，建議ip地址使用機器內(nèi)網(wǎng)ip請設(shè)置內(nèi)部通信監(jiān)聽地址[x.x.x.x:8080]:請設(shè)置報錯重試次數(shù)[10]:請設(shè)置web 登錄使用的用戶名[root]: 請設(shè)置web 登錄使用的密碼[passwd]: US3SYNC start success!# 查看master服務(wù)./console.sh show# 結(jié)束master服務(wù)./console.sh stop# 驗證# 查看進(jìn)程是否正常啟動./console.sh showCopyErrorSuccess

添加worker節(jié)點

服務(wù)啟動后，在瀏覽器中打開：https://<web服務(wù)監(jiān)聽IP>:<web服務(wù)監(jiān)聽端口>/

注：使用云主機部署遷移服務(wù)時，這里需要使用EIP，而不是0.0.0.0。

頁面登錄，使用啟動時設(shè)置的用戶名和密碼。

添加工作節(jié)點，參考 創(chuàng)建節(jié)點界面說明，需要為每個節(jié)點提供唯一工作路徑。 每個工作節(jié)點需要提供唯一工作路徑，如果路徑不存在會自動創(chuàng)建對應(yīng)目錄。

注：建議使用內(nèi)網(wǎng)ip。