2026年4月20日 星期一

S3重點整理-01

 

主題 重點
Amazon S3 定位 S3 是 AWS 很核心的基礎服務之一,主打可高度擴展的物件儲存
S3 常見用途 常見用途包含 Backup、Storage、Disaster Recovery、Archival、Hybrid Cloud Storage、Static Website Hosting、Data Lake、Big Data Analytics、媒體檔案儲存
Disaster Recovery 可把資料放到另一個 Region,當某個 Region 發生問題時,資料仍可在其他區域備援。
Archival 可用於低成本封存,之後需要時再取回資料。
Hybrid Cloud 若地端儲存要延伸到雲端,S3 可作為混合雲儲存的一部分
Bucket S3 把檔案存進 Bucket;Bucket 是雲端中的容器,且建立時屬於某個特定 Region
Bucket 與 Region 雖然 S3 介面看起來是全域的,但 Bucket 本身是綁定特定 Region
Bucket 命名 教材提到:以前 Bucket 名稱強調全球唯一;現在補充有 account regional namespace 的概念。
Bucket 命名限制 不可大寫、不可用底線、不可是 IP 格式、需以小寫字母或數字開頭、不能以 xn 開頭、不能以 -s3alias 結尾
Object Object 就是檔案,每個 Object 都有一個 Key
Object Key Key = 檔案完整路徑,例如 myfolder1/anotherfolder/myfile.txt
Prefix 與 Object Name Key = Prefix + Object Name
S3 資料夾觀念 S3 本質上沒有真正的資料夾,Console 看到的 folder 其實只是 Key 裡的路徑表示
Object 內容 Object 的 value 就是檔案本體,也就是上傳的內容。
最大物件大小 單一 Object 最大可到 50 TB
Multipart Upload 檔案大於 5 GB 時,必須使用 Multi-part Upload
Metadata Object 可包含 Metadata,也就是 Key-Value 形式的中繼資料。
Tags Object 可有 Tags,最多 10 個 Unicode Key-Value pairs,常用於安全與生命週期管理
Version ID 若啟用 Versioning,Object 就會有 Version ID




名詞 核心概念
S3 AWS 的核心物件儲存服務
Bucket 放 Object 的容器,綁定特定 Region
Object 存在 Bucket 裡的檔案
Key Object 的完整路徑
Prefix Key 的路徑部分
Multipart Upload 檔案大於 5 GB 必考
Metadata 檔案的附加描述資訊
Tags 最多 10 個,常搭配安全與生命週期
Version ID 開啟 Versioning 後才有

Amazon S3 VS EFS

 1. 協定的本質不同

  • EFS (以及地端的 NFS/SMB):使用的是「檔案層級協定」。這表示你的電腦或伺服器可以把它當成一個磁碟掛載(Mount),你可以像操作本機資料夾一樣,直接開啟、編輯、儲存檔案。
  • S3:使用的是「HTTP/HTTPS API 協定」。它是透過網路指令(PUT, GET, DELETE)來運作的。你不能直接把 S3 「掛載」成地端伺服器的原生硬碟,而是要透過 API、CLI 或 SDK 來存取。

2. 為何需要 Storage Gateway?

  • 正因為 S3 不支援原生的 NFS/SMB 協定,所以如果你希望地端伺服器「感覺」像是在用一般的檔案系統,卻又想把資料存在 S3,就必須由 Storage Gateway 在中間充當「翻譯官」
  • 地端看 Storage Gateway:它看起來像是一個傳統的 NFS 或 SMB 共享資料夾。
  • Storage Gateway 看 AWS:它背後把這些檔案轉換成 API 指令,上傳到 S3。

特性Amazon S3 (物件儲存)Amazon EFS (檔案儲存)
存取方式透過 API / HTTP 存取透過 NFS 協定 掛載 (Mount)
結構扁平式 (Flat),沒有真正的資料夾結構階層式 (Hierarchical) 檔案系統
跨地端使用必須透過 Storage Gateway 橋接透過 Direct Connect 或 VPN 原生掛載
最佳用途靜態檔案、備份、大數據分析需要共用檔案系統的應用程式 (如 CMS)

AWS Storage Gateway 重點整理


主題 重點整理 重要提示
Hybrid Cloud 混合雲是指一部分基礎架構放在 on-premises,另一部分放在 AWS 雲端 混合雲就是 地端 + 雲端並存
為什麼需要 Hybrid Cloud 常見原因包括 長期遷移安全需求法規遵循,或企業策略上希望系統同時保留地端與雲端。 遷移中、合規、部分系統留在本地端,通常就是混合雲情境。
S3 的特性 Amazon S3 是 AWS 的 專有物件儲存服務,不像 EFS / NFS 那樣可直接原生掛載在地端伺服器之間使用。 要記得 S3 是 Object Storage,不是一般傳統檔案系統。
Storage Gateway 如果要讓本地端系統使用 AWS 儲存服務,就要透過 AWS Storage Gateway 來橋接 on-premises 與 AWS Cloud。 Storage Gateway = 地端儲存與 AWS 雲端之間的橋樑
AWS 儲存類型總整理 Block Storage:EBS、EC2 Instance Store
File Storage:Amazon EFS
Object Storage:Amazon S3、Amazon Glacier
要分辨 Block / File / Object
Storage Gateway 的用途 可讓本地端系統無縫延伸使用雲端儲存,常見用途包含 Disaster RecoveryBackup and RestoreTiered Storage 災難復原、備份還原、分層儲存時,要想到 Storage Gateway。
Storage Gateway 類型 類型包含 File GatewayVolume GatewayTape Gateway
底層使用的 AWS 服務 Storage Gateway 在背後會整合使用 Amazon EBSAmazon S3Amazon Glacier 連接 AWS 儲存服務。

主題 考試重點
Hybrid Cloud 混合雲 = 一部分在 on-premises,一部分在 AWS Cloud
使用混合雲原因 常見原因有 長期遷移、法規遵循、安全需求、企業策略
S3 特性 S3 是 Object Storage(物件儲存),不是傳統檔案系統。
S3 與地端整合 S3 不能像 EFS / NFS 那樣直接在地端原生掛載使用。
Storage Gateway Storage Gateway 是連接 on-premises 與 AWS 儲存服務的橋樑
主要用途 常見用途:Disaster Recovery、Backup and Restore、Tiered Storage
儲存分類 Block Storage:EBS / EC2 Instance Store
File Storage:EFS
Object Storage:S3 / Glacier
Storage Gateway 類型 File Gateway、Volume Gateway、Tape Gateway
背後整合服務 Storage Gateway 底層會用到 EBS、S3、Glacier

儲存類型代表服務白話比喻核心特點存取限制與限制
Block Storage (區塊)EBS
Instance Store
筆電 C 槽速度最快。適合裝作業系統 (OS)、跑資料庫。像內接硬碟,通常一次只能接在一台電腦上。
File Storage (檔案)Amazon EFS辦公室共用資料夾多人共享。多台伺服器可以同時讀寫同一個資料夾。透過網路存取,速度(延遲)比內接硬碟慢一點。
Object Storage (物件)Amazon S3
Glacier
無限大的雲端倉庫容量無限、極高穩定性。每個檔案都有專屬 ID (URL)。不是磁碟,不能安裝軟體或 OS,適合存放靜態檔案。

2026年4月19日 星期日

Amazon S3-重點整理

主題 重點整理 重要觀念
Buckets vs Objects Bucket 名稱必須 全域唯一,且建立時會綁定 Region;Object 是存放在 Bucket 裡的檔案 要分清楚 Bucket 是容器Object 是資料本體
S3 Security 可透過 IAM PolicyBucket PolicyEncryption 控制存取與保護資料 IAM 常控制使用者/角色權限;Bucket Policy 常用於 公開存取 或跨帳號存取
S3 Websites S3 可以用來 託管靜態網站 只能放靜態內容,像 HTML / CSS / JS,不適合動態後端
S3 Versioning 可保留檔案的 多個版本,避免誤刪或誤覆蓋 一旦開啟後,對資料保護很重要,也是很多進階功能前提
S3 Replication 支援 Same-Region Replication (SRR)Cross-Region Replication (CRR) 必須先啟用 Versioning 才能做 Replication
S3 Storage Classes 包含 Standard、IA、One Zone-IA、Intelligent-Tiering、Glacier(Instant / Flexible / Deep) 重點在比較 存取頻率、可用性、成本、取回速度
Snowball 透過 實體裝置 匯入大量資料到 S3,也可用於 Edge Computing 適合網路頻寬不足、資料量很大的情境
Storage Gateway 提供 混合雲儲存,把地端儲存延伸到 S3 常見於企業地端與 AWS 整合場景
服務 / 功能 重點記憶
Bucket S3 的資料容器,名稱全球唯一
Object 存在 Bucket 裡的檔案
IAM Policy 控制誰可以做什麼
Bucket Policy 控制 Bucket / Object 的資源層級存取
Encryption 保護 S3 內資料
Static Website Hosting 用 S3 架靜態網站
Versioning 保留多版本,防誤刪
Replication 跨區或同區複製,前提是開 Versioning
Storage Classes 依存取頻率與成本選擇不同儲存層級
Snowball 實體搬資料到 AWS
Storage Gateway 地端與雲端儲存整合

AWS Snowball 重點筆記

 

  • 它是什麼: 一台超強防護的實體硬碟(加固型裝置),用來搬資料或在沒網路的地方跑運算。
  • 解決什麼: 解決網路太慢、頻寬太貴、連線不穩的問題。只要資料搬運預估超過一週,就直接叫 Snowball。
  • 兩大功能:
    1. 資料搬家: 把地端(On-premise)好幾個 PB 的資料塞進去,寄回 AWS 丟進 S3。
    2. 邊緣運算: 在車上、船上、礦區這種沒網的地方,直接在裝置上跑 EC2 或 Lambda 處理資料。

特性Edge Storage Optimized (儲存優化)Edge Compute Optimized (運算優化)
主打功能專門搬大型資料專門跑強大運算 (ML、轉檔)
儲存容量極大 (最高約 210TB)較小 (約 28TB)
運算能力基本運算強大 CPU / 可選 GPU
適用場景大規模資料遷移邊緣即時預處理、機器學習


搬運流程
  1. 申請: 登入 AWS 下單,裝置快遞到你家。
  2. 傳輸: 接上你的網路,把資料存進去。
  3. 寄回: 裝置上的電子標籤會自動變更地址,寄回 AWS。
  4. 上雲: AWS 幫你把資料匯入 S3,並徹底抹除裝置上的數據。

2026年4月18日 星期六

Amazon S3 Storage Classes 重點整理


儲存類別適合情境存取頻率取回速度取回費用最短保存時間可用性重點特色
S3 Standard常用資料,大數據分析,內容分發,App毫秒級99.99%預設類別,低延遲,高吞吐
S3 Standard-IA備份,災難復原毫秒級通常需注意最低儲存期99.9%不常存取,但需要快速取回
S3 One Zone-IA可重建資料,備份副本毫秒級通常需注意最低儲存期99.5%僅單一 AZ,成本更低,但風險較高
Glacier Instant Retrieval封存但需立即取回很低毫秒級90 天較低封存類中最快取回
Glacier Flexible Retrieval傳統封存、備份很低1 分鐘~12 小時90 天較低可依需求選擇取回速度與成本
Glacier Deep Archive超長期封存、最低成本極低12~48 小時180 天較低最便宜,但取回最慢
S3 Intelligent-Tiering存取模式不固定不固定視所在層級而定無取回費視層級而定視層級而定自動幫你在不同層級間移動

Amazon S3 Replication速記

Cross-Region Replication(CRR) = 跨區域複寫,Same-Region Replication(SRR) = 同區域複寫;兩邊都要開 Versioning,複寫是非同步進行。

S3 Replication

- 兩種:CRR / SRR

- 必要條件:Source + Destination 都要 Versioning

- CRR:不同 Region

- SRR:相同 Region

- 可跨 AWS 帳號

- 非同步複寫

- 需給 S3 IAM 權限

- CRR 用於合規 / 跨帳號

- SRR 用於 log aggregation / prod-to-test