GenAI 與雲端科技專區

20 年前悄悄上線 Amazon S3 如何由「網絡儲存」變成 AI 時代地基

Published by
藍骨

2006 年 3 月 14 日 Amazon 在「What’s New」頁面以一段簡短文字低調推出一項新服務:Amazon Simple Storage Service(S3),沒有大型發佈會與示範影片,連當時 Jeff Barr 的網誌文章也只有幾段文字。幾乎沒有人意識到這個被形容為「Storage for the Internet」的服務,將會重塑整個科技產業。

 

S3 當年的定位非常直接:提供簡單的 Web 服務介面讓開發者可以在任何時間與地點儲存與擷取任意數量的資料,並使用與 Amazon 自家全球網站相同的可擴展、可靠且低成本基礎設施,對於 2006 年的開發者而言這等於把原本需要自行管理的儲存架構全面外包給雲端。

 

PUT 與 GET 背後的革命

從技術層面看 S3 的核心非常簡單只是兩個動作:PUT 把物件存上去與 GET 把物件取回來,但真正顛覆性的並非 API 設計而是背後的哲學。AWS 把那些必要但沒有差異化價值的基礎工作全部處理好,讓開發者不用再為儲存系統操心而是專注在產品與創新本身。

自推出第一天起 S3 就圍繞 5 個原則打造,包括預設安全、11 個 9(99.999999999%)耐久性設計目標、在每一層架構中處理故障的可用性思維、在大規模下仍保持效能,以及隨資料增減自動擴縮的彈性,當這些元素同時成立服務就會變得理所當然,使用者幾乎感受不到背後的複雜工程。

 

從 1PB 到數百 EB 的成長

回看 2006 年 S3 起步時總儲存容量約 1PB,分佈在 3 個資料中心及約 400 個儲存節點上,總頻寬 15 Gbps,單一物件大小上限為 5GB,每 GB 收費 0.15 美元(約 HK$1.17),當時這已是相當前衛的設計。

20 年後的 2026 年規模已經難以想像,S3 儲存超過 500 兆個物件,每秒處理超過 2 億次請求,橫跨 39 個 AWS 區域與 123 個可用區,總資料量達數百 EB。單一物件上限由 5GB 提升至 50TB 並成長 10,000 倍,如果把數千萬顆硬碟堆疊起來幾乎可以到達國際太空站再折返。

價格卻走向相反方向,每 GB 收費由 0.15 美元(約 HK$1.17)降至約 0.02 美元(約 HK$0.15),20 年間下降約 85%。配合 Intelligent-Tiering 等分層機制客戶累計已節省超過 60 億美元(約港幣 468 億元)儲存成本,規模愈大成本反而愈低,這正是雲端經濟的力量。

 

20 年前的程式碼 今天仍可使用

或許最令人驚訝的是 API 的穩定性,AWS 在這 20 年間多次更換磁碟世代、重寫請求處理路徑程式碼甚至重構整個底層架構,但 2006 年撰寫的 S3 程式碼今天仍然可以正常運行。資料在持續演進的基礎設施中安全保存,而 API 向後相容性始終維持。

S3 API 甚至成為儲存產業的事實標準,不少廠商提供相容系統,這代表開發者學會 S3 幾乎等同掌握整個物件儲存生態系。

 

工程背後:為何能做到「11 個 9」

S3 的耐久性來自一套持續檢查整個儲存叢集的微服務系統,這些審計服務會檢視每一個位元組,一旦發現退化跡象會立即啟動修復流程。AWS 同時在生產環境中使用形式化驗證與自動推理技術,確保索引一致性、跨區域複製與存取政策邏輯正確無誤。

近年 S3 亦逐步將關鍵效能程式碼改寫為 Rust,Rust 的型別系統與記憶體安全機制可以在編譯階段消除整類錯誤,這對於處理每秒數億次請求的系統尤其重要。S3 的設計哲學之一是規模本身就是優勢,當系統變得更大及工作負載更去相關化時,反而提高整體穩定性。

 

不只是儲存服務 而是 AI 的基礎層

AWS 對 S3 的下一步定位已不再只是物件儲存,而是成為所有資料與 AI 工作負載的統一基礎,願景很簡單,資料只需在 S3 儲存一次就可以直接進行分析、查詢與 AI 運算,而不必在不同專用系統間反覆搬移。

近年推出的 S3 Tables 讓 Apache Iceberg 表格全面託管並自動最佳化;S3 Vectors 提供原生向量儲存,支援語意搜尋與 RAG,單一索引可容納最多 20 億個向量,查詢延遲低於 100 毫秒;S3 Metadata 則集中管理中繼資料,避免反覆掃描大型 bucket,這些能力都在 S3 原有成本架構下運作,使原本需要昂貴資料庫或專用系統才能完成的工作變得更具經濟效益。

從 1PB 到數百 EB 以及從每 GB 0.15 美元(約 HK$1.17)到 0.02 美元(約 HK$0.15),從單純物件儲存到 AI 與分析基礎設施,S3 在 20 年間經歷巨大變化但安全、耐久性、可用性、效能與彈性 5 大原則始終未變。

當年低調的一段公告最終成為雲端與 AI 時代的地基,AWS 現在談的是下一個 20 年,而 S3 仍然是那塊最核心的拼圖。

Published by
藍骨