非結構化資料的關鍵特點是沒有預先定義的資料模式。資料格式多元，包括文字、圖片、影片、音訊和 IoT 遙測資料。與乾淨的試算表資料不同，這類資訊通常會累積成 PB 規模的龐大資料量。這類資料複雜多變，而且不斷變化。

處理這些自由格式的檔案需要完全不同的技術方法，原因如下：

• 傳統資料庫的不足之處：非結構化資料完全沒有固定格式，因此標準 SQL 資料庫無法以原生方式讀取或查詢這類資料
• SQL 有明顯的限制：您無法撰寫簡單的 SQL 指令，找出客服通話的整體情緒，或識別相片中的特定物件
• 需要專用工具：組織必須仰賴專用解決方案，才能理解這些資訊
• AI 驅動分析：團隊使用人工智慧、機器學習和自然語言處理技術，從混亂中掃描、解讀和擷取價值

對比這些格式，有助於瞭解它們如何相互組合。結構化資料依賴 SQL、強制執行嚴格的結構定義，且容易搜尋。非結構化資料沒有結構定義，難以原生搜尋，需要資料湖泊或 NoSQL 資料庫解決方案。JSON 或 XML 等半結構化資料則介於兩者之間，雖然包含一些組織標記，但沒有嚴謹的關聯式結構定義。

如要建構合適的資料管道，確切瞭解您處理的資訊類型，以及企業團隊實際上如何使用 Google Cloud 資料庫管理資料，會很有幫助。非結構化資料可分為兩大類：人為產生和機器產生。

這些都是使用者和員工每天手動建立的內容。

• 文字文件和通訊內容：在許多應用程式中，非結構化資料可能以大量電子郵件、即時通訊訊息和客服支援單的形式存在
• 用途：開發人員可以建構自然語言處理 (NLP) 管道，其中原始支援單存放在 Cloud Storage。接著，Gemini Enterprise Agent Platform 會掃描文字，找出核心問題，系統則會將這些新產生的結構化標記直接儲存到 Firestore 資料庫。Firestore 可即時同步資料，因此內部網頁應用程式會即時更新，將緊急錯誤直接轉送給合適的工程團隊。
• 互動式多媒體：包括客服中心的音訊檔案、使用者上傳的圖片和錄影內容
• 用途：如果您要建構保險應用程式，就需要一種方法來處理使用者從手機上傳的車禍照片。您可以將這些大型檔案儲存在 Cloud Storage，使用機器學習模型估算外觀損壞程度，然後將結構化的維修估價儲存在 AlloyDB for PostgreSQL 資料庫。這有助於讓標準企業應用程式快速可靠地存取 AI 結果。

電腦、感應器和伺服器會在背景產生大量資料，不需要任何人為輸入。

• IoT 感應器資料和遙測資料：工廠機器、智慧恆溫器和聯網汽車會持續串流原始資料。這些原始遙測資料大多以複雜的巢狀結構和自由格式呈現。
• 用途：製造工廠每秒串流數百萬個原始音訊和感應器事件。由於標準關聯資料表無法處理這種擷取速度，因此開發人員會使用 Bigtable。Bigtable 能吸收這類高處理量的時間序列資料，不會發生延遲。接著，機器學習模型會讀取這些資料，找出零件故障時發出的特定聲音，藉此在機器實際故障前觸發預測性維護。
• 衛星圖像和監控影片：監視攝影機和氣象衛星會持續產生大量影像資料。
• 用途：一間全球航運公司產生大量原始衛星影片串流。該公司以符合成本效益的方式將這些龐大的檔案儲存在 Cloud Storage，並使用電腦視覺技術辨識貨船，然後將這些結構化的位置更新推送至 Spanner。這能為該公司的全球供應鏈應用程式提供高準確度、零停機時間的關聯式資料庫，以供查詢即時追蹤資訊。

若要建構可擴充的應用程式，開發人員可為資料選擇合適的儲存環境。結構化和非結構化資料需要完全不同的架構，才能維持效能並將基礎架構成本控制在合理範圍。

對於結構化資料，組織會仰賴企業資料倉儲 (EDW)。這個環境專門用於處理符合嚴格規則和可預測格式的資訊。

• 您可以使用企業資料倉儲，集中管理多個關聯資料庫中的結構化資訊，包括帳單系統和客戶關係工具
• 團隊必須先清理資料並調整格式，再行儲存，確保每筆資訊都能準確填入預先定義的資料表
• 商業智慧工具接著就能在幾秒內對數十億列資料執行複雜的 SQL 查詢，提供可靠的歷來報表和預測

非結構化資料則需要更靈活的處理方式。由於影片、錄音和原始文字記錄等大型檔案無法整齊地放入表格，開發人員會使用資料湖泊和 Cloud Storage bucket 來存放這些檔案。

• 資料湖泊提供彈性的存放區，可讓您以原生原始格式儲存檔案，而不必先將檔案強制套入特定結構
• Cloud Storage bucket 採用物件儲存空間支援這些資料湖泊，讓系統能擴充至 PB 級容量，且無需重建資料庫
• 在傳統資料庫中儲存大型非結構化檔案的成本極高，因此在處理大量資料時，Storage bucket 是更符合成本效益的選擇
• 讓資料維持原始格式，人工智慧和機器學習管道就能輕鬆提取所需檔案，用於訓練電腦視覺和自然語言處理模型

大多數企業架構最終都會超出單一儲存平台的負荷。隨著系統規模擴大，資料湖泊和 Storage bucket 自然會分散在不同區域和雲端服務供應商。當您嘗試建構需要一次存取所有非結構化檔案的機器學習 pipeline 時，這種分散的狀況會造成限制。

Google Cloud 透過代理式資料雲端解決這項特定的架構難題。這項服務提供 AI 原生跨雲端湖倉一體架構，可將分散的儲存環境連結至單一存取點。

• 讓應用程式免複製就能存取 Google Cloud 各處的檔案
• 開發團隊可直接在資料所在位置分析及處理資訊，不必建立昂貴的管道，將大型物件從一個雲端環境遷移至另一個雲端環境
• 這種設定可消除獨立的資料孤島，讓整個基礎架構做好支援自主式 AI 工作流程的準備，而不受制於相同供應商。

如要從這些複雜的檔案中挖掘出有意義的價值，您需要專用的框架。人工智慧和機器學習技術可做為這個程序的引擎。舉例來說，AI 輔助自動化管道可協助將影片檔案或原始文字文件，從龐大的二進位程式碼區塊轉換為可讀取的資料。

開發人員會運用特定 AI 技術處理不同類型的檔案，包括：

• 自然語言處理：讀取電子郵件、支援單和法律合約等文字密集的文件
• 電腦視覺：分析圖片和影片，協助執行多項工作，例如查看監控錄影畫面、評估醫學影像或處理衛星相片
• 語音轉文字模型：轉錄音訊檔案，讓文字可供搜尋

以下說明現代 AI 管道如何處理這類資訊，進而提供實際的解決方案：

1. 收集非結構化來源：使用者、裝置和應用程式會不斷產生原始資料。常見範例包括文字密集的電子郵件、影片檔案、IoT 感應器串流、PDF 和社群媒體貼文。
2. 透過擷取層轉送：系統會安全地收集傳入的資料，並轉送至正確的儲存目的地。開發人員通常會使用大量資料管道、API 閘道或批次檔案上傳功能，在不拖慢主要應用程式的情況下移動這些資料。
3. 在儲存層保護資料：系統會根據您需要存取資料的速度和頻率，安全地保存資訊。您可以使用 Cloud Storage 建構原始資料湖泊、使用 Bigtable 處理高速 IoT 記錄檔，或使用 Firestore 存放彈性的應用程式內容。
4. 在處理層分析：AI 模型可在此發揮作用。專門的運算模型會運用上述自然語言處理、電腦視覺和語音轉文字工具，讀取、掃描及解讀不拘格式的檔案，從中找出意義。
5. 提供洞察層：最後，系統會將處理後的資料轉化為清楚明確、可據以行動的商業智慧。最終可獲得多項寶貴的輸出內容，例如從客服中心錄音檔得出的顧客情緒分數、為符合法規而自動分類的文件，以及從工廠感應器取得的預測性維護快訊。
6. 持續回饋並最佳化：可信度偏低的 AI 預測結果會轉送給人工審查員驗證及修正。這些剛修正過的資料會做為新的訓練資料回饋至步驟 1，用於重新訓練並改善 AI 模型。系統會持續追蹤模型的準確率和延遲時間，確保 AI 不會隨著時間推移而衰退。

選擇管理解決方案時，應考量具體工作負載和成長軌跡。您可以先比較地端部署檔案儲存空間與雲端物件儲存庫。隨著複雜度增加，選擇通常會轉向雲端原生資料湖泊或全代管 AI 整合平台。

評估選項時，請參考這份技術檢查清單：

• 儲存空間架構 (檔案式、物件儲存庫或資料湖泊)
• 可擴充至 PB 規模，且符合成本效益
• 原生 AI 和機器學習整合 (NLP、電腦視覺、嵌入)
• NoSQL 彈性 (Bigtable 適用於處理量密集的工作負載，Firestore 適用於應用程式層級內容)
• 資料治理、存取控管和法規遵循功能
• 支援多種格式 (文字、圖片、影片、音訊、IoT)
• 與現有資料倉儲、商業智慧工具和分析平台整合
• 目標資料量的總持有成本

隨著人工智慧工作負載增加，儲存空間不再只是被動的資料儲存庫。儲存空間已成為 AI 效能路徑上的主動元件。為消除開發人員和資料庫管理員遇到的基礎架構效能瓶頸，Google Cloud 推出了多項進階非結構化儲存空間功能。

如果您要設計高效能的資料架構，可以運用下列特定工具，大規模處理及管理非結構化格式：

• 智慧儲存空間自動產生中繼資料：智慧儲存空間會在非結構化物件寫入 bucket 的當下，自動產生圖片註解等相關背景資訊。這麼一來，開發人員就完全不必再自行建構手動註解管道。此外，這項服務也整合 Model Context Protocol (MCP) 伺服器，讓 AI 代理能原生讀取、寫入及分析 Cloud Storage 資料。
• 非結構化資料的洞察：這項 Knowledge Catalog 功能會使用 Gemini Enterprise Agent Platform，分析資料湖泊中儲存的 PDF 等原始非結構化檔案的實際內容。這項服務會自動推論結構定義並擷取關係，直接將非結構化檔案編入 BigQuery 物件資料表，方便您立即查詢。
• Cloud Storage Rapid：這系列儲存空間專為應對 AI 處理作業的突發尖峰而設計，可提供極高的頻寬和極低的延遲。Rapid Bucket 提供超過 15 TB/s 的頻寬，而 Rapid Cache 可將讀取處理量提升至 2.5 TB/s，加快模型載入等密集型工作的速度，且現有 bucket 無須變更任何程式碼。
• Managed Lustre：如果基礎架構團隊正在建構大規模訓練叢集，Google Cloud Managed Lustre 現在可透過遠端直接記憶體存取 (RDMA) 技術，提供高達 10 TB/s 的處理量。這可確保高效能運算加速器能持續取得所需資料，不會發生延遲。
• Z4M 執行個體：對於正在建構自訂儲存空間架構的組織而言，新的 Z4M 執行個體支援信任的平行檔案系統，每個執行個體最多可配置 168 TiB 的本機 SSD 容量。

只要使用這些專門打造的儲存工具，就能確保底層基礎架構輕鬆支援現代代理應用程式所需的龐大處理量和高並行性。