什麼是資料整合？
大數據、物聯網 (IoT)、軟體式服務 (SaaS)、雲端活動等，讓資料來源的數量暴增，也使得全世界的資料量急速上升。但是，這些資料大多收集並儲存在封閉的孤島或各自的資料儲存庫。資料整合過程可以將這些分散的資料集中在一起，產生更高的資料價值和深入分析結果。
當企業追求數位轉型策略時，資料整合更是重要，因為只有洞悉所有資料，才能改善營運、提高客戶滿意度，並在日益數位化的世界中保持競爭力。
Google Cloud 的資料整合解決方案 Cloud Data Fusion 是全代管的雲端原生資料整合服務，可協助使用者有效率地建構與管理 ETL/ELT 資料管道。
資料整合的定義
資料整合將不同來源的資料聚集在一起，以更有價值的方式集中檢視資料，進而改善企業的決策速度和品質。
資料整合可以整併所有類型的資料 (結構化、非結構化、批次和串流等)，有利於完成難易度不同的工作，從庫存資料庫的基本查詢，到複雜的預測分析都不成問題。
資料整合的挑戰有哪些？
資料整合平台使用困難
經驗豐富的資料專業人士不易尋覓，且薪資極高，但多數資料整合平台的部署作業又不得不借助他們的才能。需要存取資料才能做出業務決策的分析人員，經常依賴於這些專業人士，而這會拖慢取得資料分析價值的速度。
資料整合基礎架構的資本支出和營運支出都很高
在採購、部署、維護和管理企業級資料整合計畫所需的基礎架構時，會同時需要支出資本和營運費用，而雲端式資料整合代管服務可以直接解決這樣的成本問題。
資料與應用程式緊密結合
過去，資料都綁定並依附於特定的應用程式，因此無法在企業的其他地方擷取和使用。如今，我們看到應用程式和資料層已脫鉤，所以您可以更靈活地運用資料。
資料語意問題
表示同一事物的多個資料版本可能以不同分類或格式出現，例如，日期可以數字形式 dd/mm/yy 或「月日年」格式儲存，而 ETL 中的「轉換」部分和主要資料管理工具可以化解這個難題。
資料整合工具有哪些？
資料整合平台通常包括以下許多工具：
- 資料擷取工具：這類工具有助您取得及匯入資料，除了馬上使用，也可儲存起來以備後用。
- ETL 工具：ETL 是擷取 (extract)、轉換 (transform) 和載入 (load) 的英文縮寫，這是最常見的資料整合方法。
- 資料目錄：這可以幫助企業尋找和清查分散在多個資料孤島中的資料資產
- 資料管理工具：這類工具可確保資料的供應情形、安全性、可用性和完整性
- 資料清理工具：這類工具透過更換、修改或刪除方式清理品質不好的資料
- 資料遷移工具：這類工具可在電腦、儲存系統或應用程式格式之間移動資料
- 主要資料管理工具：這類工具可以協助企業遵循通用資料定義並實現單一可靠來源
- 資料連接器：這類工具可在不同資料庫之間移動資料，還可以執行轉換
資料整合的用途有哪些？
開發資料湖泊
資料整合可將資料從孤立的內部部署平台移到資料湖泊中，藉此增加資料價值。
資料倉儲
資料整合可將各種來源的資料合併到資料倉儲中，以利業務分析。
行銷
資料整合可將所有行銷資料 (例如客戶統計資料、社群網路和網站分析資料) 移到同一位置，以利分析及採取處理行動。
IoT
資料整合有助於將來多個 IoT 來源的資料集中到一個地方，從中發掘價值。
資料庫複製
在將資料從 Oracle、MongoDB 或 MySQL 等來源資料庫複製到雲端資料倉儲系統的過程中，資料整合扮演核心的角色。
相關產品和服務
過去只有精通資料探勘、合併、清理和分析的技術團隊才有能力使用資料整合工具，產出資料湖泊或資料倉儲等有價值的資料產品，但是 Google 突破了這樣的資料整合障礙。
Cloud Data Fusion 是擷取與整合雲端原生資料的代管服務，將經驗豐富的數據資料工程師技能提供給任何團隊，讓稍懂或完全不懂程式碼的團隊不須撰寫程式碼即可開發 ETL/ELT 資料管道。
