什麼是大數據？

大數據是指極為龐大且多樣化的結構化、非結構化和半結構化資料集合，這些資料會隨著時間持續以指數方式增加。這些資料集的資料量、速度和多樣性都龐大又複雜，傳統資料管理系統無法儲存、處理及分析這類資料集。

資料量和可用性正迅速成長，這都要歸功於數位技術的進步，例如連線能力、行動性、物聯網 (IoT) 和人工智慧 (AI)。隨著資料持續擴張及增多，新的大數據工具也不斷出現，幫助公司以所需的速度收集、處理及分析資料，以便充分發揮資料的效益。

大數據是指大量且多樣化的資料集，這些資料集數量龐大且隨著時間快速增加。大數據會用於機器學習、預測模型和其他進階數據分析，以便解決業務問題並做出明智決策。

請繼續閱讀下文，瞭解大數據的定義、大數據解決方案的部分優勢、常見的大數據難題，以及 Google Cloud 如何協助機構建構資料雲端，以便從資料中取得更多價值。

免費試用

大數據範例

資料可說是公司最寶貴的資產。您可以透過大數據取得深入分析結果，瞭解哪些領域會影響您的業務，包括市場狀況、客戶購買行為以及業務程序等等。

以下列舉幾個能幫助各產業推動機構轉型的大數據範例：

追蹤消費者行為和購物習慣，提供專為個別客戶量身打造的高度個人化零售產品建議
監控付款模式，並與歷來客戶活動比對分析，即時偵測詐欺行為
結合訂單運送流程各階段的資料與資訊，以及超當地車流量洞察資料，協助車隊作業員提升最後一里的送貨效率
運用自然語言處理等 AI 輔助技術來分析非結構化的醫療資料 (例如研究報告、臨床筆記和實驗室結果)，取得新的洞察資訊，改善療法開發，並提升病患照護品質
運用攝影機、感應器和 GPS 資料的圖片資料，偵測坑洞及改善城市道路養護品質
分析公開的衛星圖像資料集和地理空間資料集集，以視覺化、監控、評估及預測供應鏈作業對社會和環境的影響

以上僅是幾種運用方式，說明機構能如何利用大數據提高資料導向的運作效能，以便滿足客戶及周遭世界的需求與期望。

大數據的 3 個 V

大數據的定義可能略有不同，但一律會以資料量、速度與多樣性等面向說明。這些大數據特性通常稱為「大數據的 3 個 V」，此定義由 Gartner 在 2001 年首先提出。

資料量

顧名思義，與大數據有關最常見特徵就是高資料量，也就是由多種來源和裝置持續產生，且可隨時收集的大量資料量。

速度

大數據速率是指資料產生速度。現今的資料通常是即時或近乎即時產生，因此必須以相同的速率處理、存取及分析資料，才能帶來有意義的影響。

多樣性

資料具異質性，代表這可能來自許多不同的來源，且可以是結構化、非結構化或半結構化資料。較傳統的結構化資料 (例如試算表或關聯資料庫中的資料) 現在可用非結構化的文字、圖片、音訊、影片檔案，或是無法以固定資料結構定義呈現的感應器資料等半結構化格式補充。

除了上述原始版本的三個 V，還有另外三個與善用大數據的力量有關：真實性、變異性及價值。

Veracity：大數據可能相當雜亂、雜訊多且容易出錯，導致難以控制資料的品質和正確性。大型資料集可能難以掌控且令人困惑，而小型資料集或許無法完整呈現整體面貌。資料的真實性越高，可信度就越高。
變異性：已收集資料的含義不斷變動，可能隨著時間推移而出現不一致的情況。這些轉變不僅包括情境和解釋的變化，還包括公司根據想擷取和分析的資訊而使用的資料收集方法。
價值：決定所收集資料的商業價值相當重要。大數據必須包含合適的資料，然後有效進行分析，才能產生深入分析結果，協助您制定決策。

大數據如何運作？

大數據的核心概念就是您能掌握越多資訊，就越能有效深入分析，以利做出更明智的決策、發掘成長商機，並改善商業模式。

如要順利運用大數據，您需要採取三個主要行動：

整合： 大數據會從許多來源收集以 TB 甚至 PB 為單位的原始資料，並且必須接收、處理及轉換成企業使用者和分析師進行分析時所需的格式。
管理：無論是在雲端和/或 on-premises 環境，大數據都需要大型儲存空間。此外，資料也必須視需求以任何形式儲存。此外，資料也必須經過處理並即時提供。有越來越多的公司開始採用雲端解決方案，藉此享有無限運算和擴充性。
分析： 最後一個步驟是分析大數據並採取相關行動，否則投資就毫無意義。除了探索資料本身，在企業內部以淺顯易懂的方式溝通及分享洞察也相當重要。包括使用工具製作資料圖表，例如圖表、圖形和資訊主頁。

大數據優勢

改良決策制定流程

大數據是成為資料導向機構的關鍵要素。如果您可以管理和分析大數據，就能找出相關模式並汲取洞察，從而改善及制定更明智的營運和戰略決策。

提高靈活性與創新

您可以利用大數據來收集和處理即時資料點，並加以分析，進而迅速因應現況並取得競爭優勢。這些深入分析資料有助於引導及加速新產品、功能和更新的規劃、生產及推出。

提升客戶體驗

藉由整合及分析結構化資料來源及非結構化資料來源，您將能取得更實用的洞察資料，以利理解消費者、提供個人化體驗，並協助消費者改善體驗，進而滿足消費者的需求與期望。

連續智慧

有了大數據，您就能整合自動化的即時資料串流與進階資料分析，持續收集資料、發掘新的深入分析結果，並探索拓展業務和價值的新商機。

提高作業效率

運用大數據分析工具和功能，可加快資料處理速度並產生洞察，協助您判斷哪些領域可以降低成本、節省時間，並提升整體效率。

改善風險管理機制

如果分析大量資料，企業就能更妥善地評估風險，從而更輕鬆地識別和監控所有潛在威脅，以及取得深入分析報告，促進更穩健的控管與緩解策略。

導入大數據分析的難題

雖然大數據有許多優點，但也存在一些挑戰，機構在收集、管理大量資料及採取行動時，必須準備好應對。

最常回報的大數據難題包括：

缺乏資料人才和技能。數據資料學家、資料分析師和資料工程師人才短缺，而且是 IT 產業中最受重視 (且薪水最高) 的專業人員之一。缺乏大數據技能和進階資料工具經驗，是從大數據環境創造價值的主要障礙之一。
資料成長速度。大數據的特性是瞬息萬變且迅速增加。如果沒有穩固的基礎架構可以滿足您的處理程序、儲存空間、網路和安全性需求，管理起來可能會相當困難。
資料品質問題。資料品質會直接影響決策、資料分析和規劃策略的品質。原始資料雜亂無章，難以整理。除非資料正確、相關且妥善整理，能夠用於分析，否則擁有大數據並不保證能獲得結果。這可能會使報表產生速度變慢，但如果沒有解決，最後可能會產生誤導性結果和無用的洞察資料。
違反規定。大數據包含大量私密資料和資訊，因此難以持續確保資料的處理和儲存符合資料隱私權和法規要求，例如資料在地化和資料落地法律。
整合的複雜度。大多數公司都必須處理機構中各個系統和應用程式之間各自孤立的資料。整合不同的資料來源以及讓企業使用者存取資料的程序相當複雜，但如果您想讓大數據產生任何價值，這就很重要。
安全疑慮。大數據含有寶貴的業務和客戶資訊，這也讓大數據儲存庫成為高價值的攻擊目標。這些資料集各不相同且十分複雜，因此要實施全方位的策略和政策來保護這些資料集，可能會更加困難。