ビッグデータの概要

データは企業にとって最も価値のある資産です。ビッグデータを活用して分析情報を得ることで、市場状況、顧客の購入行動からビジネス プロセスまで、ビジネスに影響を及ぼす領域を理解することが可能です。

あらゆる業界で組織の変革に役立っているビッグデータの例をいくつかご紹介します。

• 消費者の行動と購買習慣を追跡し、個々の顧客に合わせて高度にパーソナライズされた小売商品のおすすめを提供
• 支払いパターンをモニタリングし、過去の顧客アクティビティと比較して分析することで、不正行為をリアルタイムで検出
• 注文の配送過程のあらゆる段階のデータと情報を、地域に特化した交通情報と組み合わせて、フリート オペレーターがラスト ワンマイル配送を最適化できるように支援
• 自然言語処理などの AI 搭載テクノロジーを使用して、非構造化医療データを分析し（研究レポート、臨床メモ、検査結果など）、治療法の開発と患者ケアの強化のための新しい分析情報を得る
• カメラやセンサーからの画像データと GPS データを使用して、道路の陥没を検出し、都市の道路整備を改善
• 衛星画像と地理空間データセットの一般公開データセットを分析して、サプライ チェーンのオペレーションが社会と環境に与える影響を可視化、モニタリング、測定、予測する

これらは、組織がよりデータドリブンになるためにビッグデータを使用し、顧客や周囲の世界のニーズと期待にうまく適応できるようする方法の一例にすぎません。

ビッグデータの定義は多少異なる場合がありますが、常にボリューム（Volume）、速度（Velocity）、多様性（Variety）の観点から説明されます。これらのビッグデータの特性は、多くの場合「ビッグデータの 3 つの V」と呼ばれ、2001 年に Gartner によって初めて定義されました。

ボリューム

その名前が示すように、ビッグデータに関する最も一般的な特徴は、その膨大な量です。これは、さまざまなソースやデバイスから継続的に収集、生成される膨大な量のデータを指します。

速度

ビッグデータの速度とは、データが生成される速度のことです。現在、データはリアルタイムまたは準リアルタイムで生成されていることが多いため、意味のある影響をもたらすには、同じ速度で処理、アクセス、分析を行う必要もあります。

多様性

データは異種混合です。つまり、多くの異なるソースから来る可能性があり、構造化、非構造化、または半構造化されたものである可能性があります。スプレッドシートやリレーショナル データベースのデータなど、より従来型の構造化データは、非構造化テキスト、画像、音声、動画ファイル、または固定のデータスキーマに整理できないセンサーデータのような半構造化形式によって補完されるようになりました。

前述の 3 つの V に加え、ビッグデータの力の活用に関連してよく言及される他の 3 つ、正確性、変動性、価値があります。  

• Veracity: ビッグデータは乱雑でノイズが多く、エラーが発生しやすいため、データの品質と精度の制御が困難です。大規模なデータセットは扱いにくく、混乱を招く可能性があります。一方、小規模なデータセットでは全体像を把握できない可能性があります。データの正確性が高いほど、それはより信頼できます。
• 変動性: 収集されるデータの意味は常に変化しているため、時間の経過とともに不整合が生じる可能性があります。こうした変化には、コンテキストや解釈の変化だけでなく、企業が収集、分析したい情報に基づくデータの収集方法の変化も含まれます。
• 価値: 収集するデータのビジネス価値を判断することが不可欠です。ビッグデータには適切なデータが含まれていなければならず、意思決定を促進するのに役立つ分析情報を得るには、効果的に分析する必要があります。

ビッグデータの中心的なコンセプトは、あらゆるものの可視性が高まれば、より的確な意思決定、成長機会の発見、ビジネスモデルの改善に役立つ分析情報をより効果的に取得できるということです。

ビッグデータを機能させるには、主に次の 3 つのアクションが必要です。

• 統合: ビッグデータは、さまざまなソースからテラバイト、場合によってはペタバイトの元データを収集します。これらの元データを受信、処理し、ビジネス ユーザーやアナリストが分析を開始するために必要な形式に変換する必要があります。
• 管理: ビッグデータには、クラウド、オンプレミス、またはその両方で、大容量のストレージが必要です。また、データは必要な形式で保存される必要があります。また、リアルタイムで処理して利用できるようにする必要があります。無制限のコンピューティングとスケーラビリティを活用するために、クラウド ソリューションに移行する企業が増えています。  
• 分析: 最後のステップは、ビッグデータを分析して行動することです。そうしなければ、投資に見合う効果は得られません。データ自体を調査するだけでなく、誰もが理解できる方法でビジネス全体に分析情報を伝達し、共有することも重要です。これには、チャート、グラフ、ダッシュボードなどのデータ可視化を作成するためのツールの使用が含まれます。

ビッグデータには多くのメリットがありますが、そのような膨大なデータを収集、管理、活用する際に組織が取り組むべき課題もいくつかあります。

ビッグデータに関して最も多く報告されている課題として、以下が挙げられます。

• データ人材とスキル不足。データ サイエンティスト、データ アナリスト、データ エンジニアは不足しており、IT 業界で最も需要が高く、高給の専門職の一つです。ビッグデータに関するスキル不足と高度なデータツールの経験不足が、ビッグデータ環境から価値を実現するための主な障壁の 1 つです。
• データの増加速度。ビッグデータは、その性質上、常に急速に変化し、増加しています。処理、ストレージ、ネットワーク、セキュリティのニーズに対応できる強固なインフラストラクチャがなければ、管理が非常に困難になる可能性があります。
• データ品質の問題。データ品質は、意思決定、データ分析、計画戦略の品質に直接影響します。元データが乱雑であると、キュレートが困難になる可能性があります。ビッグデータがあっても、データが正確で、関連性があり、分析できるように適切に整理されていなければ、結果は保証されません。報告が遅れる可能性がありますが、対策を講じないと、誤解を招く結果や価値のない分析情報につながる可能性があります。
• コンプライアンス違反。ビッグデータには機密データや機密情報が多く含まれているため、データの処理と保存に関して、データ ローカリゼーションやデータ所在地に関する法律などのデータ プライバシーと規制要件を満たしていることを継続的に保証するのは困難が伴います。
• 統合の複雑さ。ほとんどの企業は、組織全体のさまざまなシステムやアプリケーションにサイロ化されたデータを使用しています。さまざまなデータソースを統合してビジネス ユーザーがデータにアクセスできるようにするのは、複雑で容易ではありませんが、ビッグデータから価値を引き出すにはこの作業が不可欠です。
• セキュリティに関する懸念。ビッグデータには重要なビジネス情報や顧客情報が含まれているため、ビッグデータストアが攻撃者にとって価値の高い標的になります。これらのデータセットは多様かつ複雑であるため、それらを保護する包括的な戦略やポリシーを実装することは困難な場合があります。

ビッグデータをうまく活用するには時間、労力、コミットメントが必要なため、全面的にビッグデータを活用することにまだ注意を払っている組織もあります。特に企業は、確立されたプロセスを再構築し、データをあらゆる意思決定の中心に据えるために必要な文化的な変革を促進することに苦労しています。  

しかし、ビジネスをデータ ドリブンにするには、それだけの価値があります。最近の調査で明らかになったことは次のとおりです。

• データに基づく意思決定を行う企業の 58% は、そうでない企業よりも収益目標を達成する可能性が高い
• 高度な分析情報主導のビジネス能力を持つ組織は、前年比で 2 桁の成長を報告する可能性が 2.8 倍高い
• データ ドリブンな組織は平均して、年間 30%以上の成長を生み出している

今すぐ行動を起こし、ビッグデータの導入に向けて大きく前進する企業は、将来的に成功を収めるでしょう。

強固なデータ戦略を策定するには、まず達成したい目標を理解し、具体的なユースケースと現在利用可能なデータを特定する必要があります。また、ビジネス目標を達成するために必要な追加データや、それをサポートするために必要な新しいシステムやツールを評価する必要もあります。

従来のデータ管理ソリューションとは異なり、ビッグデータのテクノロジーとツールは、大規模で複雑なデータセットを処理して価値を引き出すのに役立つように作られています。ビッグデータ用ツールは、収集されるデータのボリューム、組織がそのデータを分析に利用できるようになるまでの時間、そのデータの複雑さや多様さに対して役立ちます。

たとえば、データレイクは、構造化データ、非構造化データ、半構造化データをネイティブ形式で取り込み、処理し、任意の規模で保存します。データレイクは、可視化、リアルタイム分析、MLなど、さまざまな種類のスマート アナリティクスを実行するための基盤として機能します。

ビッグデータに関しては、万能な戦略はないということを覚えておくことが重要です。ある企業で通用するアプローチが、ご自身の組織固有のニーズに合わない場合もあります。

Google Cloud のお客様から学んだ、ビッグデータに対する優れたアプローチを形作るための 4 つの重要なコンセプトをご紹介します。

オープン

今日の組織には、必要なツールとソリューションを使用して、求めるものを構築できる自由が必要です。データソースが増え続け、新しい技術革新が利用可能になるにつれて、ビッグデータの現実は、複数のインターフェース、オープンソースのテクノロジー スタック、クラウドを含むものになっています。ビッグデータ環境は、企業がソリューションを構築し、成功に必要なデータを取得できるように、オープンで適応性があるように設計される必要があります。

インテリジェント

ビッグデータには、スマート アナリティクス、AI および ML テクノロジーを活用して、ビジネス上の意思決定を向上させる分析情報の提供とビッグデータ インフラストラクチャ全体を管理する時間と労力の節約が可能なデータ機能が必要です。たとえば、プロセスを自動化したり、セルフサービス分析を可能にしたりして、他のチームからのサポートを最小限に抑えながら、人々が自分でデータを使って作業できるようにすることを検討する必要があります。  

フレキシブル

ビッグデータ分析は、イノベーションを妨げるものではなく、イノベーションをサポートするものでなければなりません。そのためには、コンピューティング リソースとストレージ リソースへのオンデマンド アクセスを提供し、データを統合して簡単に検出してアクセスできるようにするデータ基盤を構築する必要があります。また、ワークロードとユースケースに最適なデータ ツールセットを作成するために、簡単に組み合わせて使用できるテクノロジーとソリューションを選択できることも重要です。

信頼できる

ビッグデータを活用するには、信頼できるデータでなければなりません。そのため、データが正確で、関連性があり、保護されているという、データに対する信頼を構築することが不可欠です。データの出所に関係なく、デフォルトで保護する必要があります。また、戦略では、コンプライアンス、冗長性、信頼性を確保するために必要なセキュリティ機能を考慮する必要があります。