データサイロから食料のためのサイロへ: テクノロジーによる食品廃棄物への取り組み
Google Cloud Japan Team
※この投稿は米国時間 2020 年 12 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。
アメリカでは食料の 40% が廃棄されている一方で、3,500 万人（おそらくこのパンデミックにあってはさらに多くの人数）のアメリカ人が、食べ物に困っているか、今後どこで食事を得られるのかわからない状態にあります。また、食品廃棄物は「世界で最も愚かな環境問題」と呼ばれています。パンデミックが続く中で、フードシステムに注目が集まっています。農家は収穫した作物を土に返し、レストランは営業の再開に苦慮しており、新たに失業した何百万人ものアメリカ人が食料配給に並んでいます。状況を改善するために政府や慈善家たちが資本を投入する中、業界のリーダーたちは、適切な場所に十分な食料を提供する方法を模索しています。物や資金を動かすには、何よりも正確なデータと、サプライ チェーンにおける食品を記述するための共通言語が必要です。
Alphabet の子会社である X のチームは、この壮大な試みの最初の段階として、Kroger や Feeding America®️ と緊密に連携し、Google Cloud の技術を使ってデータセットの探索、変換、分析を行いました。
食料はアメリカ全土のサイロや貯蔵庫に安全に保管されていますが、食料の質や量に関する情報もサイロの中に眠っています。その情報は何の役にも立っていないのです。中立的なデータ スチュワードとしての X と元データを共有することで、Kroger と Feeding America は、自社の組織の最適化を超えた、システムレベルでの潜在的な変化の機会を見い出しました。
データが企業の資産として高く評価されている世界では、データを共有することは、法的、運用的、技術的なハードルが大きいだけでなく、戦略的、競争的なリスクであると見なされるかもしれません。しかし、データの共有は大きなメリットにもつながります。違いの大きい 3 つの組織が、それぞれのデータ資産の安全を確保しつつ、協力して業界全体の目標を達成した過程から、多くのことが学べました。ここではそのストーリーについてお話しします。業界全体に及ぶ課題の解決は、データセットの共有から始まることがわかりました。データのサイロ化を解消することが、どのように食品廃棄の削減につながったのでしょうか。
データサイロとは何か、なぜ存在するのか
データのサイロ化とは、インタラクションに対する論理的、物理的、技術的、文化的な障壁のために、該当する相互に関連したサブシステムがリアルタイムでやり取りできない情報管理パターンのことです。たとえば、人事システムは機密性の高い従業員の情報を保護するために会社の他のシステムから分離されている場合がありますが、財務部門で給与に関する情報が更新された場合、2 つのシステム間の情報を手動で調整する必要があります。
データのサイロは、業界や組織全体に蔓延しています。政府や政界では、専門家が「縦割り」について、アプリケーション アーキテクトは「異種システム」について、組織文化コンサルタントは相容れない「サブカルチャー」について語ります。いずれの場合も、最終的な結果は似たようなものです。それぞれのケースで、膨大な量のデータが揃っていても、意思決定者はデータにアクセスして処理し、必要な答えを見つけて迅速に対応するのに苦労しています。X、Feeding America、Kroger が提携することになったとき、まずは組織上の根本的な障害に対処しなければなりませんでした。
使命と信念: 提携にあたって、それぞれの組織には異なるビジョンがありました。サステナビリティに注力している組織もあれば、食料安全保障に注力している組織もあり、それぞれに違ったデータのニーズがあります。またデータのサイロ化が考えの不一致を助長したこともありました。たとえば、一部のフードバンクが小売店からの寄付が減少していることを懸念していた一方で、Kroger は寄付をするのに十分な量を確保していましたが、そのデータはまだオペレーション化されていませんでした。
組織の懸念: Feeding America や Kroger にとって秘密事項を共有することは勇気のいることでした。自社のデータ品質やスタンダードに関する課題が見えてしまうからです。このプロジェクトを主導した人たちには、企業の承認プロセスが立ちはだかります。各組織が権力の一形態としてデータを保持するよりも、共有することで得られるものの方が大きい理由、そして起こる可能性の低い意図しない結果を恐れる必要がない理由を説明する必要がありました。
技術的な制限: 集まったリーダーには影響力や意思決定権がありましたが、データにアクセスしてデータ パイプラインを実装するための権限や知識を持った技術スタッフではありませんでした。さらに、Kroger も Feeding America も、お互いの所有データを保存、分析する立場にはありませんでした。
データサイロを打破する方法
この 3 社はパートナーとして、それぞれの組織との信用と信頼をどのように築くかについて戦略的に取り組み、データサイロを打破できました。パートナーシップが取った手順は次のとおりです。
目標をすり合わせてから関係先を拡大する。パートナーは一堂に会し、それぞれのハイレベルな目標、目標達成に必要なデータアセット、全体的な運営方針を十分に明確にしてから、それぞれの法務チームにデータ共有契約書を下書きしてもらい、エグゼクティブの承認プロセスに移行しました。そうすることで、各組織内のこのプロジェクトの担当者は、従来の会社の方針に従うのではなく、明確な根拠を持って社内で交渉できるようになりました。
大きく考え、小さく始める。パートナーが皆、統合したグローバルなソースの示す真実の可能性を信じ、上司にそのビジョンを強調する一方で、個々のリーダーは、小さな規模から開始することで、それぞれの企業がこの取り組みを支援しやすくしました。このチームは、すぐにスケールアップするのではなく、1 つの店舗と 1 つのフードバンクでプロトタイプを作成し、すべてをエンドツーエンドで構築しました。それにより、次の 10 店舗、10 のフードバンクに参加を依頼する前に教訓を得ることができました。
共有に対する抵抗感を軽減する。X チームは、Kroger と Feeding America のデータチームとの連携に投資し、Google Cloud へのデータ転送を定期的にスケジュールして順序付けするための自動化プロセスを設定しました。この詳しい事例紹介では、Cloud Composer を使用して ETL（抽出、変換、読み込み）のプロセスを設定する方法を説明します。
共通言語を探す。X チームが Google Cloud のエンタープライズ データ ウェアハウスである BigQuery で Kroger と Feeding America の両方のデータセットを取得したところ、両方の組織とそれぞれの部門には、場所、食品項目、数量、その他の変数について共通言語がないことがわかりました。テキサスを示す方法が、少なくとも 27 通りもあったのです。最初のステップは、データを一貫性のある形式にすることでした。例として、この事例紹介では、Maps API を使用した位置情報データの標準化について説明しています。
分析情報は早い段階から、頻繁に示す。このパートナーシップでは、1 店舗または 5 つのフードバンクについての初期分析を行い、すぐに効果が出る機会を特定できました。たとえば、特定のフードバンク間で食品を一括調達して料金を抑える方法や、なるべく多くの食品の寄付をフード パントリーが入手するために店舗受け取り日を適切にスケジュールする方法などです。これにより、スポンサーや運営スタッフからさらなるサポートを得て、データをサイロ化させない取り組みを継続的に拡大していくことができました。詳しい例やツールをご確認ください。
世界の食料情報を整理する
本プロジェクトに取り組んでいる X チームは、このたび Google Food チームに参加し、Google Cloud 上で Kroger と Feeding America とともにパートナーシップを引き続き発展させていくことになりました。この食品廃棄と飢餓の問題を解決するための共同の取り組みは、Google のグローバル規模のインフラストラクチャの信頼性と安全性を背景に、確実に継続されていくでしょう。
今回の食品廃棄物プロジェクトの技術的な詳細をご覧ください。
これらの取り組みの詳細や寄付に関する情報は以下をご確認ください。
X および Google チームは、この記事にご協力いただいた Kroger、Feeding America、そのメンバーであるフードバンク、St. Mary's Food Bank に感謝の意を表します。
-Cloud Architect および X Alumnus 担当 Joe Intrakamhang
-データ サイエンティスト Mike Ryckman
