AlloyDB を活用したバイエル社のデータ運用変革
Aaron Joyce
Engineering Lead, Bayer Crop Science
※この投稿は米国時間 2024 年 7 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。
編集者注: バイエル社は、膨大な量の観測データの保存と分析を行うために、最新式のデータ ソリューションである Field Answers を構築しました。新たな市場セグメントをオンボーディングするための準備プロセスの一環として広範な負荷テストを行った結果、トラフィックの急激な増加に対応するために新たなデータベース ソリューションが必要であることがわかりました。バイエル社は AlloyDB for PostgreSQL に移行することで、運用の効率化、ソリューションの一元化、社内のコラボレーションの促進を実現しました。
バイエルは科学を活用して未来の農業の実現に取り組んでいます。当社のグローバル データ アセット チームは、バイエルの地理空間データを管理しています。地図、表現型観測データ(作物の物理的特性の観測データ)、衛星画像、その他の環境データ(天候や土層など)へのアクセスを提供し、多くのチームとアプリケーションをサポートしています。
Field Answers は、全世界の農地や温室の運営に関する膨大な観測データを効率的に収集、計算するために私たちが開発した、最新式のデータ ソリューションです。最適な種の選定、生産コストの最適化、農家への製品のマーケティングなど、バイエルの研究開発パイプラインのさまざまなステージで行われる意思決定において、これらのデータは重要な役割を果たします。しかしながら、このような大規模なシステムの管理には課題が伴います。
データベースに関する課題の除去
Field Answers で新しい市場セグメントのオンボーディング準備を進める中で、このツールへのトラフィックの急増が予測されました。Field Answers は分散型ソリューションであり、順序に対する感度とレプリケーションの遅延がパフォーマンスに影響を与えます。広範な負荷テストを行った結果、オープンソース PostgreSQL を使った当社のシステムでは、レイテンシとスループットに関する要求を満たせないことがわかりました。これでは、チームに必要とされている高価値のデータセットにアクセスしにくくなってしまいます。
新しいデータベースを迅速に導入する必要がありました。いくつかのプロダクトを試した結果、AlloyDB for PostgreSQL が最良の選択肢であることが判明しました。AlloyDB のテストにあたっては、Google Cloud チームが常にサポートを提供してくれ、移行に関して想定外の問題が発生しても助けてもらえるという安心感がありました。AlloyDB は当社で使用していた Postgres データベースと互換性があったため、アプリケーションを一切変更することなく移行でき、タイトなスケジュールに間に合わせることができました。北米ではちょうど作付けの季節を迎える頃だったため、これは非常にありがたいことでした。
AlloyDB による成長促進
AlloyDB への移行は当社のビジネスに大きな変化をもたらしました。以前の PostgreSQL の環境では、書き込み処理とそのリーダーノードへのレプリケーションを、いずれもプライマリ ライターが行っていました。書き込みトラフィックと読み取り回数が増加すれば、このノードに大きな負荷がかかり、ボトルネックが生じたり、レプリケーション遅延が増えたりすると予想されました。AlloyDB のアーキテクチャでは、すべてのノードで信頼できる唯一の情報源を利用しているため、読み取りトラフィックのスケーリングによる影響を大きく抑えられました。移行後は、パフォーマンスが大幅に向上したことにより、需要の増加に対応し、レプリケーションの遅延を一貫して低く保つことができるようになりました。並列負荷テストを行った結果、小さなサイズの AlloyDB インスタンスでは、以前の PostgreSQL ソリューションと比較してレスポンス時間が平均で 50% 以上短縮し、スループットが 5 倍に増加しました。
AlloyDB への移行により、データベースの制約に縛られずにビジネスを成長させ、イノベーションに注力することが可能になりました。移行がその真価を発揮したのは、製品に関する意思決定のタイムラインにおいてパフォーマンスが大きな意味を持つ、収穫の最盛期を初めて迎えたタイミングでした。農業は季節に左右されるため、ほんの数日の遅延が原因で製品のリリースが丸一年遅れることもあります。当社の顧客は当然気をもんでいましたが、Google Cloud と AlloyDB のおかげで、願っていたとおりに順調に収穫期を迎えることができました。
堅調なデータ アーキテクチャの構築
Google Cloud とのパートナーシップは、データメッシュ アプローチへの適応という当社のデータ戦略を実現するうえで重要な役割を果たしました。各アセットが特定のデータドメインを扱うこのアプローチによって、データの所有と管理を分散させることができ、品質、アクセシビリティ、ガバナンスを確保しつつ、ドメイン ドリブンのチームに各自のデータの責任を負ってもらうことが可能になります。
データ戦略をサポートするため、当社は複数の Google Cloud プロジェクトで一貫したアーキテクチャを採用しました。典型的なプロジェクトでは、Google Kubernetes Engine(GKE)でホストされる Pod と、イベントや分析データのパブリッシュ用のパイプラインによってスタックが構成されています。バイエルでは、チーム間やクラウド プロバイダ間のデータ ストリーミングには Apache Kafka を使用していますが、個々のチーム内では、メッセージングとイベント ドリブンのアーキテクチャとして日常的に Pub/Sub を使用しています。分析やレポート用のデータは通常 BigQuery に格納され、格納されたデータの実体化のためのカスタム プロセスがあります。プロジェクトを横断して BigQuery データセットを使用することにより、より大規模なリアルタイムのユーザー グループと連携して、運用能力を向上させることができます。
コラボレーションを通じたイノベーションの促進
今後、AlloyDB、Datastream、Pub/Sub、BigQuery を組み合わせることで実現できる可能性に、大きな期待を寄せています。これらのツールのインテグレーションを想定した設計により、トイルを軽減し、信頼性を高め、より効果的にアプリケーションをスケールできるようになると見込んでいます。また、AlloyDB と Vertex AI のインテグレーションにより、ML や高度な分析を活用する新たな機会を開拓したいとも考えています。
今後も Google Cloud を継続して使用していくにあたり、発生する課題や機会に対応するうえで、Google Cloud が最適なツールを提供してくれることを確信しています。当社は、AlloyDB と Google Cloud エコシステムの活用を通じて、私たちの事業運営を向上させるだけでなく、農業の未来にも貢献していきます。より効率的で革新的なソリューションを通じて、農家がデータドリブンな意思決定を行い、経営を最適化し、全世界でサステナブルな食料供給を行えるよう支援していきます。農業の未来はデジタル化にあります。当社は、Google Cloud の協力のもと、変革の最前線を探求しています。
次のステップ
-
AlloyDB for PostgreSQL の詳細を確認し、今すぐ無料トライアルをご利用ください。
-
BigQuery の優れた機能をご確認ください。
- Bayer Crop Science、エンジニアリング リード Aaron Joyce 氏