ローカル SSD と Isima の bi(OS) で e コマース データの TCO を最小限に抑える

※この投稿は米国時間 2023 年 7 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

今日の e コマース市場では、消費者に合わせた利用体験が求められていますが、顧客の獲得、パーソナライゼーション、フルフィルメント、オペレーションにかかる費用は爆発的に増大しています。データは、e コマースと小売業者にとって、高い費用対効率を確保して消費者に満足いただく手段の一つです。残念ながら、こうした貴重なデータは多くの場合、マーケティング チャネル、社内の IT システム、サードパーティのフルフィルメント システム、特注のオペレーション システム全体に分散されています。

bi(OS) は e コマース データスタックの差別化要素

bi(OS) は、オンライン トランザクション処理（OLTP）システム、オンライン分析処理（OLAP）システム、サードパーティ Software-as-a-Service（SaaS）システム間のデータハブとして機能します。bi(OS) には、OLTP システム（Cloud SQL）、OLAP システム（Cloud Storage、BigQuery）、サードパーティ SaaS システム（Google / Facebook 広告、Clevertap、Google タグ マネージャーなど）からデータを取り込むためのノーコード コネクタが搭載されています。また、SQL に対応する Python、Java、JavaScript SDK を介して、低レイテンシのマイクロサービス、準リアルタイム解析ジョブ、アドホック クエリとの連携も可能です。

Google Cloud におけるの bi(OS)

Google Cloud における e コマースと小売業者のユースケースを対象とする Isima のベンチマークでは、マーケティング テクノロジー（マーテック）、パーソナライゼーション、フルフィルメント、オペレーションのさまざまな側面がカバーされています。チームは、16 x 375 GB ローカル SSD を備えた n2-highmem-16 インスタンスを利用して bi(OS) クラスタをセットアップしています。このローカル SSD には、us-east-4 リージョンの 3 つのゾーン（a、b、c）にわたる 3 方向の復元力があります。Isima のエンジニアは、システムがファイブナインの信頼性をもって 5 日以上稼働した後、いくつかの指標を収集しました。この間、すべての書き込みと読み取りは 3 つのゾーン間で QUORUM の整合性を保って実行されていました。

コンピューティング、メモリ、ストレージの 70% 以上の使用率のもと、システムは最大 5,500 オペレーション/秒を維持しました。

さらに、bi(OS) には、顧客向け ML マイクロサービスのテール レイテンシを短縮するターボモードが実装されています。以下のグラフは、ターボモードを使用した状態と使用していない状態で 4 時間以上にわたって測定したレイテンシの分布を示しています。

bi(OS) と bi(OS) Turbo は p99 までは同等ですが、bi(OS) Turbo は p99.9 のレイテンシを 8 分の 1 に短縮しています。

Google Cloud ローカル SSD の詳細

bi(OS) はマルチクラウド サービスですが、Google Cloud は I/O に関する次のような独自のメリットを提供しています。

• ストレージの微調整: Google Cloud は、「ビッグ 3」の中で一時的なブロック ストレージ（Google Cloud の場合はローカル SSD）の量を微調整できる唯一のクラウド プロバイダです。これにより、Isima は元データの保持期間を最長で 1 年間提供できます。これは他のクラウド プロバイダよりも 40% 高い数字です。

• ローカルに接続された複数の小規模 SSD: Google Cloud のローカル SSD は 375 GiB パーティションで提供されています。こうしたの複数の小さいローカル SSD パーティションにより、bi(OS) などのアプリケーションは、write-ahead log とデータの両方に同じストレージ タイプを使用できます。

• 安定した I/O レイテンシ: bi(OS) は、基盤となるインフラストラクチャがスムーズに動作してはじめて QoS の保証を満たすことができます。ベンチマーク中、ローカル SSD が 70% 以上埋まった後でも、Cloud Storage が読み取りと書き込みの良好な I/O レイテンシを実現しています。

まとめ

Isima が Google Cloud を選択したのは、あらゆる e コマースと小売業者のユースケースに対し、無駄がなく、費用対効果が高く、革新性のある 3 層データスタックを実行できるからです。Isima はクラウド ファーストの企業として、Google Cloud のシンプルさと、リソースのデプロイと管理に対するクラウド ファースト アプローチに好感を抱いています。現在、Google Cloud Marketplace に bi(OS) を公開する方向で動いています。詳細については、bi(OS) のページをご覧になるか、e コマースのパイオニアが bi(OS) をどのように使用しているかに関する 2 分間の動画をご覧ください。

^{1. 各選択で最大 10 行を取得。言い換えれば、このシステムは 1 秒あたり約 20,000 行以上処理したことになる。
*1 秒あたりの読み取り + 書き込みの行数で測定。}

- ローカル SSD プロダクト マネージャー Aisha Wang
- ブロック ストレージ プロダクト マネージャー Baker Woods