データベース

AlloyDB で PostgreSQL ベクトル検索の精度と処理速度が向上、10 億超のスケーリングを実現

2024年10月21日

Sandy Ghai

Group Product Manager

AlloyDB の ScaNN インデックスの一般提供を開始

Join us at Google Cloud Next

Early bird pricing available now through Feb 14th.

※この投稿は米国時間 2024 年 10 月 4 日に、Google Cloud blog に投稿されたものの抄訳です。

AI を実世界のアプリケーションに統合してきた Google の 20 年の経験の中から、重要なテーマが浮かび上がりました。エンタープライズ向け生成 AI アプリケーションを構築する鍵となるのは、最大ワークロードのスケーリングとパフォーマンスのニーズを満たす、信頼できるスケーラブルなデータ基盤を持つことです。生成 AI や検索アプリケーションを構築する際は、アプリケーションの最新データに基づいたリアルタイムで高品質な結果が求められます。また、デベロッパーが構築、管理しやすい、低コストで大規模な運用が可能なソリューションが必要となります。

このたび Google は、AlloyDB 向け ScaNN インデックスの一般提供を開始しました。これにより、企業はパフォーマンスと精度の高い、スケーラブルな生成 AI と検索アプリケーションを構築できるようになりました。AlloyDB for PostgreSQL は、要求の厳しいエンタープライズワークロード向けのフルマネージドな PostgreSQL 互換サービスで、標準の PostgreSQL より 4 倍高速なトランザクションワークロードと最大 100 倍高速な分析クエリなどが実現されています。ScaNN インデックスにより、12 年にわたる Google の研究成果（Google の 10 億以上のユーザーサービスの一部で使われているものと同じ技術）が AlloyDB for PostgreSQL に組み込まれ、ベクトルデータベースのワークロードも大幅に強化されました。

AlloyDB は ScaNN インデックスを使用することにより、記録的な速さで精度の高い結果を提供し、10 億以上のベクトルに対応してスケールするベクトル最適化データベースのパフォーマンスと、リレーショナルデータベースのクエリの柔軟性、エンタープライズ機能、マルチワークロード機能を融合させています。

AlloyDB 向け ScaNN インデックス

AlloyDB 向け ScaNN インデックスは、10 億以上のベクトルに対応してスケールしながら、あらゆる領域で最高のクエリパフォーマンスを維持する、初めての PostgreSQL 対応インデックスです。10 億ベクトルで 25 ミリ秒未満の P95 レイテンシ、95% の再現率という高いパフォーマンスを実現します。また、標準の PostgreSQL の HNSW インデックスと比べて最大 4 倍高速なベクトルクエリを実現します。さらに、AlloyDB 向け ScaNN インデックスは、実世界のワークロードに重要なメリット（特にインデックス構築時間の短縮）をもたらし、デベロッパーの生産性を高め、大規模なワークロードの高コストなボトルネックを減らします。メモリの使用も効率的です。通常のメモリ使用量は標準の PostgreSQL の HNSW インデックスの 3～4 分の 1 なので、大規模なワークロードを小規模なマシンで実行でき、ハイブリッドワークロードのパフォーマンスが向上します。最後に、AlloyDB はメインメモリに収まるサイズよりはるかに大きなインデックスに対応しているため、お客様は特定のワークロードに合わせてサイズを調整できます。こうした機能の向上により、AlloyDB 上で効率的に実行できるベクトルデータベースのワークロードが大幅に強化されるだけでなく、専用ツールの必要性が減少します。

それと同時に、AlloyDB は商用グレードのリレーショナルデータベースが持つすべてのメリットを提供します。PostgreSQL との完全な互換性により、単一のデータベース上でシンプルなフィルタから複雑な結合やハイブリッド検索まであらゆる処理に対応できるため、デベロッパーはシンプルかつ柔軟なクエリ言語を使用して、ベクトルとスカラーデータを一緒にクエリできます。AlloyDB はトランザクションの完全な整合性と高い書き込みスループットに対応しています。実際、AlloyDB 向け ScaNN インデックスは標準の PostgreSQL の HNSW インデックスより書き込みスループットが最大 10 倍高いため、書き込みのパフォーマンスが高く、クエリもすぐに実行されます。そのため、更新頻度が非常に高いお客様も安心できます。最後に、AlloyDB は、お客様を重視した 99.99% の可用性 SLA（メンテナンスを含む）と、高可用性、障害復旧、データ保護、セキュリティなどの重要なエンタープライズ機能を提供します。

AlloyDB 向けの新しい ScaNN インデックスは PostgreSQL と pgvector に完全に対応しているため、最も人気の高いオープンソースデータベースである PostgreSQL を使っているプロのデベロッパーは、このテクノロジーを簡単に利用できます。

次のステップ

AlloyDB 向け ScaNN インデックスについて詳しくは、AlloyDB 向け ScaNN インデックスの概要をご確認ください。また、AlloyDB 向け ScaNN に関するホワイトペーパーでは、Google の ScaNN アルゴリズムと Google がこのアルゴリズムを PostgreSQL と AlloyDB に実装した方法をご確認いただけます。