정확도, 속도, 10억 이상의 규모 면에서 PostgreSQL 벡터 검색이 대폭 향상된 AlloyDB

* 본 아티클의 원문은 2024년 10월 4일 Google Cloud 블로그(영문)에 게재되었습니다. 

Google이 20년 동안 AI를 실제 애플리케이션에 통합하는 과정에서 부상한 중요한 테마가 있습니다. 즉, 엔터프라이즈 생성형 AI 애플리케이션을 빌드하려면 대규모 워크로드의 규모와 성능 요구사항을 지원하는 확장 가능하고 신뢰할 수 있는 데이터 기반이 있어야 한다는 것입니다. 생성형 AI 또는 검색 애플리케이션을 빌드하고 있다면 애플리케이션의 최신 데이터에 근거한 고품질 결과를 실시간으로 얻을 수 있어야 합니다. 또한 개발자가 빌드 및 관리하기 쉽고 적은 비용으로도 대규모 실행이 가능한 솔루션이 있어야 합니다.

오늘 Google은 기업에서 확장 가능하고 정확하며 우수한 성능을 가진 생성형 AI 및 검색 애플리케이션을 빌드하는 데 도움이 되는 AlloyDB용 ScaNN 색인의 정식 버전을 발표했습니다. PostgreSQL용 AlloyDB는 까다로운 엔터프라이즈 워크로드를 위한 완전 관리형 PostgreSQL 호환 서비스로, 표준 PostgreSQL보다 4배 빠른 트랜잭션 워크로드 속도와 최대 100배 빠른 분석 쿼리 속도를 지원합니다. 이제 ScaNN 색인은  12년간 이루어진 Google의 연구 결과(10억 명 이상의 Google 사용자에게 제공되는 서비스 일부를 강화하는 데 사용된 것과 동일한 기술)를 PostgreSQL용 AlloyDB에 도입하여 벡터 데이터베이스 워크로드를 향상할 수 있습니다.

ScaNN 색인을 사용하는 AlloyDB는 벡터 최적화된 데이터베이스의 성능을 조합하여 빠른 시간 안에 정확한 결과를 전달하고 10억 개 이상의 벡터를 지원하도록 확장되며, 관계형 데이터베이스의 쿼리 유연성, 엔터프라이즈 기능, 멀티 워크로드 기능을 제공합니다. 

AlloyDB용 ScaNN 색인

AlloyDB용 ScaNN 색인은 전체 스펙트럼에 걸쳐 최첨단 쿼리 성능을 유지하면서 10억 개 이상의 벡터를 지원하도록 확장 가능한 최초의 PostgreSQL 호환 색인입니다. 이 색인은 95%의 재현율로 10억 개의 벡터에서 25ms p95 지연 시간 미만의 우수한 성능을 제공합니다. 또한 표준 PostgreSQL의 HNSW 색인보다 최대 4배 더 빠른 벡터 쿼리를 제공합니다. 이 외에도 AlloyDB의 ScaNN 색인은 실제 워크로드에 중요한 이점인 매우 빠른 색인 빌드 시간을 제공하며 이를 통해 개발자 생산성을 향상하고 대규모 워크로드에서 발생하는 고비용 병목 현상을 줄일 수 있습니다. 또한 메모리 사용량을 효율적으로 관리하는 데에도 도움이 됩니다. 일반적으로 표준 PostgreSQL의 HNSW 색인보다 3~4배 더 적은 메모리를 사용하여 더 작은 머신에서 대규모 워크로드를 실행하고 하이브리드 워크로드의 성능을 높여 줍니다. 마지막으로 AlloyDB는 기본 메모리에 맞는 색인보다 훨씬 더 큰 다양한 색인을 지원하므로 고객이 특정 워크로드에 맞는 적정 규모의 색인을 선택할 수 있습니다. 종합하면 이러한 개선사항은 전문 도구의 필요성을 줄이는 동시에 AlloyDB에서 효율적으로 실행할 수 있는 벡터 데이터베이스 워크로드 세트를 방대하게 확장합니다.

동시에 AlloyDB는 상업용 관계형 데이터베이스의 모든 이점을 제공합니다. 완전한 호환성을 갖춘 PostgreSQL은 개발자에게 쿼리 벡터와 스칼라 데이터에 함께 사용할 수 있는 간단하고 유연한 쿼리 언어를 제공하여 단일 데이터베이스에서 간단한 필터부터 하이브리드 검색에 대한 복잡한 조인까지 모든 것을 지원합니다. AlloyDB는 완전한 트랜잭션 일관성과 높은 쓰기 처리량을 지원합니다. 실제로 AlloyDB의 ScaNN 색인은 표준 PostgreSQL의 HNSW 색인보다 쓰기 처리량이 최대 10배 더 높습니다. 따라서 업데이트 비율이 매우 높은 고객은 쓰기 작업의 성능이 우수하고 쓰기 작업을 쿼리에 간편하게 사용할 수 있다는 데서 안심하고 이를 사용할 수 있습니다. 마지막으로 AlloyDB에는 유지보수가 포함된 99.99%의 고객 친화적인 가용성 SLA와 고가용성, 재해 복구, 데이터 보호, 보안 등과 관련된 중요한 엔터프라이즈 기능이 있습니다.

새로운 AlloyDB용 ScaNN 색인은 PostgreSQL 및 pgvector와 완벽하게 호환되므로 현재 가장 많이 사용하는 오픈소스 데이터베이스인 PostgreSQL을 사용하는 전문 개발자들은 이 기술을 쉽게 사용할 수 있습니다. 

다음 단계

AlloyDB용 ScaNN 색인을 더 자세히 알아보려면 Google의 AlloyDB용 ScaNN 색인 개요를 확인하거나 Google의 ScaNN 알고리즘 심층 분석 및 PostgreSQL과 AlloyDB에 ScaNN 색인을 구현한 방법에 관한 AlloyDB용 ScaNN 백서를 읽어보세요.

AlloyDB용 ScaNN은 이제 Google Cloud의 AlloyDB에서 정식으로 사용할 수 있습니다. AlloyDB 인스턴스 생성에 관한 빠른 시작 가이드를 따라 단계를 수행한 다음 쉽고 빠른 벡터 쿼리를 시작하기 위한 Google 문서를 참조하세요. 이제 30일 무료 체험판으로 AlloyDB를 무료로 사용해 볼 수도 있습니다.