RAG 엔진의 벡터 데이터베이스 선택

미리보기

RAG Engine은 Google Cloud 서비스별 약관의 'GA 이전 제공 서비스 약관'이 적용되는 미리보기 버전입니다. GA 이전 제품 및 기능은 지원이 제한될 수 있으며, GA 이전 제품 및 기능의 변경사항이 다른 GA 이전 버전과 호환되지 않을 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요. 또한 Vertex AI에서 Gemini API를 사용하면 생성형 AI 미리보기 이용약관(미리보기 약관)에 동의하는 것으로 간주됩니다.

이 페이지에서는 RAG 엔진에서 지원되는 벡터 데이터베이스 선택사항을 소개합니다. 벡터 데이터베이스 (벡터 저장소)를 RAG 코퍼스에 연결하는 방법도 확인할 수 있습니다.

LLM의 일반적인 문제는 비공개 지식, 즉 조직의 데이터를 이해하지 못한다는 것입니다. RAG 엔진을 사용하면 추가 비공개 정보로 LLM 컨텍스트를 보강할 수 있습니다. 모델이 할루시네이션을 줄이고 질문에 더 정확하게 답변할 수 있기 때문입니다.

벡터 데이터베이스는 RAG 애플리케이션의 검색을 지원하는 데 중요한 역할을 합니다. 벡터 데이터베이스는 의미론적 의미와 관계를 포착하는 텍스트 또는 기타 데이터의 수학적 표현인 벡터 임베딩을 저장하고 쿼리하는 특수한 방법을 제공합니다. 벡터 임베딩을 사용하면 RAG 시스템이 복잡하거나 미묘한 검색어를 처리할 때도 방대한 지식 베이스에서 가장 관련성 높은 정보를 빠르고 정확하게 찾을 수 있습니다. 벡터 데이터베이스는 임베딩 모델과 결합하면 LLM의 한계를 극복하고 더 정확하고 관련성 높은 포괄적인 응답을 제공하는 데 도움이 됩니다.

지원되는 벡터 데이터베이스

RAG 자료집을 만들 때 RAG 엔진은 추가 프로비저닝이나 관리가 필요 없는 벡터 데이터베이스의 기본 선택사항으로 RagManagedDb를 제공합니다. RAG 엔진이 자동으로 벡터 데이터베이스를 만들고 관리하도록 하려면 RAG 자료 만들기를 참고하세요.

RAG 엔진을 사용하면 기본 RagManagedDb 외에도 벡터 데이터베이스를 프로비저닝하고 가져와 RAG 코퍼스 내에서 사용할 수 있습니다. 이 경우 벡터 데이터베이스의 수명 주기와 확장성을 개발자가 책임집니다.

벡터 데이터베이스 옵션 비교

이 표에는 RAG 엔진에서 지원되는 벡터 데이터베이스의 선택사항이 나열되어 있으며 RAG 코퍼스 내에서 벡터 데이터베이스를 사용하는 방법을 설명하는 페이지로 연결되는 링크가 제공됩니다.

요구사항을 충족하는 벡터 데이터베이스를 식별하려면 이 표를 사용하여 벡터 데이터베이스 옵션을 비교하세요.

벡터 데이터베이스	설명	이점	단점	RAG 엔진에서 지원되는 거리 측정항목	검색 유형	RAG Engine의 실행 단계	프로덕션 준비	권장
RagManagedDb (default)	RagManagedDb는 일관성과 고가용성을 제공하는 지역별로 분산된 확장 가능한 데이터베이스 서비스입니다. RagManagedDb는 벡터 검색에 사용할 수 있습니다.	설정할 필요가 없습니다. 빠른 시작 및 소규모 사용 사례에 적합합니다. 일관되고 높은 가용성 짧은 지연 시간 트랜잭션 워크로드에 적합합니다.	용량은 의도적으로 제한됩니다. 대규모 사용 사례에는 권장되지 않습니다.	cosine	KNN	미리보기		빠른 PoC 챗봇 RAG 앱
Pinecone	Pinecone은 고성능 유사성 검색을 위해 설계된 완전 관리형 클라우드 네이티브 벡터 데이터베이스입니다.	빠르게 시작할 수 있습니다. 우수한 확장성과 성능 필터링 및 메타데이터 검색과 같은 고급 기능을 사용하여 벡터 검색에 집중하세요. Google Cloud, AWS, Azure와 같은 클라우드 제공업체 중에서 선택할 수 있습니다.	최종 일관성: 업데이트가 즉시 반영되지 않습니다. 다른 옵션보다 비쌀 수 있음 할당량과 한도는 규모와 성능을 제한합니다. 기본 인프라를 제한적으로 제어합니다.	cosine euclidean dot-product	ANN	미리보기		대량 문서 엔터프라이즈 규모 RAG 벡터 데이터베이스 인프라 관리 기존 Pinecone 고객
Weaviate	Weaviate는 유연성과 모듈성에 중점을 둔 오픈소스 벡터 데이터베이스입니다. Weaviate는 다양한 데이터 유형을 지원하고 내장 그래프 기능을 제공합니다.	Weaviate는 오픈소스와 활기찬 커뮤니티를 제공합니다. 매우 유연하고 맞춤설정이 가능합니다. 텍스트 및 이미지와 같은 다양한 모달리티에 다양한 데이터 유형과 모듈을 지원합니다. Google Cloud, AWS, Azure와 같은 클라우드 제공업체 중에서 선택할 수 있습니다.	최종 일관성: 업데이트가 즉시 반영되지 않습니다. 설정 및 관리가 더 복잡할 수 있습니다. 실적은 구성에 따라 달라질 수 있습니다.	cosine dot-product L2 squared hamming manhattan	ANN + 하이브리드 검색 지원	미리보기		대량 문서 엔터프라이즈 규모 RAG 벡터 데이터베이스 인프라 관리 기존 Weaviate 고객
벡터 검색	벡터 검색은 Vertex AI 내의 벡터 데이터베이스 서비스입니다. 벡터 검색은 머신러닝 작업에 최적화되어 있으며 다른 Google Cloud 서비스와 통합됩니다.	벡터 검색은 Vertex AI 및 기타 Google Cloud 서비스와 통합됩니다. 확장성과 안정성은 Google Cloud 인프라에서 지원됩니다. 사용한 만큼만 지불하는 요금제를 사용합니다.	최종 일관성: 업데이트가 즉시 반영되지 않습니다. 진화하는 기능을 갖춘 새로운 서비스 Google Cloud를 통한 공급업체 종속 사용 사례에 따라 비용이 많이 들 수 있습니다.	cosine dot-product	ANN	미리보기		대량 문서 엔터프라이즈 규모 RAG 벡터 데이터베이스 인프라 관리 기존 Google Cloud 고객 또는 여러 Google Cloud 서비스를 사용하려는 사용자
Vertex AI Feature Store	Vertex AI Feature Store는 머신러닝 특성을 구성, 저장, 제공하기 위한 관리형 서비스입니다. Vertex AI Feature Store는 머신러닝 작업에 최적화되어 있으며 다른 Google Cloud 서비스와 통합됩니다.	Vertex AI Feature Store는 Vertex AI 및 기타 Google Cloud 서비스와 통합됩니다. 확장성과 안정성은 Google Cloud 인프라에서 지원됩니다. 기존 BigQuery 인프라를 Vertex AI Feature Store로 활용하여 비용 효율적이고 확장 가능한 솔루션을 제공합니다.	수동 동기화가 완료되면 온라인 상점에서 변경사항을 사용할 수 있습니다. Google Cloud를 통한 공급업체 종속	cosine dot-product L2 squared	ANN	미리보기		대량 문서 엔터프라이즈 규모 RAG 벡터 데이터베이스 인프라 관리 기존 Google Cloud 고객 또는 여러 Google Cloud 서비스를 사용하려는 고객

다음 단계

• 임베딩 모델 선택에 관한 자세한 내용은 RAG 엔진에서 임베딩 모델 사용을 참고하세요.
• RAG 엔진에 대한 자세한 내용은 RAG 엔진 개요를 참고하세요.