데이터베이스

새로운 기능으로 생성형 AI 앱을 지원할 준비가 된 Google Cloud 데이터베이스

2024년 4월 11일

Andi Gutmans

GM & VP of Engineering, Databases

Gemini 1.5 모델 사용해 보기

Google Vertex AI의 가장 진보한 멀티모달 모델

Google Cloud는 고객이 데이터를 통합하고 획기적인 AI와 연결하여 혁신적인 환경을 구축하도록 지원합니다. 운영 데이터베이스의 정형 데이터이든, 데이터 레이크의 비정형 데이터이든 데이터는 AI가 더 효과적으로 작동하도록 해줍니다. 기업에서 생성형 AI를 제대로 활용하기 위해서는 운영 및 분석 시스템 전반의 정형 데이터와 비정형 데이터에 액세스하여 이를 관리하고 활성화해야 합니다.

작년 Next ‘23에서 Google Cloud는 세계 최고 수준의 벡터 기능 제공, 개발자 생태계와의 강력한 통합 구축, AI 추론 서비스에 대한 손쉬운 연결을 포함하여 개발자가 엔터프라이즈 생성형 AI 애플리케이션을 빌드하도록 돕기 위한 비전을 제시했습니다. Google Cloud는 이 약속을 지키기 위해 열심히 노력해 왔으며, 오늘 엔터프라이즈 생성형 AI 앱을 손쉽게 빌드할 수 있는 AlloyDB 통합 기능 모음인 AlloyDB AI의 정식 버전(GA)을 출시합니다.

또한 개발자가 선호하는 데이터베이스를 사용하여 생성형 AI 앱을 빌드하도록 돕기 위해 Spanner, MySQL, Redis를 포함한 더 많은 데이터베이스 전반에 벡터 검색 기능을 구현하고, 언어 모델 기반의 애플리케이션 개발용으로 인기 있는 프레임워크인 LangChain과의 통합도 추가하고 있습니다.

개발자에게 통합 플랫폼을 제공하기 위해 이러한 모든 기능이 Vertex AI와의 기존 통합에 추가되고 있습니다. Spanner와 AlloyDB는 익숙한 SQL로 모델 서빙 및 추론을 수행할 수 있도록 Vertex AI와 기본적으로 통합되며, Firestore와 Bigtable은 Vertex AI 벡터 검색과 통합되어 생성형 AI 앱을 위한 의미 검색 기능을 제공합니다.

생성형 AI의 진정한 가치는 운영 데이터가 생성형 AI와 통합되어 엔터프라이즈 애플리케이션 전반에서 정확하고 상황에 맞는 실시간 경험을 제공할 때 발휘됩니다. 벡터 지원이 포함된 운영 데이터베이스는 기반 모델과 엔터프라이즈 생성형 AI 앱 간의 격차를 해소하는 데 도움이 됩니다. 또한 운영 데이터베이스는 일반적으로 애플리케이션 데이터의 대부분을 저장하므로 개발자가 새로운 AI 지원 사용자 환경을 구축하는 방식에 있어 핵심적인 역할을 합니다. 조직의 71%가 생성형 AI 기능이 통합된 데이터베이스를 사용할 계획인 것으로 나타나는 데에는 바로 이러한 이유가 있습니다. 성공적인 데이터베이스는 AI 우선 데이터베이스로 발전하면서 벡터 검색과 같은 기술을 심층적으로 통합하고, AI 모델에 대한 원활한 연결과 AI 도구 및 프레임워크와의 긴밀한 통합을 갖추게 될 것입니다. 이러한 모든 기술은 운영 데이터베이스 내에 또는 그 주변에 네이티브 방식으로 내장되는 기본 사양이 될 것입니다.

AlloyDB: 생성형 AI 워크로드를 위한 최신 PostgreSQL 데이터베이스

AlloyDB는 Google Cloud의 완전 관리형 PostgreSQL 호환 데이터베이스로, 뛰어난 성능과 규모, 가용성을 중심으로 설계되었습니다. 오늘 Google Cloud는 AlloyDB AI를 AlloyDB와 AlloyDB Omni에서 모두 정식 버전으로 출시합니다. 미래를 위해 설계된 AlloyDB의 특징은 다음과 같습니다.

정확한 실시간 응답이 필요한 엔터프라이즈 생성형 AI 앱에 최적화
트랜잭션, 분석, 벡터 워크로드를 위한 탁월한 성능 제공
온프레미스, 다른 클라우드를 포함해 어디서나 실행되므로 고객의 장소와 상관없이 현대화 및 혁신 가능

Character AI, FLUIDEFI, B4A, Regnology와 같은 고객이 AlloyDB를 사용하여 애플리케이션을 가동하고 있습니다. 예를 들어 Regnology의 규제 보고 챗봇은 자연어 처리를 활용하여 복잡한 규제 용어와 쿼리를 파악합니다.

"AlloyDB는 규제 가이드라인, 규정 준수 문서, 과거 보고 데이터의 저장소를 색인화하여 챗봇의 기반이 되는 동적 벡터 저장소 역할을 합니다. 규정 준수 분석가와 보고 전문가들은 대화 형식으로 챗봇과 상호작용하여 시간을 절약하고 다양한 규제 보고 질문을 처리합니다." - 앙투안 모로, Regnology CIO

모든 Google Cloud 데이터베이스에 걸친 벡터 검색

벡터 검색은 유용하고 정확한 생성형 AI 기반 애플리케이션을 빌드하기 위한 핵심적인 기능으로 부상했으며, 최근접 이웃 알고리즘을 사용하여 제품 카탈로그에서 텍스트, 이미지와 같은 비정형 데이터의 비슷한 검색 결과를 더 쉽게 찾을 수 있게 해줍니다. 오늘 Google Cloud는 MySQL용 Cloud SQL, Memorystore for Redis, Spanner를 포함한 여러 Google Cloud 데이터베이스 전반에 걸쳐 벡터 검색을 모두 프리뷰 버전으로 공개합니다.

작년에 PostgreSQL용 Cloud SQL과 AlloyDB에 출시한 pgvector 기능에 더해 이제 MySQL용 Cloud SQL은 근사(ANN) 또는 정확한 최근접 이웃(KNN) 벡터 검색을 모두 지원합니다. 이제 개발자는 이미 사용 중인 동일한 MySQL 인스턴스에 수백만 개의 벡터를 저장할 수 있습니다. MySQL이든 PostgreSQL이든 벡터 검색에 Cloud SQL을 활용하면 새로운 시스템을 배우거나 설정할 필요 없이 이미 사용 중인 운영 데이터베이스에서 직접 벡터 검색을 저장하고 수행할 수 있습니다.

Google Cloud는 또한 생성형 AI 애플리케이션에 초고속 성능을 제공하기 위해 벡터 스토리지에 대한 기본 지원과 Memorystore for Redis 검색을 출시합니다. 각 Redis 인스턴스는 수천만 개의 벡터를 저장할 수 있으며, 몇 밀리초의 지연 시간으로 벡터 검색을 수행할 수 있습니다. 이는 LLM 시맨틱 캐싱 및 추천 시스템과 같은 다양한 사용 사례를 위한 초저지연 데이터 스토어를 제공합니다.

Spanner는 분할 가능성이 높은 워크로드에 대해 벡터 검색을 확장할 수 있습니다. 수십억 개의 벡터와 초당 수백만 개의 쿼리가 포함된 대규모 벡터 워크로드를 감당할 수 있는 시스템은 많지 않습니다. 이러한 워크로드는 Spanner의 정확한 최근접 이웃 검색(KNN)과 아주 잘 맞습니다. Spanner가 검색 공간을 효율적으로 줄여 주므로 정확한 실시간 결과를 낮은 지연 시간으로 제공할 수 있기 때문입니다.

LangChain을 위한 생태계 지원 가속화

LangChain은 가장 인기 있는 오픈소스 LLM 조정 프레임워크 중 하나입니다. Google Cloud는 애플리케이션 개발자에게 생성형 AI 앱을 신속하게 빌드하는 데 도움이 되는 도구를 제공하기 위한 노력의 일환으로 모든 Google Cloud 데이터베이스에 대한 LangChain 통합을 오픈소스로 제공하고 있습니다. Google Cloud는 벡터 저장소, 문서 로더, 채팅 메시지 메모리를 포함한 세 가지 LangChain 통합을 지원합니다.

개발자는 Google Cloud 데이터베이스에서 LangChain의 강력한 기능을 활용하여 이제 문맥을 인지하는 생성형 AI 애플리케이션을 쉽고 더 빠르게 만들 수 있습니다. LangChain 통합은 개발자가 선호하는 데이터 소스 전반에서, 개발자가 선택한 엔터프라이즈급 Google Cloud 데이터베이스를 사용하는 검색 증강 생성(RAG) 워크플로를 기본 제공합니다. 사용 사례 예시에는 맞춤형 제품 추천, 질의 응답, 문서 검색 및 취합, 고객 서비스 자동화 등이 있습니다.

특정 LangChain 구성요소와의 통합은 Google 데이터베이스를 애플리케이션에 통합하는 프로세스를 간소화해 줍니다. 지원되는 구성요소에는 다음이 포함됩니다.

벡터 저장소: 벡터 유사성 쿼리 지원. LangChain 벡터 저장소 통합은 AlloyDB, PostgreSQL용 Cloud SQL, MySQL용 Cloud SQL, Memorystore for Redis, Spanner에서 제공됩니다.
문서 로더: 웹페이지 콘텐츠, YouTube 동영상 스크립트와 같은 다양한 외부 소스에서 원활한 데이터 로드를 지원합니다.
채팅 메시지 메모리: 과거 대화를 바탕으로 더욱 심층적인 문맥을 제공하여 나중에 참조할 수 있도록 채팅 기록을 저장할 수 있습니다.

문서 로더와 메모리 통합은 AlloyDB, Firestore, Bigtable, Memorystore for Redis, Spanner와 MySQL용, PostgreSQL용, SQL Server용 Cloud SQL을 포함한 모든 Google Cloud 데이터베이스에서 사용할 수 있습니다.

이 패키지는 현재 GitHub에서 사용할 수 있습니다.

AI 기반 미래 수용

운영 데이터베이스에는 미래의 혁신적인 생성형 AI 모델과 애플리케이션의 기반이 될 수 있는 데이터가 풍부하게 있습니다. 개발자는 엔터프라이즈급 운영 워크로드에 맞게 AlloyDB AI를 강화하고, Google Cloud 데이터베이스 포트폴리오 전반에 걸쳐 광범위한 벡터 검색 기능을 추가하며, 커뮤니티의 생성형 AI 프레임워크를 수용함으로써 엔터프라이즈 데이터베이스의 풍부한 데이터를 기반으로 하는, 지능적이고 정확하며 유용한 생성형 AI 기능을 애플리케이션에 추가하는 데 필요한 도구를 갖출 수 있습니다.