생성형 AI 애플리케이션의 모델 및 인프라 선택
애플리케이션 호스팅: 애플리케이션을 호스팅하기 위한 컴퓨팅입니다. 애플리케이션은 Google Cloud의 클라이언트 라이브러리 및 SDK를 사용하여 다양한 Cloud 제품과 통신할 수 있습니다.
모델 호스팅: 생성 모델을 위한 확장 가능하고 안전한 호스팅입니다.
모델: 텍스트, 채팅, 이미지, 코드, 임베딩, 멀티모달을 위한 생성 모델입니다.
그라운딩 솔루션: 검증 가능하고 업데이트된 정보 소스로 모델 출력을 고정합니다.
데이터베이스: 애플리케이션의 데이터를 저장합니다. SQL 쿼리를 통해 프롬프트를 보강하거나 pgvector와 같은 확장 프로그램을 사용하여 데이터를 벡터 임베딩으로 저장하여 기존 데이터베이스를 그라운딩 솔루션으로 재사용할 수도 있습니다.
스토리지: 이미지, 동영상, 정적 웹 프런트엔드 등의 파일을 저장합니다. 원시 그라운딩 데이터(예: PDF)는 나중에 임베딩으로 변환하여 벡터 데이터베이스에 저장할 수 있습니다.
아래 섹션에서는 사용할 Google Cloud 제품을 선택하는 데 도움이 되는 각 구성요소를 살펴봅니다.
애플리케이션 호스팅 인프라
애플리케이션 워크로드를 호스팅하고 서빙할 제품을 선택하여 생성 모델을 호출합니다.
모델 호스팅 인프라
Google Cloud는 대표적인 Vertex AI 플랫폼부터 Google Kubernetes Engine의 맞춤설정 가능하고 이식 가능한 호스팅에 이르기까지 생성 모델을 호스팅하는 여러 방법을 제공합니다.
모델
Google Cloud는 Gemini를 포함하여 Vertex AI를 통해 최신 파운데이션 모델 집합을 제공합니다. 또한 서드 파티 모델을 Vertex AI Model Garden, GKE의 자체 호스팅, Cloud Run 또는 Compute Engine에 배포할 수 있습니다.
그라운딩
정보에 입각하고 정확한 모델 응답을 보장하기 위해서 생성형 AI 애플리케이션을 실시간 데이터로 그라운딩할 수 있습니다. 이를 검색 증강 생성(RAG)이라고 합니다.
유사성 검색과 같은 작업에 최적화된 형식인 벡터 데이터베이스에서 자체 데이터로 그라운딩을 구현할 수 있습니다. Google Cloud는 다양한 사용 사례에 대해 여러 가지 벡터 데이터베이스 솔루션을 제공합니다.
참고: Cloud SQL 또는 Firestore와 같은 기존 데이터베이스를 쿼리하고 모델 프롬프트에서 결과를 사용하여 기존(벡터 이외) 데이터베이스를 그라운딩할 수도 있습니다.
데이터에 프로그래매틱 방식으로 액세스하나요(OLTP)? 이미 SQL 데이터베이스를 사용 중이신가요?
데이터베이스에서 직접 Google AI 모델을 사용하고 싶으신가요? 짧은 지연 시간이 필요하신가요?
API로 그라운딩
Vertex AI 확장 프로그램(비공개 미리보기)
Vertex AI에서 그라운딩
빌드 시작
LangChain 설정
LangChain은 프롬프트에 컨텍스트를 빌드하고 모델 응답에 반응할 수 있는 생성형 AI 앱용 오픈소스 프레임워크입니다.