대규모 언어 모델(LLM)은 여러 유형의 문제를 해결하는 데 효과적입니다. 그러나 다음과 같은 제한사항이 적용됩니다.
- 학습 후 고정되므로 오래된 지식이 제공됩니다.
- 외부 데이터를 쿼리하거나 수정할 수 없습니다.
확장 프로그램 및 Vertex AI(미리보기)는 이러한 단점을 해결할 수 있습니다. 확장 프로그램은 실시간 데이터를 처리하고 실제 작업을 수행하는 외부 API와 연결됩니다. Vertex AI 확장 프로그램 서비스는 이러한 확장 프로그램을 등록, 관리 및 실행하며 사용자 쿼리를 처리하고 LLM과 연결되는 애플리케이션에 연결할 수 있습니다.
애플리케이션에 사용자 쿼리가 수신될 때마다 확장 프로그램이 수행할 수 있는 작업과 확장 프로그램 집합이 LLM에 제공됩니다. 모델이 쿼리 처리를 확장 프로그램에 위임하도록 결정하면 요청된 확장 프로그램 호출 및 관련 매개변수 값을 애플리케이션에 제공합니다. 애플리케이션이 이 요청을 확장 프로그램 서비스에 전달하고 확장 서비스는 확장 프로그램을 실행합니다. 확장 프로그램 서비스가 작업 결과를 애플리케이션에 전달하고, 애플리케이션이 이를 다시 모델에 전달하면 프로세스가 완료됩니다.
Vertex AI Search를 사용하면 LLM을 외부 시스템의 API에 연결하는 확장 프로그램을 생성, 배포, 관리할 수 있습니다. 이러한 시스템은 LLM에 실시간 데이터를 제공하고 대신 데이터 처리 작업을 수행할 수 있습니다.
확장 프로그램 및 Vertex AI 확장 프로그램 서비스의 사용 사례와 이점에 대해 자세히 알아보려면 사용 사례 및 이점을 참조하세요.
Vertex AI 확장 프로그램 서비스로 확장 프로그램을 등록, 관리, 실행하는 방법은 확장 프로그램 등록, 관리, 실행을 참조하세요.
사용 사례 및 이점
다음은 몇 가지 가능한 확장 프로그램 사용 사례입니다.
- 코드를 생성하고 실행합니다.
- 웹사이트를 쿼리하고 정보를 합성합니다.
- 기업별 데이터 컬렉션 내에서 정보를 기반으로 질문에 답변합니다.
- 데이터 스토어를 쿼리하고 분석합니다.
Vertex AI 확장 프로그램 서비스는 다음 이점을 제공합니다.
- 엔터프라이즈 제어: Identity and Access Management(IAM) 권한 및 보안 제어
- 데이터 보안: 비공개 데이터가 모델 학습에 사용되거나 누출되지 않는다는 계약상 합의
- 성능 계약: 플랫폼이 특정 기능 및 업타임을 제공한다는 계약상 합의
- 비공개 확장 프로그램: 조직 또는 신뢰할 수 있는 파트너의 승인된 사용자는 확장 프로그램을 사용하여 내부 기술 자료 검색 또는 HR 작업 완료와 같은 민감한 내부 데이터 및 작업에 액세스할 수 있습니다.
- Google 제품 통합: Vertex AI Search, BigQuery, 특수 모델과 같은 Google 제품과의 통합