언어 모델 개요

Vertex AI PaLM API 및 Vertex AI Codey API를 사용해서 Google의 생성형 AI 언어 모델을 액세스, 조정, 배포할 수 있습니다. 언어 모델을 사용해서 Vertex AI에서 다양한 워크로드를 수행합니다. 예를 들어 API를 사용해서 모델과 상호 작용하고 Jupyter 노트북에 모델을 배포합니다. 또한 모델 조정을 수행하여 특정 사용 사례에 맞게 언어 모델을 맞춤설정할 수 있습니다. 이 페이지에서는 사용 가능한 언어 모델, 모델과 상호작용하는 데 사용되는 API, 동작을 맞춤설정하는 방법에 대한 개요를 제공합니다.

모델 이름 지정 스키마

기반 모델 이름에는 사용 사례와 모델 크기의 두 구성요소가 포함됩니다. 이름 지정 규칙은 <use case>-<model size> 형식입니다. 예를 들어 text-bison은 Bison 텍스트 모델을 나타냅니다.

모델 크기는 다음과 같습니다.

  • Unicorn: PaLM 계열에서 규모가 가장 큰 모델입니다. Unicorn 모델은 모델에 삽입된 광범위한 지식과 추론 기능으로 인해 코딩 및 연쇄 사고(CoT)와 같은 복잡한 작업에서 탁월합니다.
  • Bison: 분류, 요약 등 다양한 언어 작업을 처리하는 가성비가 가장 좋은 PaLM 모델입니다. 합리적인 비용으로 정확성과 지연 시간에 맞춰 최적화되어 있습니다. 텍스트, 채팅, 코드, 코드 채팅 인터페이스를 통해 배포 및 개발자의 애플리케이션으로의 통합이 간소화됩니다.
  • Gecko: 간단한 태스크를 위한 가장 작고 저렴한 가격 모델입니다.

모델의 안정 또는 최신 버전을 사용할 수 있습니다. 자세한 내용은 모델 버전 및 수명 주기를 참조하세요.

Vertex AI PaLM API

Vertex AI PaLM API는 자연어 텍스트, 텍스트 임베딩, 코드를 지원하는 PaLM2 모델 제품군에 액세스할 수 있게 해줍니다. 코드 생성의 경우에는 Vertex AI Codey API를 사용하는 것이 좋습니다. PaLM2는 Google Labs에서 개발된 2세대 Pathways Language Model입니다. Vertex AI PaLM API를 사용하면 Vertex AI에서 제공되는 MLOps 도구, 엔터프라이즈 수준의 보안, 안전, 개인 정보 보호, 확장성을 이용할 수 있습니다.

Vertex AI PaLM API는 각 Google Cloud 프로젝트에 고유한 전역 게시자 엔드포인트를 사용하여 PaLM2 모델을 노출합니다. 다음은 게시자 모델 엔드포인트의 예시입니다.

https://us-central1-aiplatform.googleapis.com/v1/projects/your_project_id/locations/us-central1/publishers/google/models/text-bison:predict

Vertex AI PaLM API에는 다음 PaLM2 모델에 대한 게시자 엔드포인트가 있습니다.

  • text-bison: 분류, 요약, 추출, 콘텐츠 생성, 아이디어 구상과 같은 자연어 태스크를 수행하는 데 최적화되어 있습니다.
  • chat-bison: 모델이 채팅의 이전 메시지를 추적하고 새로운 응답을 생성하기 위한 컨텍스트로 사용하는 멀티턴 채팅에 최적화되어 있습니다.
  • textembedding-gecko: 제공된 텍스트의 텍스트 임베딩을 생성합니다. 시맨틱 검색, 권장사항, 분류, 이상점 감지와 같은 태스크에 임베딩을 사용할 수 있습니다.

이 모델에 대한 자세한 내용은 사용 가능한 모델을 참조하세요.

Vertex AI Codey API

Vertex AI Codey API는 여러 프로그래밍 언어에 대해 코드 생성, 코드 채팅, 코드 완성을 지원하도록 최적화되어 있습니다. Vertex AI Codey API는 PaLM2 모델 제품군을 기반으로 합니다. 자세한 내용은 코드 모델 개요를 참조하세요.

프롬프트 설계

PaLM2와 같은 기반 모델과 상호작용하기 위해서는 생성할 항목을 모델에 알려주는 프롬프트라고 부르는 자연어 지시를 전송합니다. 하지만 LLM은 경우에 따라 예기치 않은 방식으로 작동할 수 있습니다. 프롬프트 설계는 시행착오를 반복하는 과정이며, 숙련되기 위해 시간과 연습이 필요합니다. 일반적인 프롬프트 설계 전략에 대해 자세히 알아보려면 프롬프트 설계 소개를 참조하세요. 텍스트에 대한 태스크 특정 프롬프트 설계는 텍스트 프롬프트 설계를 참조하세요.

모델 조정

특정 사용 사례에 대해 PaLM2 모델을 맞춤설정해야 할 경우 입력 및 출력 예시의 데이터 세트를 사용해서 모델을 조정할 수 있습니다. 조정된 모델은 요청 처리를 위해 프로젝트의 새 엔드포인트에 자동으로 배포됩니다. 모델 조정에 대해 자세히 알아보려면 기반 모델 조정을 참조하세요.

다음 단계