Vertex AI Prompt Optimizer 공개 프리뷰 발표
George Lee
Product Manager, Cloud AI Research
Ivan Nardini
Developer Relations Engineer
* 본 아티클의 원문은 2024년 9월 27일 Google Cloud 블로그(영문)에 게재되었습니다.
프롬프트 설계 및 엔지니어링은 대규모 언어 모델(LLM)에서 유의미한 출력을 유도하기 위한 가장 접근성이 좋은 방식 중 하나로 주목받고 있습니다. 하지만 대규모 언어로 프롬프트 작성하다 보면 복잡한 미로에서 길을 찾는 것처럼 느껴질 수 있습니다. 원하는 출력을 도출하기 위해서 다양한 요청 사항과 예의 조합으로 실험해야만 하기 때문입니다. 게다가 이상적인 프롬프트 템플릿을 찾더라도 여러 LLM으로 최적의 결과가 계속해서 제공된다는 보장은 없습니다.
LLM 간에 프롬프트를 마이그레이션하거나 번역하기가 어려운 이유는 언어 모델별로 동작이 다르기 때문입니다. 단순한 프롬프트 재사용은 비효율적이므로 사용자에게는 유용한 출력을 생성할 지능적인 프롬프트 옵티마이저가 필요합니다.
LLM 기반 애플리케이션을 빌드하는 동안 사용자가 겪을 수 있는 '프롬프트 피로'를 줄이기 위해 Google Cloud에서 Vertex AI Prompt Optimizer 공개 프리뷰를 발표하게 되었습니다.
Vertex AI Prompt Optimizer란?
Vertex AI Prompt Optimizer는 Vertex AI의 모든 기본 모델에 대한 최적의 프롬프트(요청 사항 및 데모)를 찾도록 도와줍니다. Prompt Optimizer는 자동 프롬프트 최적화(APO) 방식에 대한 Google 연구팀의 간행물(2024년 NeurIPS에서 승인)에 기반하며, [다양하게 표현된 요청 사항 생성]을 위한 옵티마이저 모델과 [선택된 요청 사항 및 데모의 평가]를 위한 평가자 모델이 함께 작동하여 후보 프롬프트를 생성하고 평가하는 반복적인 LLM 기반 최적화 알고리즘을 사용합니다. 이후 Prompt Optimizer는 사용자가 최적화하고 싶어 하는 평가 측정항목에 따라 최적의 요청 사항 및 데모를 선택합니다. 요청 사항에는 시스템 요청 사항, 컨텍스트, 프롬프트 템플릿의 작업이 포함됩니다. 데모는 모델 응답의 구체적인 스타일이나 어조를 유도하기 위해 프롬프트에 입력하는 퓨샷 예입니다.
Vertex AI Prompt Optimizer는 라벨이 있는 예와 구성된 최적화 설정 몇 개 만으로 타겟 모델에 가장 적합한 프롬프트(요청 사항 및 데모)를 찾아내기 때문에 새로운 LLM에 대해 매번 기존 프롬프트를 수동으로 최적화할 필요가 없습니다. 이제 Vertex AI에서 특정 작업의 새 프롬프트를 쉽게 작성하거나 모델 간에 프롬프트를 번역할 수 있습니다. 주요 특징은 다음과 같습니다.
-
간편한 최적화: 모든 소스 모델의 프롬프트 마이그레이션 및 번역을 포함해 모든 타겟 Google 모델의 프롬프트를 빠르게 최적화합니다.
-
다목적 작업 처리: 모든 텍스트 기반 작업(질의 응답, 요약, 분류, 항목 추출 등)을 수용합니다. 조만간 멀티모달 작업을 위한 확대 지원이 제공될 예정입니다.
-
포괄적인 평가: 모델 기반, 계산 기반, 커스텀 측정항목을 포함해 다양하고 광범위한 평가 측정항목을 지원하여 중요한 측정항목에 대한 최적의 프롬프트 성능을 보장합니다.
유연성 및 맞춤설정 기능: 고급 설정으로 최적화 프로세스 및 지연 시간을 맞춤설정하고 숙련도 및 필요에 따른 다양한 노트북 버전을 활용할 수 있습니다.
Vertex AI Prompt Optimizer를 사용해야 하는 이유
데이터 기반 최적화: 기존 프롬프트 최적화 도구 중 다수는 사용자가 선호하는 스타일과 어조에 맞게 프롬프트를 맞춤설정하는 데 초점을 맞추며, 여전히 사람의 확인이 필요한 경우가 많습니다. 하지만 Vertex AI Prompt Optimizer는 여기서 더 나아가 구체적인 평가 측정항목에 따라 프롬프트를 최적화함으로써 타겟 모델이 최상의 성능을 발휘할 수 있도록 보장합니다.
Gemini를 위한 설계: Gemini를 사용하시나요? Vertex AI Prompt Optimizer는 Gemini의 기본적인 특성을 염두에 두도록 설계되었으며, 구체적으로는 Gemini와 여러 Google 모델의 고유한 속성에 적응하도록 설계되었습니다. 이러한 맞춤형 접근 방식 덕분에 사용자는 Gemini의 잠재력을 최대한 활용하여 탁월한 결과를 달성할 수 있습니다.
Vertex AI Prompt Optimizer 시작하기
Vertex AI Prompt Optimizer를 사용하려면 GitHub의 Google Cloud 생성형 AI 저장소에서 Colab 노트북을 이용하면 됩니다. 여기에는 Google Cloud의 생성형 AI를 위한 샘플 코드와 노트북이 포함되어 있습니다. 기본 설정의 경우 UI 버전, 고급 설정의 경우에는 SDK 버전을 참조하세요. 앞으로 몇 주 안에 커스텀 측정항목 및 멀티모달 입력을 지원하는 노트북 버전이 더 많이 추가될 예정입니다. Vertex AI Studio 콘솔을 통해서도 Vertex AI Prompt Optimizer에 액세스할 수 있습니다. 콘솔에서 '프롬프트 옵티마이저'나 '프롬프트 추가 최적화'가 표시된 시작 지점을 찾아보세요(아래의 스크린샷 참조).
Vertex AI Prompt Optimizer를 사용하여 프롬프트를 최적화하거나 번역하려면 다음 단계를 따르세요.
-
프롬프트 템플릿을 구성합니다.
-
데이터(라벨이 있는 예)를 입력합니다.
-
최적화 설정(타겟 모델, 평가 측정항목 등)을 구성합니다.
-
최적화 작업을 실행합니다.
-
결과를 검사합니다.
Vertex AI Prompt Optimizer는 생성형 AI 평가 서비스로 지원되는 모든 Google 모델 및 측정항목을 지원합니다.
Vertex AI Studio에서 Vertex AI Prompt Optimizer Colab Enterprise 노트북으로 이동하는 시작 지점
A. 저장된 프롬프트 페이지에 새로운 프롬프트 옵티마이저 버튼이 포함됩니다.
B. 프롬프트 지원 대화상자 팝업에 새로운 프롬프트 추가 최적화 버튼이 포함됩니다.
AdVon Commerce 및 Augmedix가 Vertex AI Prompt Optimizer를 사용하여 Gemini 프롬프트를 개선한 방법
AdVon Commerce는 디지털 상거래 플랫폼으로, 맞춤형 AI 솔루션을 사용하여 소매업체를 위한 양질의 대규모 콘텐츠를 제작하기 위해 Google Cloud와 파트너십을 맺었습니다. AdVon Commerce는 LLM을 사용해 높은 정확성과 몰입도를 기반으로 적절한 키워드를 포함하고 제품을 정확하게 보여주는 제품 페이지 콘텐츠를 대규모로 생성합니다. 소매업체의 페이지를 최적화할 때는 누락되었거나 잘못된 수많은 정보를 확인해야 합니다. 쇼핑객 중심의 콘텐츠를 만들기 위해서는 제품 검색 가능성 및 고객 여정에 필수적인 제품 속성 누락을 정확하게 보완해야 합니다.
Vertex AI Prompt Optimizer는 AI 프롬프트 생성 및 미세 조정 과정을 간소화하여 정확성과 관련성을 높였습니다. AdVon Commerce는 속성 정확도가 10% 증가하는 결과를 확인했으며, 꾸준히 양질의 콘텐츠 제공하면서 사람의 확인에 소요되는 시간을 크게 줄여 상당한 비용을 절감할 수 있습니다. 또한 Gemini Flash를 결합하여 잘못된 사양을 줄이고 제품 페이지 콘텐츠의 품질을 개선하는 등의 인상적인 결과를 얻었습니다. 예를 들어 최근 AdVon Commerce는 Vertex AI Prompt Optimizer와 Gemini 1.5 Flash를 사용하여 최대 규모의 글로벌 소매업체 중 한 곳이 수억 개의 상품 속성을 채우는 프로세스를 자동화하도록 지원했습니다. 이 작업을 수동으로 진행했다면 100배의 긴 시간이 소요되었을 것이므로 소매업체의 생산성이 100배 증가했다고 볼 수 있습니다.
AdVon Commerce의 최고 기술 책임자인 Vlad Barshai는 말했습니다. "Vertex AI Prompt Optimizer 덕분에 Gemini Flash의 프롬프트를 최적화할 수 있습니다. 소매업체 등록정보의 경우 문제가 있는 제품 속성과 PDP(제품 세부정보 페이지)가 점진적으로 10% 개선되었는데, 이는 시중에 있는 다른 모든 주요 AI 모델의 결과를 크게 웃도는 결과입니다. Vertex AI Prompt Optimizer로 사람의 확인에 필요한 시간을 절약함으로써 프롬프트를 최적화하고 대규모로 AI 속성 및 PDP 콘텐츠를 생성하는 반복적인 과정에서 수백만 개의 제품을 보강할 수 있습니다. 견고한 인간 참여형(Human-In-The-Loop) 프로세스와 결합된 Vertex AI Prompt Optimizer는 매번 높은 품질로 개선할 수 있도록 도와줄 것입니다."
앰비언트 AI 의료 기록 및 데이터 솔루션 분야의 리더이며, 현재까지 천만 개가 넘는 의료 기록을 생성한 Augmedix는 의료 서비스 제공업체를 위한 의료 기록 향상을 위해 Google Cloud와 파트너십을 맺었습니다. Augmedix는 LLM을 활용하여 환자 상호작용 수집 과정의 효율성과 정확성을 개선하고 임상 관리자의 부담을 줄이고 궁극적으로 환자 치료를 개선합니다. Augmedix에서는 모델이 파인 튜닝되고 입력이 프롬프트 튜닝되는 하이브리드 접근 방식을 도입했습니다. 기록 생성의 많은 부분에서는 파인 튜닝이 가장 적합하며, 기본적인 프롬프트가 제대로 작동합니다. 시스템의 다른 부분은 LLM에 요청하는 수백 개의 규칙이 있을 수 있으므로 이러한 규칙을 프롬프트 튜닝하는 것이 좋습니다.
Augmedix는 의사와 환자 간 대화에 기반한 의료 기록 생성을 개선하기 위해 Vertex AI Prompt Optimizer를 사용했습니다. 이 기능으로 인해 LLM 출력 품질 점수가 66%에서 86%로 개선되었습니다. 더 나아가 Vertex AI Prompt Optimizer를 통해 Augmedix는 프롬프트 변형을 테스트하여 신속한 반복 및 최적화를 실현할 수 있습니다. Vertex AI Prompt Optimizer를 사용하지 않는 프롬프트는 실행하는 데 20초가 소요되지만, 최적화된 프롬프트는 6초 안에 실행됩니다.
Augmedix 설립자 겸 전무 이사이자 최고 전략 책임자인 Ian Shakil은 이렇게 말했습니다. "Google Cloud AI와 파트너십을 맺은 덕분에 급성장하는 LLM 영역에서 선구자가 될 수 있었습니다. MedLM과 Gemini를 통해 혁신적으로 발전하면서 디지털 의료 분야의 최첨단 혁신을 주도하고 있습니다. 이러한 협업을 통해 고품질 출력, 단축된 처리 시간, 강화된 특성 세트를 달성할 수 있었습니다."
다음 단계
Vertex AI Prompt Optimizer에 대해 자세히 알아보려면 Vertex AI Google Cloud 커뮤니티에 참여하여 경험을 나누고 질문을 게시하고 새로운 프로젝트에서 협업하세요. 다음 리소스도 확인하세요.
문서
GitHub 샘플
Google for Developers 블로그 게시물
Medium Google Cloud 커뮤니티 블로그 게시물
