I/O에서 Google Cloud가 선보이는 향상된 생성형 AI: Vertex AI의 새로운 기반 모델, 임베딩, 세부 조정 도구

* 본 아티클의 원문은 2023년 5월 11일 Google Cloud 블로그(영문)에 게재되었습니다.

생성형 AI를 통해 새로운 종류의 디지털 어시스턴트, 콘텐츠 제작 도구, 애플리케이션이 탄생하면서 앱이 빌드되는 방식과 앱을 빌드할 수 있는 주체, 최종 사용자가 기대하는 기능도 변화하고 있습니다.

Google은 생성형 AI를 가능하게 하는 Google Transformer 아키텍처 개발부터 향상된 다국어, 추론, 코딩 기능을 갖춘 차세대 언어 모델이자 오늘 발표되는 PaLM 2에 이르기까지 이 분야의 리더입니다. Google Cloud는 이러한 혁신적인 기반 모델의 강력한 기능을 고객에게 제공하고 개발자가 완전히 새로운 방식으로 혁신하도록 역량을 강화하기 위해 노력하고 있습니다. 

지난 3월 Google Cloud는 생성형 앱 빌더와 Vertex AI의 생성형 AI 지원이라는 두 가지 중대한 발표를 통해 이 여정에서 큰 진전을 이루었습니다. 생성형 앱 빌더를 사용하면 머신러닝 경험이 부족한 개발자도 쉽고 빠르게 생성형 채팅 및 검색 앱을 만들 수 있습니다. Vertex AI의 생성형 AI 지원은 새로운 모델 가든의 기반 모델과 API에 대한 액세스뿐 아니라 생성형 AI 스튜디오에서 모델을 맞춤설정하고 실험할 수 있는 다양한 도구를 통해 머신러닝 개발 플랫폼을 확장합니다. 

오늘 Google I/O 2023에서는 다양한 발표를 통해 이러한 제품에 대한 개선 소식을 전합니다. 여기에는 고객이 새로운 생성 형식과 확장된 방식에 액세스하여 모델을 활용하고 미세 조정할 수 있도록 지원하는 다음과 같은 내용이 포함됩니다.

• 세 가지 새로운 기반 모델이 Vertex AI에서 제공됩니다. API를 통해 액세스하여 생성형 AI 스튜디오의 간단한 UI를 통해 미세 조정하거나 데이터 과학 노트북에 배포할 수 있습니다.

• Google의 텍스트 코드 변환 기반 모델인 Codey를 SDK 또는 애플리케이션에 임베딩하여 개발자가 코드 생성 및 코드 완성을 통해 개발 속도를 높이고 코드 품질을 개선하도록 도울 수 있습니다.

• 조직에서 Google의 텍스트 이미지 변환 기반 모델인 Imagen을 사용하면 비즈니스 니즈에 맞게 스튜디오급 이미지를 규모에 따라 생성하고 맞춤설정할 수 있습니다.

• Google의 음성 텍스트 변환 기반 모델인 Chirp는 조직이 고객과 소통할 때 자막과 음성 지원을 통해 고객의 모국어로 보다 심층적이고 포괄적으로 대화할 수 있도록 도와줍니다.

• 텍스트 및 이미지를 위한 Embeddings API는 개발자가 텍스트 또는 이미지의 의미론적 이해를 기반으로 추천 엔진, 분류기, 질의 응답 시스템, 기타 정교한 애플리케이션을 빌드하는 데 도움이 됩니다.

• 인간 피드백 기반 강화 학습(RLHF)은 조직에서 인간의 피드백을 수용하여 모델 성능을 맞춤설정하고 개선할 수 있도록 지원하여 Vertex AI의 미세 조정 및 프롬프트 설계 기능을 확장합니다. 

• 생성형 AI 스튜디오, 모델 가든, 텍스트 및 채팅을 위한 PaLM 2는 신뢰할 수 있는 테스터에게만 제공되었으나 미리보기로 전환되어 Google Cloud 계정이 있는 모든 사용자에게 액세스 권한이 부여됩니다.

이러한 발표는 개발자가 엔터프라이즈급 안전, 보안, 개인 정보 보호로 뒷받침되는 생성형 AI 기술을 통해 과감하고 책임감 있게 개발할 수 있도록 지원하는 Google Cloud의 여정에서 한 걸음 더 나아간 것입니다. 새로운 소식을 자세히 알아보겠습니다. 

새로운 기반 모델은 개발자와 데이터 과학자에게 생성형 AI 애플리케이션을 빌드하기 위한 더 많은 기능을 제공합니다.

새로운 기반 모델 중 첫 번째 모델인 Codey는 고객이 자체 코드베이스에 따라 맞춤설정할 수 있는 실시간 코드 완성 및 생성을 통해 소프트웨어 개발 속도를 높입니다. 이 코드 생성 모델은 Go, Google 표준 SQL, Java, JavaScript, Python, Typescript 등 20개 이상의 코딩 언어를 지원합니다. 다양한 코딩 작업을 지원하기 때문에 개발자가 다음을 통해 더 빠르게 작업하고 기술 격차를 해소할 수 있도록 지원합니다.

• 코드 완성: Codey는 프롬프트에 입력된 코드의 컨텍스트를 토대로 다음에 입력할 몇 줄을 제안합니다.
• 코드 생성: Codey는 개발자의 자연어 프롬프트를 기반으로 코드를 생성합니다.
• 코드 채팅: Codey를 사용하면 개발자가 봇과 대화하면서 디버깅, 문서화, 새 개념 학습, 기타 코드 관련 질문에 도움을 받을 수 있습니다.

두 번째 기반 모델인 Imagen은 비즈니스 니즈를 충족하는 고품질의 이미지를 생성하고 편집할 수 있도록 지원합니다. 이 텍스트 이미지 변환 모델을 사용하면 엔터프라이즈급 데이터 거버넌스를 적용하여 짧은 지연 시간으로 규모에 맞게 고품질 이미지를 손쉽게 만들고 수정할 수 있습니다. 조직은 Vertex AI를 통해 기존 제품 또는 로고와 같은 자체 콘텐츠로 이미지를 생성함으로써 비즈니스 니즈에 맞게 Imagen을 맞춤설정하고 조정할 수 있습니다. 고객은 300개 이상의 언어로 마스크 없는 편집, 이미지 업스케일링, 이미지 캡션 기능을 활용하여 프로덕션급 이미지를 신속하게 생성할 수 있습니다. 

이제 Vertex AI에서 Imagen을 사용하면 프롬프트로 몇 개의 단어를 입력하는 간단한 작업만으로 스튜디오급 이미지를 생성할 수 있으며, 객체의 색상을 변경하는 등의 이미지 수정도 단어 몇 개만 입력하면 됩니다. 또한 Imagen에는 완벽한 설명이 포함된 이미지 설명 및 분류 기능이 포함되며, 기본 제공되는 콘텐츠 검토에는 안전을 위한 권장사항이 지원됩니다. 또한 Vertex AI에서 생성된 이미지는 고객의 데이터이며, 조직에서 마케팅 콜레트럴과 같은 용도로 사용할 수 있습니다.

조직은 기존 이미지를 업로드하여 자체 제품의 새 이미지를 생성할 수 있으며 Vertex AI에 기본 제공되는 보안과 거버넌스 제어 기능을 통해 데이터를 안전하게 유지할 수 있습니다. 생성된 이미지는 무한 반복하고 필요한 해상도로 업스케일링할 수 있으며 설명과 메타데이터로 손쉽게 보강할 수 있습니다.

세 번째 소개할 기반 모델은 Chirp입니다. 이 모델은 조직에서 고객 및 구성원의 모국어를 사용해 보다 포용적으로 소통할 수 있도록 도와줍니다. 스페인에 있는 고객센터 가상 에이전트에 연결하기, 코사어 동영상에 자막 추가하기, 발리어로 음성 지원 제공하기 등 Chirp를 사용하면 음성 제어부터 자막 제공과 음성 지원에 이르기까지 다양한 음성 작업에서 대규모 모델의 강력한 성능을 활용할 수 있습니다.  

수백만 시간 분량의 오디오로 학습된 Chirp는 100개 이상의 언어를 지원하는 20억 매개변수 음성 모델 버전이며, 세계에서 가장 널리 사용되는 언어의 모델 품질을 다른 많은 언어와 방언에서도 구현합니다. Chirp는 영어 정확도가 98%에 달하며 사용자가 1,000만 명 미만인 언어에서는 최대 300%의 상대적 개선을 실현합니다.

Embeddings API: 데이터에서 새로운 관계를 찾고 정교한 생성형 AI 애플리케이션 제작 촉진

이제 텍스트와 이미지를 위한 Embeddings API를 Vertex AI에서 사용할 수 있습니다. 이를 통해 개발자는 더 매력적인 앱과 사용자 경험을 제공할 수 있습니다. Embeddings는 텍스트와 이미지 데이터를 의미론적 관계를 매핑하는 다차원 숫자 벡터로 변환합니다. 대규모 모델로 처리할 수 있으며 수천 개의 토큰이 포함된 텍스트와 같이 긴 입력에 특히 유용합니다.

이제 Embeddings API를 Vertex AI에서 사용할 수 있습니다. 이를 통해 개발자는 강력한 의미론적 검색 및 텍스트 분류 기능을 구축하고 조직의 데이터를 기반으로 Q&A 챗봇을 만들고 클러스터링, 이상 감지, 감정 분석 등을 개선함으로써 더 매력적인 앱과 사용자 경험을 제공할 수 있습니다. 

텍스트용 Embeddings API는 미리보기로 제공되며 신뢰할 수 있는 테스터의 경우 텍스트와 이미지에서 모두 이 API를 활용할 수 있습니다.

RLHF를 사용하여 기반 모델에서 더 많은 가치 창출

Vertex AI는 하이퍼스케일러 최초의 엔드 투 엔드 머신러닝 플랫폼으로, RLHF를 관리형 서비스로 제공하여 조직이 모델 성능을 장기간 비용 효율적으로 유지하고 보다 안전하고 정확하고 유용한 모델을 프로덕션에 배포할 수 있도록 지원합니다. 

조직은 이 고유한 조정 기능을 통해 인간의 피드백을 수용하여 기반 모델을 미세 조정하는 데 사용 가능한 보상 모델을 학습시킬 수 있습니다. 궁극적으로 고객 만족도와 참여도를 높이기 때문에 의료 서비스와 같이 정확성이 필수적이거나 금융 및 전자상거래 등 고객 만족도가 중요한 업종에서 특히 유용합니다. 또한 사람이 모델 응답에서 편향, 유해한 콘텐츠 또는 기타 측정기준을 보다 정확하게 검토하여 부적절한 출력을 방지하도록 모델을 학습시킬 수 있습니다. 

빌드 시작하기

Google은 Vertex AI에서 사용할 수 있는 새로운 기반 모델과 해당 모델을 맞춤설정하고 활용하기 위한 광범위한 도구 모음을 통해 업종, 기술 전문성 수준에 상관없이 모든 조직이 클라우드에서 AI로 빌드하고 상호작용하는 방식을 지속적으로 혁신하고 있습니다. 

이미지를 위한 Codey, Imagen, Embeddings API와 RLHF는 신뢰할 수 있는 테스터 프로그램을 통해 Vertex AI에서 제공되며 텍스트를 위한 Chirp, PaLM 2, Embeddings API, 생성형 AI 스튜디오는 Google Cloud 계정이 있다면 누구나 이용할 수 있도록 Vertex AI에서 미리보기로 제공됩니다. 

Google은 이 흥미진진한 여정을 고객과 함께 이어가기를 기대합니다. 지금까지 고객과 나눈 대화에 대해 더 자세히 알아보고 Google 및 Google Cloud의 최신 AI 소식을 알아보려면 The Prompt 시리즈의 'Transform with Google Cloud'을 읽어 보세요.