Next ’24 2일 차 요약: AI 에이전트 빌드하기

*본 아티클의 원문은 2024년 4월 11일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud Next ‘24의 2일 차에 라스베이거스에서는 무슨 일이 있었을까요? Gemini와 AI 에이전트를 직접 체험해 볼 수 있는 장이 열렸습니다. 

Google Cloud의 수석 에반젤리스트인 Richard Seroter는 연례 개발자 키노트에서 Google Cloud의 Gemini는 오늘날의 니즈를 충족할 뿐 아니라 "다른 누구보다도 앞서 나갈 수 있는 방법을 제공한다"라고 말했습니다.

Richard와 선임 Developer Advocate인 Chloe Condon은 폭 넓은 프레젠테이션에서 각종 데모를 진행하며 애플리케이션의 빌드, 실행, 운영 등 Google Cloud 고객이 매일 수행하는 주요 작업에 도움을 주는 Google Cloud AI 기술 및 통합을 Google의 동료 직원 및 파트너와 함께 자세히 살펴보았습니다. 

그럼 더 자세히 살펴보겠습니다.

Build 

개발자를 위한 Google Cloud의 생성형 AI 환경은 Gemini Code Assist로부터 시작됩니다. Google Cloud의 부사장 겸 총괄 이사인 Brad Calder는 청중에게 Code Assist의 Gemini 1.5 지원이 어떻게 업계 최대 수준인 100만 개 규모의 토큰 컨텍스트 윈도우(token context window)를 가능하게 하는지 설명했습니다.

그리고 Google Cloud의 Developer Advocate인 Jason Davenport는 Gemini Cloud Assist로 오류 로그, 부하 분산기 구성, 방화벽 규칙 등 고객마다 고유한 클라우드 환경과 리소스의 컨텍스트를 사용해 애플리케이션의 설계, 운영, 문제 해결, 최적화 작업을 쉽게 수행하는 방법을 설명했습니다.

마지막으로, BigQuery 및 Looker와 같은 Google Cloud 애플리케이션에 내장된 Gemini, 벡터 검색 및 임베딩을 위한 Google Cloud 데이터베이스의 지원, Cloud Workstations와 같은 개발자 도구 및 React와 같은 웹 사용자 인터페이스 라이브러리와의 통합을 통해 개발자는 AI가 가져다주는 혜택을 맛볼 수 있게 되었습니다: 이제 멀티모달 입력(즉, 텍스트와 이미지 모두)을 받아 추천, 예측, 합성을 만드는 데 사용하는 등의 AI 기능을 추가하여 이전보다 훨씬 짧은 시간 내에 작업을 완료할 수 있습니다. Google Cloud 제품 관리자인 Femi Akinde와 Chloe는 훌륭한 아이디어를 영감을 주는 몰입형 AI 앱으로 단 몇 분만에 구현하는 방법을 보여주었습니다.

이를 가능하게 한 새로운 기술

• App Hub - 오늘 발표되었으며 Google Cloud Assist에 긴밀히 통합된 App Hub는 어느 Google Cloud 제품을 사용하든 관계없이 배포된 애플리케이션과 그 리소스 종속 항목을 정확하게, 최신화하여 표현합니다. 

• BigQuery 연속 쿼리 - 프리뷰 버전의 BigQuery는 이제 데이터 스트림에서 연속적인 SQL 처리를 제공하여 AI 연산자 또는 역방향 ETL을 통한 실시간 파이프라인을 가능하게 합니다.

• AlloyDB의 자연어 지원 - Google의 최신 ScaNN 알고리즘이 지원되는 덕분에, AlloyDB 사용자는 Google의 인기 서비스에서 사용하는 강화된 벡터 성능을 이용할 수 있게 되었습니다. 

• Apigee API 관리의 Gemini Code Assist: Gemini를 사용하여 자연어 프롬프트로 엔터프라이즈급 API와 통합을 빌드할 수 있습니다.

Run 

생성형 AI 앱을 빌드한 것은 좋지만, 이제 프로덕션 등급으로 구현하려면 어떻게 해야 할까요? Google Cloud의 Developer Advocate인 Kaslin Fields는 이것이 "현시점에서 가장 중요한 문제"라고 말합니다. 

다행히도 Cloud Run과 같은 Google Cloud 플랫폼을 사용하면 애플리케이션을 빠르게 구축하고 확장할 수 있습니다. 또한 Google Kubernetes Engine(GKE)과 같은 플랫폼은 가장 까다롭거나 독특한 AI 애플리케이션을 지원하기 위한 강력한 특성 세트를 제공합니다.

이를 가능하게 한 새로운 기술

• Cloud Run 애플리케이션 캔버스 - Vertex AI와 통합된 Cloud Run에서 AI 애플리케이션을 생성, 수정, 배포하면 Cloud Run 서비스의 생성형 API를 클릭 몇 번만으로 간단하게 사용할 수 있습니다.

• GKE를 위한 생성형 AI 빠른 시작 솔루션 - 검색 증강 생성(RAG) 패턴 또는 Ray가 통합된 GKE에서 AI를 실행할 수 있습니다 .

• GKE에서 Gemma 지원: GKE는 Gemini를 기반으로 한 Google의 오픈 모델인 Gemma를 실행하기 위한 다양한 경로를 제공합니다. 성능 역시 우수합니다.

Operate

"AI 앱은 전에 없던 동작으로 새로운 문제를 발생시킵니다." Google Cloud의 Reliability Advocate인 Steve McGhee는 개발자 키노트에서 이렇게 말했습니다. 

"이전에 우리 시스템은 항상 예측 가능한 방식으로 고장났었습니다.” 또 다른 발표자로 나선 Honeycomb.io의 공동 설립자 겸 CTO Charity Majors는 이렇게 말하며 덧붙였습니다. "하지만 지금은 굉장히 변화무쌍하고 혼란스러워요. 아키텍처는 광범위하고, 다양하며, 끊임없이 변하고 있죠."

하지만 생성형 AI는 오래된 시스템의 예측 가능성을 빼앗아가는 만큼 변화를 이해하고 대처하는 데 도움을 주는 새로운 도구를 돌려줍니다.

이를 가능하게 한 새로운 기술

• Vertex AI MLOps 기능 - 프리뷰 버전으로 출시된 Vertex AI Prompt Management는 고객이 프롬프트 및 파라미터를 마이그레이션하고 추적하는 실험을 수행하도록 지원합니다. 이를 통해 프롬프트 반복을 비교하고 작은 변화가 출력에 미치는 영향을 평가할 수 있습니다. 한편 Vertex AI Rapid Evaluation은 사용자가 최상의 프롬프트 설계를 반복하면서 모델 성능을 평가하는 데 도움을 줍니다. 

• 섀도 API 감지 - 프리뷰 버전으로 지능화된 API 보안에서 제공되는 섀도 API 감지 기능은 적절한 감독 또는 관리 체계가 갖춰지지 않아 피해를 주는 보안 사고의 원인이 될 수 있는 API를 찾도록 도와줍니다.

• AI 워크로드를 위한 Confidential Accelerators - NVIDIA Tensor Core H100 GPU가 탑재된 A3 머신 시리즈의 컨피덴셜 VM은 CPU에 적용되는 하드웨어 기반 데이터 및 모델 보호를 민감한 AI 및 머신러닝 데이터를 처리하는 GPU로 확장합니다. 

• GKE 컨테이너 및 모델 사전 로드 - 프리뷰 버전으로 출시된 이 기능 덕분에 이제 GKE가 워크로드 콜드 스타트를 가속화하여 GPU 활용률을 개선하고, 예산을 절감하며, AI 추론 지연 시간을 낮게 유지해 줍니다. 

이상의 순서가 진행된 후, 각종 스포트라이트, 소그룹 세션(2일 차에만 295회), 교육이 다시 이어졌습니다. 일정 종료 후에는 Kings of Leon과 Anderson .Paak의 공연이 함께한 파티가 진행되었습니다.