온프레미스에 Gemini 및 Google Agentspace 도입

 *  본 아티클의 원문은 2025년 04월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘, Gemini가 Google Distributed Cloud(GDC)에서 제공된다는 소식을 알려드립니다. 2025년 3분기부터 공개 프리뷰를 통해 Google의 가장 강력한 모델을 온프레미스 환경에 도입할 예정입니다. 이를 위해 Google Cloud는 NVIDIA와 협력하여 Google 또는 선호하는 채널을 통해 구매할 수 있는 NVIDIA Blackwell 시스템에 Gemini 모델을 도입했습니다. 

GDC는 연결 및 에어 갭 적용 옵션 모두에서 제공되는 완전 관리형 온프렘 및 에지 클라우드 솔루션으로, 단일 서버에서 수백 개의 랙으로 확장할 수 있습니다. Infrastructure as a Service, 보안, 데이터, AI 서비스를 제공하며 풍부한 ISV(독립 소프트웨어 공급업체) 생태계로 확장 가능합니다. 인프라 관리를 담당하는 GDC 덕분에 개발자가 AI의 최대 역량을 활용하는 데 쉽게 집중하여 애플리케이션, 어시스턴트, 에이전트를 빌드할 수 있습니다. 

“NVIDIA와 Google Distributed Cloud는 안전한 AI 플랫폼을 제공하여 Gemini 모델을 기업 데이터 센터와 규제 대상 산업에 도입합니다. Google Distributed Cloud는 NVIDIA Blackwell 인프라와 컨피덴셜 컴퓨팅을 통해 개인 정보 보호 및 보안을 강화하고 Dell에서 이용 가능한 DGX B200 및 HGX B200 시스템에서 업계 최고의 성능을 제공합니다.” - Justin Boitano, NVIDIA 기업 AI 소프트웨어 부문 부사장

지금까지 엄격한 규제, 주권, 지연 시간 또는 데이터 볼륨과 같은 문제로 인해 데이터를 온프레미스에 보관해야 하기 때문에 최신 AI 기술을 이용할 수 없었습니다. 오픈소스 모델과 도구만이 유일한 옵션이었습니다. 그리고 대부분의 경우 소프트웨어와 하드웨어를 직접 조합해야 하기 때문에 운영 부담과 복잡성이 증가합니다. GDC 기반 Gemini를 사용하면 AI의 뛰어난 기능과 데이터를 온프레미스 환경에 보관할 필요성 사이에서 타협할 필요가 없습니다. 

Google의 GDC 에어 갭 적용 제품으로, 현재 미국 정부의 1급 및 2급 비밀 임무로 승인되었으며 Gemini를 사용할 수 있고 최고 수준의 보안 및 규정 준수 기능을 제공합니다.

GDC 기반 Gemini: 어디서나 생성형 AI 활용

Gemini 모델은 획기적인 AI 성능을 제공합니다. 수백만 토큰의 컨텍스트를 분석할 수 있고, 텍스트, 이미지, 오디오, 동영상과 같은 다양한 데이터 형식을 처리할 수 있는 멀티모달이며, 전 세계 100개 이상의 언어로 작동합니다. 

또한 Gemini API는 인프라, OS 관리, 모델 수명 주기 관리에 대한 걱정 없이 AI 추론을 제공합니다. 이를 통해 다음과 같은 작업이 가능합니다.

• 비즈니스 컨텍스트 추가: 검색 증강 생성(RAG)을 사용하여 AI 모델의 출력을 맞춤설정하고 보강하므로 모델의 파인 튜닝 또는 재학습이 필요하지 않습니다. 

• 정보 처리 및 지식 추출 자동화: 생성형 AI를 사용하여 긴 문서를 빠르게 요약하고 보고서 또는 의견의 감정을 분석하고 이미지, 오디오, 동영상 콘텐츠에 자막을 추가하여 직원의 효율성을 높일 수 있습니다. 

• 양방향 대화형 환경 생성: Gemini 기반 고객 지원 에이전트, 자연어를 통한 챗봇, 직원 어시스턴트를 사용 설정하여 고객과의 관계를 강화합니다.

• 업계 사용 사례에 맞게 에이전트 맞춤설정: 금융 자문가부터 보안 어시스턴트, 로봇공학에 이르기까지 모든 사용자를 위한 맞춤형 에이전트를 개발하여 고도로 전문화된 기능과 워크플로를 활용할 수 있습니다." ServiceNow는 Google Distributed Cloud 기반 Gemini를 사용하여 강력한 API를 통해 기존 시스템에 추론과 같은 강력한 에이전틱 AI 기능을 보강할 수 있을 것입니다. 이러한 전략적 배포를 통해 최첨단 기술을 탐색하고 구현하는 동시에 고객 신뢰와 데이터 보호에 대한 약속을 지킬 수 있습니다." - Pat Casey, ServiceNow 최고 기술 책임자 겸 DevOps 부문 수석 부사장

Vertex AI: 클라우드 및 온프렘을 위한 하나의 플랫폼

오늘날 고객은 Gemini를 Google Distributed Cloud에 도입하는 것 외에도 이미 GDC 기반 Vertex AI 플랫폼을 활용하여 에이전트형 애플리케이션의 개발, 배포, 관리를 앞당기는 이점을 누리고 있습니다.

이 완전한 AI 플랫폼은 다음을 제공합니다.

• 선행 학습된 API: 번역, 음성 텍스트 변환, 광학 문자 인식(OCR)을 위한 고급 Google 모델을 기반으로 한 선행 학습된 API로 즉시 사용 가능하고 작업에 최적화되어 있습니다. 이러한 API는 맞춤설정 가능한 용어집 및 인플레이스 문서 번역과 같은 고급 기능을 제공합니다.

• 생성형 AI 빌드 도구: GKE 기반의 최적화된 추론을 사용하는 오픈소스 및 서드 파티 모델로 빠른 시작과 자동 확장을 제공합니다. 

• 검색 증강 생성(RAG): Google Agentspace 검색 및 LLM API 관리를 사용한 그라운딩과 Apigee 온프렘을 사용한 거버넌스를 제공합니다. 

• 기본 제공되는 임베딩 API 및 AlloyDB 벡터 데이터베이스: 맞춤설정 및 추천을 위한 강력한 애플리케이션으로 사용자 경험을 개선합니다.“Google Distributed Cloud, Vertex AI, Agentspace 검색을 활용하면 안전한 AI/ML 플랫폼과 통합 검색으로 Home Team 혁신가의 역량을 강화하여 AI를 사용해 생산성을 높이고 더욱 안전한 미래를 위해 공공 안전을 혁신할 수 있습니다.” - Chee Wee Ang, HTX 최고 AI 책임자

Google Agentspace: 온프렘 데이터에 즉시 액세스 

기업은 생성형 AI를 배포하고자 하지만 다양한 저장소에 이미지, PDF, 텍스트와 같은 여러 형식으로 사일로화된 대량의 정보를 연결하는 데 어려움을 겪고 있습니다. 이는 생산성과 혁신을 저해합니다. 게다가 사내 검색 솔루션을 빌드하는 데 비용이 많이 들고 여기에 필요한 AI 전문성은 희소합니다. 

2025년 3분기부터 공개 프리뷰 버전으로 GDC에서 Google Agentspace 검색을 사용할 수 있다는 기쁜 소식을 전해드립니다. Google Agentspace 검색은 모든 기업 지식 노동자에게 안전한 권한 인식 방식으로 모든 데이터에 대한 액세스를 통합하는 즉시 사용 가능한 기능을 제공합니다.

Agentspace를 통해 다음을 이용할 수 있습니다.

• 회사 브랜드의 멀티모달 검색 에이전트: 대화형 검색 인터페이스로, 회사의 고유한 정보에 기반해 복잡한 질문에 답변하고 전체 조직의 기업 지식에 대한 중앙 소스 역할을 합니다.  

• 사전 빌드된 기업 데이터 커넥터: 가장 일반적인 온프렘 기업 시스템(예: Confluence, Jira, ServiceNow, Sharepoint) 데이터의 색인을 생성하는 커넥터입니다.

• 권한 인식 검색 결과: 검색 결과가 권한을 인식하도록 하여 모든 온프렘 데이터의 보안 및 규정 준수를 유지하는 데 도움이 되는 강력한 액세스 제어 목록(ACL)을 적용합니다.

• Agentspace 에이전트: Vertex AI는 즉시 사용 가능하도록 Agentspace와 통합되어 있으며 검색 에이전트부터 시작하여 더 많은 사전 빌드된 에이전트가 출시될 예정이고 사용자가 직접 에이전트를 빌드할 수 있는 기능도 제공됩니다.

GDC 기반 생성형 AI 시작하기

Google은 선도적인 생성형 AI이자 어디서나 배포할 수 있는 최신 애플리케이션 개발 솔루션이 되도록 GDC를 끊임없이 혁신하고 있습니다. Gemini와 생성형 AI를 온프레미스에 도입하려면 Google Cloud 영업팀이나 공인 글로벌 파트너에 문의하세요.