Vertex AI기반 생성형 AI 비공개 액세스

Vertex AI는 ML 모델과 AI 애플리케이션을 학습 및 배포하고 AI 기반 애플리케이션에서 사용할 대규모 언어 모델(LLM)을 맞춤설정할 수 있게 해주는 Google Cloud의 머신러닝(ML) 플랫폼입니다. Vertex AI는 데이터 엔지니어링, 데이터 과학, ML 엔지니어링 워크플로를 결합하여 팀이 공동작업을 수행하고 Google Cloud의 이점을 활용하여 애플리케이션을 확장할 수 있도록 지원합니다.

Vertex AI는 모델 학습 및 배포를 위한 여러 옵션을 제공합니다. 그중 Vertex AI기반 생성형 AI는 여러 모달(텍스트, 코드, 이미지, 음성)에 대한 Google의 대규모 생성형 AI 모델에 대한 액세스를 제공합니다. 필요에 맞게 Google의 LLM을 조정한 후 AI 기반 애플리케이션에서 사용하도록 배포할 수 있습니다.

본 블로그 문서에서는 멀티 클라우드 및 온프레미스 환경에서 비공개 연결을 통해 Vertex AI기반 생성형 AI에 액세스하는 방법에 대해 살펴봅니다.

Vertex AI 생성형 AI 비공개 액세스 옵션

Vertex AI는 Vertex AI 엔드포인트 및 서비스에 대한 엔터프라이즈 네트워킹 옵션을 지원합니다.

• 온프레미스 또는 멀티 클라우드 환경에서 Vertex AI 리소스에 안전하게 액세스합니다.
• Vertex AI 아티팩트가 유출되지 않도록 보호합니다.
• Vertex AI 리소스의 네트워크 트래픽을 구성합니다.

온프레미스 호스트는 Google이 제공하는 다양한 API 서비스에 대해서 (Option 1)퍼블릭 인터넷으로 연결하거나 Cloud VPN이나 Cloud Interconnect를 통하여 (Option 2)비공개(Private) 엔드포인트 연결로 액세스할 수 있습니다. 두가지 옵션 모두 SSL/TLS 암호화를 제공합니다. 다만, Cloud Interconnect 서비스와 같은 네트워크 연결 옵션을 사용하여 비공개 옵션을 구성할 경우 뛰어난 안정성과 일관된 성능 그리고 비용효율적인 구성을 제공하므로 중요한 애플리케이션에는 비공개 옵션이 권장됩니다.

Vertex AI는 외부 공인 IP 주소 없이 Vertex AI 생성형 AI 엔드포인트 및 서비스에 비공개로 액세스하는 다음과 같은 추가 옵션을 지원합니다.

• Google API용 Private Service Connect 엔드포인트를 사용하면 Google Cloud 리소스 또는 온프레미스 시스템이 VPC 네트워크의 엔드포인트에 연결하여 Google API 및 서비스로 요청을 전달할 수 있습니다.
• 비공개 Google 액세스(Private Google Access):
  • Google Cloud 리소스가 VPC 네트워크의 기본 인터넷 게이트웨이를 통해 Google API 및 서비스의 표준 외부 IP 주소 또는 비공개 Google 액세스 도메인 및 VIP에 연결하도록 허용합니다.
  • 온프레미스 호스트가 비공개 Google 액세스 전용 도메인 및 VIP 중 하나를 사용하여 Cloud VPN 터널 또는 VLAN 연결을 통해 Google API 및 서비스에 연결하도록 합니다.

Google API용 Private Service Connect를 사용하면 VPC 네트워크 내에서 내부 IP 주소를 사용하여 비공개 엔드포인트를 만들 수 있습니다.

기본적으로 Vertex AI 생성형 AI서비스는 기본 DNS 이름(예: asia-northeast3-aiplatform.googleapis.com)을 통해 연결됩니다. Google 서비스의 기본 DNS 이름은 공개적으로 라우팅 가능한 퍼블릭 IP 주소로 확인됩니다.

Private Service Connect를 활용하게 되면 asia-northeast3-gen-ai.p.googleapis.com와 같이 의미 있는 이름을 사용하여 DNS 이름을 이러한 내부 IP 주소에 할당할 수 있습니다. 이러한 이름과 IP 주소는 VPC 네트워크 및 Cloud VPN 터널이나 VLAN 연결을 통해 연결된 온프레미스 네트워크의 내부 이름과 IP 주소입니다. 엔드포인트로 전송되는 트래픽을 비공개로 제어하고 트래픽이 Google Cloud 내로 유지됨을 보여줄 수 있습니다.

VPC 서비스 제어를 사용하는 Vertex AI 생성형AI

Vertex AI 생성형AI의 API는 기본적으로 인터넷에 공개된 엔드포인트이므로 비공개 연결 경로만 허용하고자 한다면, VPC 서비스 제어(VPC-SC)를 활용하여 허용되지 않은 액세스를 제한해야 합니다. VPC 서비스 제어는 Vertex AI에서 데이터 무단 반출 위험을 완화하는 데 도움을 줍니다. VPC 서비스 제어를 사용하여 지정한 리소스 및 데이터를 보호하는 서비스 경계(Service Perimeter)를 만듭니다.

Vertex AI 생성형 AI에서 비공개 연결을 안전하게 구성하기 위해 VPC 서비스 제어를 사용할 수 있습니다.

• 서비스 경계 구성으로 Google Cloud Vertex AI 생성형 AI 리소스와 네트워크 격리
• 승인된 VPN 또는 Cloud Interconnect를 이용해서 온프레미스 네트워크로 경계 확장
• 인터넷에서 Google Cloud 리소스 액세스 제어

앞서 살펴봤던 <그림 1>의 비공개 연결 구성에서 VPC 서비스 제어 기능을 추가하여 <그림 2>의 구성을 가지게 되었습니다. VPC 서비스 제어를 구성했을 때, 인터넷에서 서비스 경계 내에 있는 관리형 리소스에 액세스하는 것은 기본적으로 거부됩니다. 필요한 경우 요청의 컨텍스트에 따라 액세스를 사용 설정할 수 있습니다. 이렇게 하려면 소스 IP 주소, ID, 소스 Google Cloud 프로젝트와 같은 다양한 속성을 기반으로 액세스를 허용하는 인그레스 규칙 또는 액세스 레벨을 만들면 됩니다. 인터넷에서 실행된 요청이 인그레스 규칙 또는 액세스 레벨에 정의된 기준을 충족하지 못하면 해당 요청이 거부됩니다.

비공개 엔드포인트를 통한 접근 경로의 경우 VPN 또는 Interconnect로 경계확장을 구성하여 온프레미스 또는 타 Cloud 워크로드가 서비스 경계 내에 위치해 있다면 해당 비공개 네트워크에서의 요청은 허용됩니다.

마치며

기업용으로 사용되는 생성형 AI 서비스는 매우 민감한 정보를 보호하기 위해 신뢰할 수 있는 네트워크에서만 리소스에 액세스할 수 있도록 조치해야 할 수 있습니다. Google Cloud는 Vertex AI 생성형 AI에 대해 비공개 네트워크 액세스 구성 그리고 VPC 서비스 제어를 이용해, 안전하면서도 뛰어난 성능의 엔터프라이즈 네트워킹 옵션을 제공합니다.

추가자료

생성형 AI을 위한 보안 제어 | Vertex AI | Google Cloud

튜토리얼:Private Service Connect를 사용하여 온프레미스에서 Vertex AI기반 생성형 AI에 액세스 | Google Cloud