• 비동기 처리: 새 데이터가 들어올 때 실시간으로 예측을 생성하는 것이 아니라, 미리 정의된 일정(예: 시간별, 일별) 또는 요청 시에 예측을 생성합니다.
• 높은 처리량: 시스템은 단일 실행에서 대량의 데이터 포인트를 처리하도록 최적화되어 있어 효율성이 매우 높습니다.
• 비용 효율성: 예약된 일정에 따라 실행하면 컴퓨팅 리소스가 가장 많이 사용 가능하거나 가장 저렴할 때 사용할 수 있어 운영 비용을 크게 절감할 수 있습니다.
• 지연 시간 허용 범위: 예측을 소비하는 애플리케이션이 즉각적인 답변을 필요로 하지 않는다는 것이 주된 가정입니다. 데이터 수집과 예측 생성 사이에 몇 분 또는 몇 시간의 지연이 허용됩니다.

일괄 추론과 온라인 추론 중에서 선택하는 것은 머신러닝 시스템을 설계할 때 내리는 기본적인 아키텍처 결정입니다. 각 접근 방식은 서로 다른 목적을 수행하며 서로 다른 성능 특성에 최적화되어 있습니다.

일괄 추론 파이프라인은 원시 상태의 데이터를 실행 가능한 예측으로 이동시키는 구조화된 자동화된 워크플로입니다. 이 프로세스는 일반적으로 워크플로 관리자 또는 예약 시스템에 의해 조정되는 다음 주요 단계로 나눌 수 있습니다.

이 프로세스는 시간이 지남에 따라 데이터를 축적하는 것으로 시작됩니다. 사용자 활동 로그, 거래 기록, 센서 측정값 등을 포함할 수 있는 이 입력 데이터는 다양한 소스에서 수집되어 중앙 집중식 스토리지 위치에 저장됩니다. 이러한 데이터는 Google Cloud Storage와 같은 서비스에 빌드된 데이터 레이크나 BigQuery와 같은 데이터 웨어하우스에 저장되는 경우가 많습니다.

추론 파이프라인은 트리거에 의해 시작됩니다. 이 트리거는 다음과 같을 수 있습니다.

• 시간 기반: 스케줄러(예: 크론 작업)가 정기적인 간격(예: 매일 새벽 1시)으로 작업을 시작합니다.
• 이벤트 기반: Cloud Storage 버킷에 새 데이터 파일이 도착하는 등의 특정 이벤트에 대한 응답으로 작업이 시작됩니다.

트리거되면 작업이 전체 원시 입력 데이터 배치를 로드합니다. 그런 다음 필요한 전처리와 특성 추출 단계를 수행하여 데이터를 머신러닝 모델이 예상하는 정확한 형식으로 변환합니다. 여기에는 누락된 값 정리, 숫자 특성 조정, 범주형 변수 인코딩과 같은 작업이 포함될 수 있습니다.

시스템은 Vertex AI Model Registry와 같은 중앙 저장소에서 학습된 머신러닝 모델을 검색합니다. 그런 다음 전처리된 데이터 배치가 모델에 공급되며, 모델은 세트의 모든 단일 관찰에 대해 추론을 실행하여 해당 예측을 생성합니다.

그런 다음 모델의 출력인 예측 컬렉션이 스토리지 시스템에 기록됩니다. 이 대상은 예측이 사용되는 방식에 따라 선택됩니다. 일반적인 대상에는 분석을 위해 결과를 BigQuery 테이블에 로드하거나, 애플리케이션에서 빠르게 조회할 수 있도록 Cloud SQL 데이터베이스에 로드하거나, Cloud Storage에 파일로 저장하는 것이 포함됩니다.

이제 예측이 저장되고 준비되었으므로 다운스트림 시스템에서 이를 사용할 수 있습니다. 비즈니스 인텔리전스 도구는 결과를 쿼리하여 예측된 고객 행동의 대시보드를 만들 수 있습니다. 웹 애플리케이션의 백엔드는 사전 계산된 제품 추천을 로드하여 사용자에게 표시할 수 있으며, 마케팅 자동화 플랫폼은 이탈할 것으로 예측되는 고객 목록을 가져와 새로운 캠페인으로 타겟팅할 수 있습니다.

일괄 추론은 예측이 실시간으로 생성될 필요 없이 제품 또는 서비스를 개선하는 많은 핵심 비즈니스 프로세스에 선호되는 방법입니다. 이 접근방식은 다양한 산업 전반에서 대규모 데이터 문제를 해결하는 데 매우 효과적일 수 있습니다.

Vertex AI는 Google Cloud의 관리형 머신러닝 플랫폼으로, 일괄 추론을 위한 간소화된 서버리스 접근방식을 제공합니다. 이 프로세스는 작업을 구성하고 플랫폼에서 기본 인프라를 처리하도록 하는 데 중점을 둡니다.

시작하기 전에 다음 세 가지가 필요합니다.

• 학습된 모델(Vertex AI Model Registry에 업로드해야 함)
• 모델에 필요한 형식으로 지정된 입력 데이터입니다. 이 데이터는 Google Cloud Storage(예: JSON 또는 CSV 파일) 또는 BigQuery 테이블에 있어야 합니다.
• 출력의 대상 위치로, Cloud Storage 버킷 또는 BigQuery 테이블이 됩니다.

Google Cloud 콘솔, gcloud 명령줄 도구 또는 Vertex AI SDK를 사용하여 프로그래매틱 방식으로 작업을 시작할 수 있습니다. 작업을 만들 때 다음 구성을 제공합니다.

• 사용하려는 Model Registry의 특정 모델
• 입력 데이터의 경로와 출력 결과의 위치
• 작업에 사용할 머신 유형 및 가속기(예: GPU)로, 비용과 성능의 균형을 맞출 수 있습니다.

작업을 제출하면 Vertex AI가 작업을 처리합니다. 지정된 컴퓨팅 리소스를 자동으로 프로비저닝하고, 모델을 통해 입력 데이터를 실행하고, 예측을 생성하여 지정된 출력 위치에 저장합니다. 작업이 완료되면 Vertex AI는 모든 리소스를 자동으로 0으로 축소하므로 사용한 컴퓨팅 시간에 대해서만 비용을 지불하면 됩니다. Google Cloud 콘솔에서 직접 작업 진행 상황을 모니터링하고 로그를 볼 수 있습니다.

작업 상태가 '성공'으로 표시되면 예측이 준비된 것입니다. 이제 Cloud Storage의 출력 파일 또는 BigQuery의 새 테이블에 다운스트림 애플리케이션, 분석 도구 또는 BI 대시보드가 액세스할 수 있습니다.