AI 추론이란 무엇인가요?

AI 수명 주기 전체에는 데이터 수집부터 장기 모니터링에 이르기까지 모든 과정이 포함되지만 모델의 생성부터 실행에 이르는 핵심 여정에는 세 가지 주요 단계가 있습니다. 처음 두 단계는 학습에 관한 것이고, 마지막 단계는 학습한 내용을 업무에 적용하는 것입니다.

• AI 학습은 기본적인 학습 단계입니다. 모델이 방대한 데이터 세트를 분석하여 패턴과 관계를 학습하는 컴퓨팅 집약적인 프로세스입니다. 목표는 정확하고 지식이 풍부한 모델을 만드는 것입니다. 이를 위해서는 강력한 하드웨어 가속기(예: GPU 및 TPU)가 필요하며 몇 시간에서 몇 주까지 걸릴 수 있습니다.
• AI 세부 조정은 학습의 지름길입니다. 강력한 사전 학습 모델을 가져와 더 작고 특화된 데이터 세트를 사용하여 더 구체적인 작업에 맞게 조정합니다. 모델을 처음부터 학습시키는 것보다 상당한 시간과 리소스를 절약할 수 있습니다.
• AI 추론은 실행 단계입니다. 학습되고 세부 조정된 모델을 사용하여 '처음 접하는' 새로운 데이터에 대한 빠른 예측을 수행합니다. 각 예측은 학습보다 훨씬 적은 컴퓨팅 리소스를 필요로 하지만 수백만 개의 예측을 실시간으로 제공하려면 고도로 최적화되고 확장 가능한 인프라가 필요합니다.
• AI 서빙은 추론을 위해 모델을 배포하고 관리하는 프로세스입니다. 여기에는 모델 패키징, API 엔드포인트 설정, 요청 처리를 위한 인프라 관리가 포함되는 경우가 많습니다.

다음 표에는 주요 차이점이 요약되어 있습니다.

AI 추론은 기본적으로 새로운 데이터를 유용한 출력으로 전환하는 세 가지 단계를 포함합니다. 

사진 속 객체를 식별하도록 빌드된 AI 모델이라는 간단한 예시를 통해 살펴보겠습니다.

1. 입력 데이터 준비: 먼저 새로운 데이터(예: 방금 제출한 사진)가 제공됩니다. 이 사진은 모델에 맞게 즉시 준비됩니다. 이는 단순히 학습된 정확한 크기에 맞춰 크기를 조정하는 것을 의미할 수 있습니다.
2. 모델 실행: 다음으로 AI 모델이 준비된 사진을 분석합니다. 학습 과정에서 배운 내용과 일치하는 패턴(색상, 모양, 질감 등)을 찾습니다. 이러한 빠른 분석을 '정방향 전달'이라고 하며, 모델이 새로운 것을 학습하지 않고 지식을 적용하는 읽기 전용 단계입니다.
3. 출력 생성: 모델이 실행 가능한 결과를 생성합니다. 사진 분석의 경우 확률 점수(예: 이미지에 '개'가 포함될 가능성이 95%임)가 될 수 있습니다. 이 출력은 애플리케이션으로 전송되어 사용자에게 표시됩니다.

단일 추론은 빠르지만 수백만 명의 사용자에게 실시간으로 서비스를 제공하면 지연 시간과 비용이 늘어나고 최적화된 하드웨어가 필요합니다. AI에 특화된 그래픽 처리 장치(GPU)와 Google의 Tensor Processing Unit은 Google Kubernetes Engine과의 조정을 통해 이러한 작업을 효율적으로 처리하도록 설계되어 처리량을 늘리고 지연 시간을 줄이는 데 도움이 됩니다.

가장 일반적인 접근 방식으로, 데이터 센터의 강력한 원격 서버에서 추론이 실행됩니다. 클라우드는 엄청난 확장성과 컴퓨팅 리소스를 제공하므로 대규모 데이터 세트와 복잡한 모델을 처리하는 데 이상적입니다. 클라우드 내에는 일반적으로 두 가지 기본 추론 모드가 있습니다.

• 실시간(온라인) 추론: 개별 요청이 수신되는 즉시 처리하며, 보통 밀리초 내에 처리됩니다. 이는 즉각적인 피드백이 필요한 양방향 애플리케이션에 매우 중요합니다.
• 일괄(오프라인) 추론: 일반적으로 즉각적인 응답이 필요하지 않은 경우 대량의 데이터를 한 번에 처리합니다. 주기적 분석 또는 예약된 작업에 매우 비용 효율적인 방법입니다.

이 접근 방식은 데이터가 생성되는 기기(예: 스마트폰 또는 산업용 센서)에서 직접 추론을 수행합니다. 클라우드로의 왕복을 피함으로써 에지 추론은 다음과 같은 고유한 이점을 제공합니다.

• 지연 시간 단축: 자율 주행 차량이나 실시간 제조 점검과 같은 애플리케이션에 중요한 거의 즉각적인 응답을 제공합니다.
• 개인 정보 보호 강화: 의료 스캔, 개인 사진, 동영상 피드와 같은 민감한 정보를 클라우드로 전송하지 않고도 기기에서 처리할 수 있습니다.
• 대역폭 비용 절감: 로컬에서 데이터를 처리하면 업로드 및 다운로드해야 하는 데이터의 양이 크게 줄어듭니다.
• 오프라인 기능: 인터넷 연결 없이도 애플리케이션이 계속 작동하므로 원격 환경이나 연결이 끊긴 환경에서도 지속적인 운영이 가능합니다.

특정 요구사항에 가장 적합한 접근 방식을 선택하는 데 도움이 되도록 각 유형의 AI 추론에 대한 주요 특성과 사용 사례를 간략하게 비교해 보겠습니다.

AI 추론은 지연 시간 관리, 비용 제어, 확장성 보장 등 고유한 기술적 과제를 안고 있습니다. Google Cloud는 추론을 위한 유연한 경로를 제공하므로 모델의 복잡성, 성능 요구사항, 운영 용량에 따라 적합한 도구를 선택할 수 있습니다. 완전 관리형 솔루션으로 시작하여 요구사항이 진화함에 따라 점진적으로 더 맞춤화된 인프라를 도입할 수 있습니다.

이 접근 방식은 강력한 AI 기능을 빠르게 통합하려는 AI 초보자를 포함한 모든 기술 수준의 개발자에게 적합합니다. 모델이나 인프라를 관리할 필요 없이 간단한 API 호출을 수행하면 됩니다.

이 옵션은 이미 커스텀 모델을 빌드한 개발자를 위한 것입니다. Google Cloud의 관리형 서비스에 배포할 수 있으므로 복잡한 서버 설정이나 조정 작업을 직접 처리할 필요가 없습니다. 인프라가 아닌 모델에 집중할 수 있습니다.

개발자와 MLOps는 클라우드 또는 하이브리드 환경 전반에서 흔히 특수 하드웨어를 사용하여 커스텀 컨테이너화된 추론 서비스를 배포, 관리, 확장할 수 있는 세밀한 제어와 유연성을 확보할 수 있습니다.

SQL을 사용하는 경우 이제 데이터가 이미 있는 곳에서 바로 AI 모델의 예측을 얻을 수 있습니다. 따라서 데이터를 별도의 플랫폼으로 이동할 필요가 없어 워크플로가 간소화됩니다.