'파운데이션 모델'과 '대규모 언어 모델(LLM)'은 종종 같은 의미로 사용되지만, 중요한 차이점이 있습니다. LLM은 주요 유형의 파운데이션 모델이지만 유일한 유형은 아닙니다. 부모-자식 관계라고 생각하면 됩니다. 모든 LLM은 파운데이션 모델이지만, 모든 파운데이션 모델이 LLM인 것은 아닙니다.

주요 차이점은 기반으로 빌드되는 데이터 유형입니다. 이름에서 알 수 있듯이 LLM은 방대한 양의 텍스트와 코드를 대상으로 구체적으로 학습됩니다. '파운데이션 모델'이라는 더 넓은 범주에는 이미지, 오디오, 동영상 또는 이들의 조합(멀티모달)과 같은 다른 데이터 유형으로 학습된 모델도 포함됩니다.

생성형 AI와 파운데이션 모델은 서로 다르지만 밀접하게 관련되어 있습니다. 차이점을 이해하는 가장 좋은 방법은 '엔진'과 '기능'으로 생각하는 것입니다.

• 파운데이션 모델은 강력한 사전 학습된 엔진으로, 대규모 데이터를 기반으로 빌드된 적응형 기반 기술입니다.
• 생성형 AI는 이 엔진이 수행할 수 있는 주요 기능으로, 텍스트, 이미지, 코드와 같은 새로운 콘텐츠를 생성하는 기능입니다.

가장 널리 사용되는 파운데이션 모델은 생성 작업에 사용되지만, 파운데이션 모델은 복잡한 분류 또는 분석과 같은 비생성 목적으로도 조정할 수 있습니다. 따라서 모든 파운데이션 모델이 본질적으로 생성형인 것은 아니지만, 현재의 생성형 AI 애플리케이션의 물결을 일으키는 핵심 기술입니다.

파운데이션 모델은 다양한 아키텍처를 포괄하며, 각 아키텍처는 고유한 강점과 애플리케이션을 갖도록 설계되었습니다. 몇 가지 주목할 만한 유형은 다음과 같습니다.

• 대규모 언어 모델(LLM): 인간의 언어를 이해하고 생성하는 데 특화된 모델로, 번역, 텍스트 요약, 챗봇 상호작용과 같은 작업에 탁월합니다.
• 멀티모달 모델: 텍스트, 이미지, 오디오 등 다양한 데이터 유형으로 학습된 모델로, 여러 형식에 걸쳐 콘텐츠를 분석하고 생성할 수 있습니다.
• 생성적 적대 신경망(GAN): GAN은 제로섬 게임에서 서로 경쟁하는 두 개의 신경망을 포함하는 파운데이션 모델의 한 유형입니다. 한 네트워크인 생성기는 새로운 데이터 인스턴스를 만들고, 다른 네트워크인 분류자는 데이터 인스턴스의 진위 여부를 평가합니다. 이러한 적대적 프로세스를 통해 점점 더 현실적이고 복잡한 콘텐츠를 생성할 수 있습니다.
• 컴퓨터 비전 모델: 이러한 모델은 이미지 분류, 객체 감지, 이미지 생성과 같은 작업을 수행하기 위해 이미지 데이터 세트를 학습합니다. 의료 이미지 분석 또는 자율 주행 차량의 객체 인식과 같은 특정 애플리케이션에 맞게 파인 튜닝할 수 있습니다.

파운데이션 모델은 자체 지도 학습을 사용하여 방대한 데이터 세트를 학습합니다. 자체 지도 학습은 머신러닝의 한 접근 방식으로, 전통적으로 지도 학습(예: 사람의 입력을 통해 데이터에 라벨 지정)이 필요했던 작업에 비지도 학습 기법을 활용합니다. 이렇게 하면 모델이 마스크 처리되거나 누락된 입력 데이터 부분을 예측하도록 학습하는 데 도움이 됩니다. 모델은 예측을 수행하면서 데이터 내의 패턴, 관계, 기본 구조를 식별하는 방법을 학습합니다.

파운데이션 모델의 학습 프로세스는 머신러닝 모델의 학습 프로세스와 유사하며 일반적으로 다음과 같은 몇 가지 주요 단계를 포함합니다.

• 모델이 배포 중에 접하게 될 데이터의 실제 분포를 나타내는 크고 다양한 데이터 세트가 수집됩니다.
• 데이터는 노이즈, 이상치, 불일치를 제거하기 위해 전처리됩니다. 여기에는 데이터 정리, 정규화, 특성 추출과 같은 기법이 포함될 수 있습니다.

• 작업의 복잡성, 데이터 유형 및 볼륨, 사용 가능한 컴퓨팅 리소스 등 여러 요소를 기반으로 적절한 모델 아키텍처를 선택합니다.
• 자체 지도 학습에 사용되는 일반적인 모델 아키텍처에는 컨볼루셔널 신경망(CNN), 순환 신경망(RNN), Transformer가 있습니다.

• 모델은 데이터에 대한 유사 라벨을 만들고 모델을 학습시켜 이러한 라벨을 예측하는 자체 지도 학습 기법을 사용하여 학습됩니다.
• 대조 학습, 마스크 언어 모델링, 직소 퍼즐과 같은 다양한 방법을 사용하여 이 작업을 수행할 수 있습니다.
• 자체 지도 학습을 사용하면 모델이 수동으로 주석 처리된 라벨에 의존하지 않고도 데이터의 유용한 표현을 학습할 수 있으므로 라벨을 얻는 데 드는 비용과 시간을 절약할 수 있습니다.

• 자체 지도 학습을 사용하여 모델을 사전 학습시킨 후에는 더 틈새 시장에 특화된 작업별 데이터 모음에서 파인 튜닝할 수 있습니다.
• 여기에는 모델의 파라미터를 조정하여 타겟 작업의 성능을 최적화하는 작업이 포함됩니다.
• 파인 튜닝은 모델이 작업의 구체적인 요구사항에 적응하고 전반적인 성능을 개선하는 데 도움이 됩니다.

• 사전 학습과 파인 튜닝을 거친 후 대부분의 최첨단 모델은 출력이 유용하고 무해하며 인간의 의도에 부합하도록 조정 단계를 거칩니다.
• 이 중요한 단계에서는 인간 피드백 기반 강화 학습(RLHF) 및 직접 선호도 최적화(DPO)와 같은 기법이 사용되는 경우가 많습니다. 인간 검토자가 모델의 대답을 평가하여 모델이 더 바람직한 행동을 하도록 안내합니다.

• 모델이 학습되고 파인 튜닝되면 보류된 테스트 세트에서 성능을 평가합니다.
• 모델이 원하는 성능 기준을 충족하면 프로덕션에 배포하여 실제 문제를 해결하는 데 사용할 수 있습니다.

파운데이션 모델은 여러 이점이 있지만 사용자와 개발자가 해결해야 할 중요한 과제도 안고 있습니다.

• 편향 및 공정성: 파운데이션 모델은 방대한 학습 데이터에 존재하는 사회적 편향을 상속받아 증폭시켜 불공정하거나 편향된 출력을 생성할 수 있습니다.
• 할루시네이션: 모델이 그럴듯하게 들리지만 사실적으로는 잘못되었거나 말이 안 되는 정보를 생성할 수 있습니다. 이러한 현상을 '할루시네이션'이라고 합니다.
• 높은 컴퓨팅 비용: 이러한 모델을 학습시키려면 막대한 컴퓨팅 성능과 에너지가 필요하므로 환경 및 재정적 우려가 제기됩니다.

파운데이션 모델 생태계는 활기차고 경쟁이 치열합니다. 주요 업계 참여자들의 가장 영향력 있는 몇 가지 사례를 소개합니다.

• Google: 강력한 멀티모달 모델 시리즈인 Gemini 제품군(Gemini 2.5 Pro가 대표적인 예)과 개발자를 위한 개방형 경량 모델 제품군인 Gemma로 유명합니다. 또한 텍스트-이미지 생성을 위한 Imagen, 동영상 생성을 위한 Veo와 같은 특수 모델도 개발했습니다.
• OpenAI: 널리 사용되는 GPT-4를 비롯해 큰 영향력을 지닌 GPT(Generative Pre-trained Transformer) 시리즈를 개발한 회사입니다.
• Anthropic: AI 안전에 중점을 두고 Claude 모델 제품군을 개발했습니다. Claude 3 시리즈(Opus, Sonnet, Haiku 포함)는 큰 컨텍스트 윈도우와 강력한 추론 기능으로 유명합니다.
• Meta: 오픈소스 AI의 주요 지지자인 Meta는 Llama 시리즈를 개발했습니다. Llama 3은 전체 커뮤니티의 혁신을 가속화한 개방형 모델입니다.
• Mistral AI: Mistral Large와 같은 고성능의 개방형 및 상용 모델과 효율성을 높이기 위해 전문가 망(MoE) 아키텍처를 사용하는 오픈소스 Mixtral 모델로 상당한 주목을 받고 있는 유럽 회사입니다.

Google Cloud는 조직이 실제 애플리케이션을 위한 파운데이션 모델에 액세스하고, 이를 맞춤설정하고, 배포할 수 있도록 설계된 엔드 투 엔드 엔터프라이즈 플랫폼인 Vertex AI를 제공합니다. 이 전략은 선택의 자유, 강력한 도구, 통합 인프라를 제공하는 데 기반을 두고 있습니다.

Google Cloud에서 파운데이션 모델을 사용하는 방식은 다음과 같습니다.

• 다양하고 개방적인 모델 생태계: Google Cloud는 Vertex AI Model Garden을 통해 130개 이상의 파운데이션 모델로 구성된 포괄적인 라이브러리에 대한 액세스를 제공합니다. 여기에는 Gemini 제품군(멀티모달 작업용) 및 Gemma(개방형 경량 개발용)와 같은 Google의 최첨단 모델은 물론 Anthropic(Claude), Meta(Llama), Mistral과 같은 파트너의 인기 있는 서드 파티 및 오픈소스 모델도 포함됩니다. 이를 통해 개발자는 특정 비용 및 성능 요구사항에 가장 적합한 모델을 선택할 수 있습니다.
• 맞춤설정 및 그라운딩을 위한 도구: Vertex AI는 단순한 프롬프트를 넘어설 수 있는 전체 도구 모음을 제공합니다. Generative AI Studio를 사용하면 팀에서 모델을 테스트하고 조정할 수 있습니다. 주요 기능은 조직의 자체 엔터프라이즈 데이터에 모델을 그라운딩할 수 있다는 점입니다. 이를 통해 모델의 추론 기능을 회사의 특정 데이터 소스와 연결하여 할루시네이션을 크게 줄이고 응답을 사실에 부합하고 관련성 있게 만들 수 있습니다.
• AI 에이전트 및 애플리케이션 빌드: Google Cloud는 개발자가 챗봇뿐만 아니라 정교한 AI 애플리케이션을 빌드할 수 있도록 지원하는 데 중점을 두고 있습니다. 조직은 Vertex AI Agent Builder를 사용하여 고객 서비스, 내부 헬프 데스크 및 기타 비즈니스 프로세스를 위한 대화형 AI 에이전트를 만들고 배포할 수 있습니다.
• 워크플로에 생성형 AI 임베딩: 파운데이션 모델이 기업에서 이미 사용 중인 Google Cloud 서비스에 직접 통합되고 있습니다. 예를 들어 Gemini Code Assist는 개발자가 코드를 더 빠르게 작성, 설명, 테스트할 수 있도록 지원하는 AI 기반 어시스턴트 역할을 하며, BigQuery의 기능은 데이터 웨어하우스 내에서 직접 AI 기반 데이터 분석을 수행할 수 있도록 지원합니다.