생성형 AI의 맥락에서 에이전트는 새로운 상황에서도 목표를 달성하기 위해 일련의 작업을 자율적으로 계획하고 실행하는 소프트웨어입니다. 에이전트는 자연어 처리, 머신러닝, 로봇공학과 같은 다양한 애플리케이션에서 사용할 수 있습니다. 예를 들어 LLM 에이전트는 언어 모델을 사용하여 환경을 평가하고 목표 달성에 도움이 되는 작업을 선택합니다. LLM 에이전트는 텍스트를 생성하고, 언어를 번역하고, 질문에 답하는 데 사용할 수 있습니다.
API 엔드포인트
API 엔드포인트는 서비스 엔드포인트라고도 하는 네트워크 주소 (예: aiplatform.googleapis.com)를 지정하는 서비스 구성 요소입니다.
애플리케이션 기본 사용자 인증 정보 (ADC)
애플리케이션 기본 사용자 인증 정보 (ADC)는 Google API 호출에 사용할 승인 사용자 인증 정보를 간단하게 가져오는 방법을 제공합니다. 애플리케이션 기본 사용자 인증 정보는 호출에서 애플리케이션의 ID와 승인 수준이 사용자에 관계없이 동일해야 하는 경우에 가장 적합합니다. 이 방법은 특히 Google App Engine (GAE) 또는 Compute Engine 가상 머신에 배포되는 애플리케이션을 빌드하는 경우에 권장되는 Google Cloud API 호출 승인 방법입니다. 자세한 내용은 애플리케이션 기본 사용자 인증 정보의 작동 방식을 참고하세요.
최근접 이웃 검색(ANN)
최근접 이웃 검색(ANN) 서비스는 대규모 코퍼스의 유사한 벡터(또는 더 구체적으로 '임베딩')를 찾기 위한 지연 시간이 짧은 대규모 솔루션입니다. 자세한 내용은 시맨틱 일치를 위해 벡터 검색을 사용하는 방법을 참고하세요.
아티팩트
아티팩트는 머신러닝 워크플로에 의해 만들어지고 사용되는 개별 항목 또는 데이터입니다. 아티팩트의 예로는 데이터 세트, 모델, 입력 파일, 학습 로그가 포함됩니다.
Artifact Registry
Artifact Registry는 범용 아티팩트 관리 서비스입니다. Google Cloud에서 컨테이너와 기타 아티팩트를 관리하는 데 권장되는 서비스입니다. 자세한 내용은 Artifact Registry를 참조하세요.
인공지능 (AI)
인공지능 (AI)은 '지능형'으로 보이는 기계의 연구 및 설계입니다. 즉, 기계적 움직임, 추론, 문제 해결과 같은 인간의 지적 기능을 모방하는 기계를 말합니다. AI의 가장 인기 있는 하위 분야 중 하나는 통계 및 데이터 기반 접근 방식을 사용하여 AI를 만드는 머신러닝입니다. 하지만 일부 사용자는 이 두 용어를 같은 의미로 사용합니다.
증강 현실 (AR)
휴대전화와 같은 디스플레이를 통해 또는 안경과 같은 광학 장치를 통해 보이는 세상에 오버레이하는 등 렌더링된 디지털 콘텐츠를 실제 콘텐츠와 혼합합니다. 디지털 콘텐츠가 실제 세계의 일부인 것처럼 보이도록 하려면 장면이 렌더링되는 방식에 따라 카메라 또는 안경의 움직임을 추적해야 합니다.
인증
보안 시스템에 대한 액세스 권한을 얻기 위해 클라이언트(사용자 또는 다른 프로세스일 수 있음)의 ID를 확인하는 프로세스입니다. ID가 입증된 클라이언트는 인증되었다고 합니다. 자세한 내용은 Google 인증 방법을 참조하세요.
자동 정렬 (AutoSxS)
자동 정렬 (AutoSxS)은 두 가지 대규모 언어 모델 (LLM)을 나란히 비교하는 모델 지원 평가 도구입니다. Vertex AI Model Registry의 생성형 AI 모델 또는 사전 생성된 예측의 성능을 평가하는 데 사용할 수 있습니다. AutoSxS는 자동 평가 도구를 사용하여 프롬프트에 더 나은 응답을 제공하는 모델을 결정합니다. AutoSxS는 주문형으로 제공되며 인간 평가자와 성능이 비슷한 언어 모델을 평가합니다.
자동 음성 인식 (ASR,음성 텍스트 변환)
음성 언어 (음성)를 텍스트로 자동 스크립트로 작성합니다.
AutoML
블랙박스 최적화를 통해 '학습하는 법을 학습'하는 머신러닝 알고리즘입니다. 자세한 내용은 ML 용어집을 참고하세요.
autorater
자동 평가 도구는 원래 추론 프롬프트가 지정될 경우 모델 응답의 품질을 평가하는 언어 모델입니다. AutoSxS 파이프라인에서 두 모델의 예측을 비교하고 가장 실적이 우수한 모델을 결정하는 데 사용됩니다. 자세한 내용은 자동 생성기를 참고하세요.
대조군
다른 모델 (일반적으로 더 복잡한 모델)의 성능을 비교하는 데 참조 지점으로 사용되는 모델입니다. 예를 들어 로지스틱 회귀 모델은 심층 모델의 좋은 기준이 될 수 있습니다. 특정 문제의 경우 기준선은 모델 개발자가 새 모델이 유용하기 위해 새 모델이 달성해야 하는 최소 예상 성능을 수치화하는 데 도움이 됩니다. 자세한 내용은 기준 및 타겟 데이터 세트를 참고하세요.
배치
한 번의 학습 반복에 사용되는 예시 집합입니다. 배치 크기에 따라 배치의 예 수가 결정됩니다.
배치 크기
배치의 예 수입니다. 예를 들어 SGD의 배치 크기는 1이지만 미니 배치의 배치 크기는 일반적으로 10~1,000입니다. 학습 및 추론 중에 배치 크기는 일반적으로 고정되지만, TensorFlow는 동적 배치 크기를 허용합니다.
배치 예측
배치 예측은 예측 요청 그룹을 취하여 하나의 파일에 결과를 출력합니다. 자세한 내용은 배치 예측 가져오기를 참조하세요.
편향
1. 특정 사물, 인물 또는 그룹에 대한 정형화, 편견 또는 편애를 말합니다. 이러한 편향은 데이터의 수집과 해석 가능성, 시스템 설계, 사용자가 시스템과 상호작용하는 방식 등에 영향을 줍니다. 2. 샘플링 또는 보고 절차로 인해 발생하는 계통 오차입니다.
양방향
대상 텍스트 섹션의 앞뒤에 있는 텍스트를 모두 평가하는 시스템을 설명하는 데 사용되는 용어입니다. 반면 단방향 시스템은 대상 텍스트 섹션 앞에 있는 텍스트만 평가합니다.
Bidirectional Encoder Representations from Transformers (BERT)
BERT는 언어 표현을 사전 학습하는 방법입니다. 즉, 대규모 텍스트 자료 (예: 위키피디아)에서 범용 '자연어 이해' 모델을 학습한 다음, 중요한 하류 NLP 작업 (예: 질문에 답변)에 이 모델을 사용합니다. BERT는 NLP 사전 학습을 위한 최초의 비감독적 깊이 양방향 시스템이므로 이전 방법보다 우수합니다.
Bilingual Evaluation Understudy (BLEU)
기계 번역 알고리즘의 출력을 하나 이상의 사람의 번역과 비교하여 기계 번역 알고리즘의 품질을 평가하는 데 널리 사용되는 측정항목입니다.
부스팅
모델 학습: 부스팅은 학습 데이터 세트의 크기와 다양성을 늘리는 데 사용되는 데이터 증강 기법을 가리킬 수 있습니다. 이는 기존 예시를 변환하여 다양한 예시를 추가로 만들어 이루어지며, 특히 원본 데이터 세트가 제한적인 경우 모델 성능을 개선할 수 있습니다.
경계 상자
동영상 프레임의 객체에 대한 경계 상자는 두 가지 방식으로 지정될 수 있습니다. (i) x,y 좌표 조합으로 구성된 두 개의 꼭짓점을 사용합니다. 두 점은 직사각형의 대각선 반대 점이어야 합니다. (예: x_relative_min, y_relative_min, x_relative_max, y_relative_max). (ii) 4개 꼭짓점을 모두 사용합니다. 자세한 내용은 동영상 데이터 준비를 참조하세요.
버킷
Cloud Storage의 최상위 폴더입니다. 버킷 이름은 Cloud Storage의 모든 사용자에서 고유해야 합니다. 버킷에는 파일이 포함됩니다. 자세한 내용은 Cloud Storage 제품 개요를 참고하세요.
연쇄적 사고
생성형 AI에서 사고의 사슬 (CoT)은 대규모 언어 모델 (LLM)이 결론에 도달하기 전에 추론 과정을 명시적으로 자세히 설명하도록 유도하는 프롬프트 기법입니다. 이를 위해서는 모델에 최종 답변을 제공하는 대신 문제를 해결하는 데 필요한 중간 단계를 표시하도록 요청해야 합니다. 이 방법을 사용하면 복잡한 추론 작업에서 LLM의 성능을 크게 개선할 수 있습니다.
채팅
ML 시스템(일반적으로 대규모 언어 모델)과의 대화 내용입니다. 채팅의 이전 상호작용 (내가 입력한 내용과 대규모 언어 모델이 응답한 방식)은 채팅의 후속 부분에 대한 컨텍스트가 됩니다. 챗봇은 대규모 언어 모델의 애플리케이션입니다.
checkpoint
학습 중 또는 학습이 완료된 후 모델의 매개변수 상태를 캡처하는 데이터입니다. 예를 들어 학습 중에 다음 작업을 할 수 있습니다. 1. 의도적으로 또는 특정 오류의 결과로 학습을 중지합니다. 2. 체크포인트를 캡처합니다. 3. 나중에 다른 하드웨어에서 체크포인트를 다시 로드합니다. 4. 학습을 다시 시작합니다. Gemini 내에서 체크포인트는 특정 데이터 세트에서 학습된 Gemini 모델의 특정 버전을 나타냅니다.
분류 모델
예측이 클래스인 모델입니다. 예를 들어 다음은 모두 분류 모델입니다. 입력 문장의 언어 (프랑스어? 스페인어? 이탈리아어)를 사용하고 계신가요? 나무 종 (단풍나무? 오크? 바오밥?). 특정 질병의 양성 또는 음성 클래스를 예측하는 모델입니다.
분류 측정항목
Python용 Vertex AI SDK에서 지원되는 분류 측정항목은 혼동 행렬 및 ROC 곡선입니다.
Cloud TPU
Google Cloud에서 머신러닝 워크로드 속도를 높이도록 설계된 특수 하드웨어 가속기입니다.
클러스터링
생성형 AI의 맥락에서 클러스터링은 유사한 데이터 포인트를 특성을 기준으로 그룹화하는 데 사용되는 비지도 머신러닝 기법입니다. 이는 데이터 포인트를 비교하는 유사성 측정값 (또는 측정항목)을 정의하고 유사성이 높은 데이터 포인트를 동일한 클러스터로 그룹화하여 실행됩니다. 생성형 AI 애플리케이션에서는 검색, 분류, 이상치 감지와 같은 작업을 실행하기 위해 임베딩 (텍스트, 이미지 또는 기타 데이터의 수치 표현)을 클러스터링해야 할 수 있습니다. 예를 들어 고객 데이터를 클러스터링하여 유사한 행동이나 특성을 가진 그룹을 식별하여 고객을 세분화할 수 있습니다. 자세한 내용은 클러스터링이란 무엇인가요?를 참고하세요.
컨테이너 이미지
컨테이너 이미지는 구성요소의 실행 가능한 코드와 코드가 실행되는 환경의 정의를 포함하는 패키지입니다. 자세한 내용은 커스텀 학습 개요를 참고하세요.
context
컨텍스트는 쿼리가 가능하며 입력된 카테고리 하나에서 아티팩트와 실행을 그룹화하는 데 사용됩니다. 컨텍스트는 메타데이터 집합을 나타내는 데 사용될 수 있습니다. 컨텍스트의 예시로는 머신러닝 파이프라인 실행이 있습니다.
컨텍스트 캐시
Vertex AI의 컨텍스트 캐시는 Gemini 모델에 대한 여러 요청에서 사용할 수 있는 대량의 데이터입니다. 캐시된 콘텐츠는 캐시 생성 요청이 이루어진 리전에 저장됩니다. 텍스트, 오디오, 동영상과 같이 Gemini 멀티모달 모델에서 지원하는 모든 MIME 유형이 될 수 있습니다. 자세한 내용은 컨텍스트 캐싱 개요를 참고하세요.
컨텍스트 창
모델이 특정 프롬프트에서 처리할 수 있는 토큰 수입니다. 컨텍스트 윈도우가 클수록 모델은 더 많은 정보를 사용하여 프롬프트에 일관되고 일관된 대답을 제공할 수 있습니다.
고객 관리 암호화 키(CMEK)
고객 관리 암호화 키(CMEK)는 고객이 Cloud KMS에서 관리하는 키(Storky라고도 함)를 사용하여 기존 Google 서비스의 데이터를 암호화할 수 있게 해주는 통합입니다. Cloud KMS의 키는 데이터를 보호하는 키 암호화 키입니다. 자세한 내용은 고객 관리 암호화 키(CMEK)를 참조하세요.
데이터 분석
데이터 분석이란 샘플, 측정치, 시각화를 고려하여 데이터를 이해하는 작업입니다. 데이터 분석은 첫 번째 모델을 빌드하기 전에 데이터 세트를 처음 받은 직후에 특히 유용합니다. 또한 실험을 이해하고 시스템의 문제를 디버깅하는 데에도 중요합니다.
데이터 증강
기존 예를 변형하여 추가적인 예를 생성함으로써 학습용 예의 범위와 수를 인위적으로 늘립니다. 예를 들어 이미지가 특성 중 하나이지만, 모델에서 유용한 연결을 학습하는 데 충분한 이미지 예가 데이터 세트에 포함되어 있지 않다고 가정합니다. 모델에서 적절히 학습할 수 있도록 데이터 세트에 라벨이 지정된 충분한 이미지를 추가하는 것이 좋습니다. 그렇게 할 수 없는 경우 데이터 증강을 통해 각 이미지를 회전, 확대, 반사하여 원본 그림의 다양한 변형을 생성할 수 있습니다. 그러면 충분한 수의 라벨이 지정된 데이터가 생성되어 효과적인 학습을 지원할 수 있습니다.
DataFrame
메모리에서 데이터 세트를 표현하는 데 널리 사용되는 pandas 데이터 유형입니다. DataFrame은 표나 스프레드시트와 비슷합니다. DataFrame의 각 열에는 이름 (헤더)이 있으며 각 행은 고유한 숫자로 식별됩니다.DataFrame의 각 열은 2D 배열처럼 구성되지만 각 열에 고유한 데이터 유형을 할당할 수 있다는 점이 다릅니다.
데이터 색인 생성
생성형 AI의 맥락에서 데이터 색인은 검색 및 검색을 최적화하기 위해 기술 자료를 구조화하고 정리하는 프로세스입니다. 여기에는 데이터를 효율적으로 검색할 수 있는 색인(흔히 '자료집'이라고 함)을 만드는 작업이 포함됩니다. 이 프로세스는 자료 모음 생성과 별개이며, 색인 생성된 데이터는 대규모 언어 모델 (LLM)의 컨텍스트를 보강하여 할루시네이션을 줄이고 응답의 정확성을 개선하는 데 사용할 수 있습니다. 예를 들어 웹사이트 컨텍스트에서 데이터 색인 생성에는 검색 기능을 개선하기 위해 datePublished 및 dateModified와 같은 메타데이터를 추가하는 작업이 포함될 수 있습니다. 데이터 색인을 생성하는 방법에는 여러 가지가 있습니다. 예를 들어 쿼리 시 LLM과 관련된 정보를 검색하는 등의 애플리케이션에서 유사성 검색을 위해 벡터 검색을 사용하는 방법이 있습니다. 자세한 내용은 RAG 엔진 개요 를 참고하세요.
데이터 수집
데이터 처리는 추가 처리 및 분석을 위해 다양한 소스에서 데이터를 추출하여 중앙 위치에 통합하는 프로세스입니다. 생성형 AI의 맥락에서 데이터 처리는 임상 양식, 환자 기록, 비정형 텍스트와 같은 다양한 데이터 소스에서 정보를 추출하여 생성형 AI 모델을 학습하고 미세 조정하는 것을 의미합니다. 처리된 데이터는 일반적으로 생성형 AI 모델을 학습하는 데 사용되기 전에 품질과 일관성을 보장하기 위해 처리되고 변환됩니다. 이 과정에서는 모델의 성능과 일반화 기능을 개선하기 위한 데이터 정리, 특성 추출, 데이터 증강 기법이 사용될 수 있습니다. 자세한 내용은 사용률 관리에 생성형 AI 사용을 참고하세요.
데이터 병렬 처리
전체 모델을 여러 기기에 복제한 다음 입력 데이터의 하위 집합을 각 기기에 전달하는 학습 또는 추론을 확장하는 방법입니다. 데이터 동시 로드를 사용하면 매우 큰 일괄 크기에서 학습 및 추론을 실행할 수 있습니다. 하지만 데이터 동시 로드를 사용하려면 모델이 모든 기기에 맞을 만큼 작아야 합니다. 데이터 동시 로드는 일반적으로 학습 및 추론 속도를 높입니다.
데이터 세트
데이터 세트는 구조화된 데이터 레코드 또는 구조화되지 않은 데이터 레코드의 모음으로 광범위하게 정의됩니다. 일반적으로 (그러나 이에 국한되지 않음) 다음 형식 중 하나로 구성된 원시 데이터 모음: 스프레드시트, CSV (쉼표로 구분된 값) 형식의 파일 자세한 내용은 데이터 세트 만들기를 참조하세요.
데이터 변환
검색 증강 생성 (RAG)의 맥락에서 데이터 변환은 데이터를 LLM의 색인 생성 및 처리에 적합한 형식으로 변환하는 것을 의미합니다. 이 과정에서는 데이터를 더 작은 청크로 분할하여 임베딩 및 색인 생성을 관리하기 쉽게 하는 경우가 많습니다. 다른 변환에는 데이터 품질을 보장하기 위한 정리 및 유효성 검사 단계가 포함될 수 있습니다. 자세한 내용은 RAG 엔진 개요를 참고하세요.
decoder
일반적으로 처리된, 밀집된 또는 내부 표현을 더 원시적이고 희소하거나 외부 표현으로 변환하는 모든 ML 시스템입니다. 디코더는 더 큰 모델의 구성요소인 경우가 많으며, 여기서 디코더는 인코더와 자주 페어링됩니다. 시퀀스 대 시퀀스 태스크에서 디코더는 인코더가 생성한 내부 상태로 시작하여 다음 시퀀스를 예측합니다.
심층신경망 (DNN)
일반적으로 딥 러닝 기법을 통해 프로그래밍되는 여러 개의 히든 레이어가 있는 신경망입니다.
depth
신경망에서 1. 히든 레이어 수 2. 출력 레이어 수(일반적으로 1) 3. 임베딩 레이어 수를 합산한 값입니다. 예를 들어 히든 레이어 5개와 출력 레이어 1개가 있는 신경망의 깊이는 6입니다. 입력 레이어는 깊이에 영향을 미치지 않습니다.
DevOps
DevOps는 Artifact Registry, Cloud Deploy와 같은 Google Cloud Platform 제품군입니다.
조기 중단
학습 손실이 감소하기 전에 학습을 종료하는 정규화 방법입니다. 조기 중단에서는 검증 데이터 세트의 손실이 증가하기 시작하면(즉, 일반화 성능이 저하되면) 의도적으로 모델 학습을 중단합니다.
임베딩
단어나 텍스트 조각을 숫자로 표현한 것입니다. 이 숫자는 텍스트의 의미론적 의미와 맥락을 캡처합니다. 유사하거나 관련된 단어 또는 텍스트는 임베딩이 비슷한 경향이 있습니다. 즉, 고차원 벡터 공간에서 더 가깝게 위치합니다.
임베딩 공간 (잠재 공간)
생성형 AI에서 임베딩 공간은 입력 간의 관계를 캡처하는 텍스트, 이미지 또는 동영상의 수치적 표현을 의미합니다. 머신러닝 모델, 특히 생성형 AI 모델은 대규모 데이터 세트 내에서 패턴을 식별하여 이러한 임베딩을 만드는 데 능숙합니다. 애플리케이션은 임베딩을 활용하여 언어를 처리하고 생성하여 콘텐츠만의 특징적인 복잡한 의미와 의미 관계를 인식할 수 있습니다.
임베딩 벡터
항목의 밀집형 벡터 표현으로, 보통은 저차원입니다. 두 항목이 의미론적으로 유사하면 해당 임베딩이 임베딩 벡터 공간에서 서로 가깝게 배치됩니다.
encoder
일반적으로 원시, 희소 또는 외부 표현을 더 처리되고, 더 밀집되거나, 더 내부적인 표현으로 변환하는 모든 ML 시스템입니다. 인코더는 더 큰 모델의 구성요소인 경우가 많으며, 여기서 디코더와 자주 페어링됩니다. 일부 트랜스포머는 인코더와 디코더를 페어링하지만, 인코더만 사용하거나 디코더만 사용하는 트랜스포머도 있습니다. 일부 시스템은 인코더의 출력을 분류 또는 회귀 네트워크의 입력으로 사용합니다. 시퀀스 대 시퀀스 작업에서 인코더는 입력 시퀀스를 가져와 내부 상태 (벡터)를 반환합니다. 그런 다음 디코더는 이 내부 상태를 사용하여 다음 시퀀스를 예측합니다.
앙상블
독립적으로 학습된 모델 모음으로, 예측이 평균화되거나 집계됩니다. 대부분의 경우 앙상블은 단일 모델보다 더 나은 예측을 생성합니다. 예를 들어 랜덤 포레스트는 여러 결정 트리로 구성된 앙상블입니다. 모든 결정 포레스트가 앙상블은 아닙니다.
환경
강화 학습에서 에이전트를 포함하고 에이전트가 해당 환경의 상태를 관찰할 수 있는 환경입니다. 예를 들어 표현된 세계는 체스와 같은 게임이거나 미로와 같은 실제 세계일 수 있습니다. 에이전트가 환경에 작업을 적용하면 환경이 상태 간에 전환됩니다.
평가 (eval)
'평가'의 줄임말인 eval은 로깅된 쿼리 또는 합성 쿼리가 두 개의 검색 스택(변경사항이 포함된 실험 스택과 변경사항이 포함되지 않은 기본 스택)을 통해 전송되는 실험 유형입니다. 평가는 변경사항이 검색 결과 및 Google 사용자 환경의 다른 부분에 미치는 영향, 품질, 기타 효과를 평가할 수 있는 차이 및 측정항목을 생성합니다. 평가는 변경사항을 조정하거나 반복하는 동안 사용됩니다. 실시간 사용자 트래픽 변경을 시작할 때도 사용됩니다.
실행
실행은 일반적으로 런타임 매개변수로 주석이 추가된 개별 머신러닝 워크플로 단계를 기록한 것입니다. 실행의 예로는 데이터 수집, 데이터 검증, 모델 학습, 모델 평가, 모델 배포가 포함됩니다.
F1 점수
F1 점수는 모델 출력의 정확성을 평가하는 데 사용되는 측정항목입니다. 정보 추출과 같이 정밀도와 재현율이 모두 중요한 작업에서 모델의 성능을 평가하는 데 특히 유용합니다. 생성형 AI 모델의 경우 F1 점수를 사용하여 모델의 예측을 정답 데이터와 비교하여 모델의 정확성을 판단할 수 있습니다. 그러나 요약 및 텍스트 생성과 같은 생성형 작업의 경우 Rough-L 점수와 같은 다른 측정항목이 더 적합할 수 있습니다.
기능
머신러닝(ML)에서 특성은 ML 모델 학습이나 예측을 수행하기 위한 입력으로 사용되는 인스턴스 또는 항목의 특성 또는 속성입니다.
특성 추출
생성형 AI의 맥락에서 특성 추출은 모델 학습에 사용할 입력 데이터에서 관련 특성을 식별하고 선택하는 프로세스를 의미합니다. 그런 다음 이러한 기능을 사용하여 원래 입력과 유사한 새 데이터를 생성합니다. 예를 들어 이미지 생성에서 특성 추출에는 가장자리, 질감, 색상 식별이 포함될 수 있습니다. 자연어 처리에서는 키워드, 구문, 문법 구조를 추출하는 것이 포함될 수 있습니다. 그런 다음 생성형 모델에서 추출된 기능을 사용하여 새 콘텐츠를 만듭니다.
특성 서빙
특성 서빙은 학습 또는 추론을 위해 특성 값을 내보내거나 가져오는 프로세스입니다. Vertex AI에는 온라인 서빙과 오프라인 서빙이라는 두 가지 유형의 특성 서빙이 있습니다. 온라인 서빙은 온라인 예측을 위해 특성 데이터 소스의 하위 집합에서 최신 특성 값을 검색합니다. 오프라인 서빙 또는 일괄 서빙은 ML 모델 학습과 같은 오프라인 처리를 위해 대량의 특성 데이터(이전 데이터 포함)를 내보냅니다.
특성 뷰
특성 뷰는 BigQuery 데이터 소스에서 온라인 스토어 인스턴스로 구체화된 특성을 논리적으로 묶은 컬렉션입니다. 특성 뷰는 BigQuery 소스에서 주기적으로 새로고침되는 고객의 특성 데이터를 저장하고 주기적으로 새로고침합니다. 특성 뷰는 특성 데이터 스토리지와 직접 연결되거나 특성 레지스트리 리소스에 대한 연결을 통해 연결됩니다.
퓨샷 프롬프트 (few-shot)
생성형 AI에서 '퓨샷'은 모델의 응답을 안내하는 소수의 예시가 포함된 프롬프트 유형을 의미합니다. 이러한 예는 모델이 원하는 출력 형식, 문구, 범위 또는 응답의 일반적인 패턴을 파악하는 데 도움이 됩니다. 퓨샷 프롬프트는 언어 모델의 출력을 규제하여 정확하고 고품질이며 사용자의 기대치와 일치하는 대답을 생성하는 데 자주 사용됩니다. 사용자는 모델에 몇 가지 관련 예시를 제공하여 모델의 동작에 영향을 미치고 더 만족스러운 결과를 얻을 수 있습니다. 자세한 내용은 퓨샷 예시 포함을 참고하세요.
foundation model (FM)
광범위한 데이터로 학습되어 광범위한 다운스트림 작업에 맞게 조정 (예: 미세 조정)할 수 있는 모델입니다.
Foundation Model Operations (FMOP)
FMOps는 MLOps의 기능을 확장하며 선행 학습된 (처음부터 학습된) 또는 맞춤설정된 (미세 조정된) FM의 효율적인 프로덕션화에 중점을 둡니다.
Gemini
Gemini는 Google의 대규모 시퀀스 기반 멀티모달 모델의 집합입니다. 즉, 텍스트, 오디오, 시각적 미디어를 비롯한 두 개 이상의 매체에서 한 번에 입력을 수신하고 출력을 생성할 수 있습니다. 다양한 작업을 실행할 수 있는 에이전트와 통합되도록 설계되었습니다. 자세한 내용은 Google 모델을 참고하세요.
일반화
이전에 접하지 못한 새로운 데이터에 대해 올바른 예측을 수행하는 모델의 능력입니다. 일반화할 수 있는 모델은 과적합하는 모델과는 반대입니다.
학습 데이터를 기반으로 새로운 출력을 생성할 수 있는 머신러닝 모델 유형입니다. 간단히 말해 모델은 학습한 특정 카테고리 세트와 유사한 새 데이터를 생성합니다. 일반적으로 대규모 언어 모델과 연결되지만 다른 유형의 모델도 생성형일 수 있습니다.
Google 삽입형 모뎀 시스템 (GEMS)
GEMS는 모뎀을 타겟팅하는 삽입된 소프트웨어 프레임워크와 함께 제공되는 개발 워크플로 및 인프라 집합입니다. GEMS의 핵심 비전은 모뎀이 포함된 여러 Google 기기에서 재사용성이 높은 고품질 모뎀 시스템 코드를 제공하는 것입니다. 이러한 광범위한 비전을 달성하기 위해 GEMS는 아래에 묘사된 주요 구성요소로 구성된 포괄적인 개발자 환경을 제공합니다.
그라데이션
모든 독립 변수를 기준으로 한 편미분의 벡터입니다. 머신러닝에서 경사는 모델 함수의 편미분 벡터입니다. 경사는 가장 급격한 상승 방향을 가리킵니다.
그래프
생성형 AI의 맥락에서 그래프는 노드와 에지의 네트워크로 데이터를 구성하고 연결하는 정보의 구조화된 표현을 의미합니다. 이러한 그래프는 엔티티 간의 지식과 관계를 나타내는 데 자주 사용되므로 데이터 내 컨텍스트와 관계를 심층적으로 이해해야 하는 생성형 AI 시스템에 특히 유용합니다. 지식 그래프를 활용하는 GenAI 시스템은 이를 활용하여 검색 모델의 성능을 개선할 수 있습니다. 지식 그래프를 시스템에 통합하면 생성형 AI는 컨텍스트가 풍부한 데이터에 액세스하고 그래프를 탐색하여 사용자 쿼리를 기반으로 관련 하위 그래프를 검색할 수 있습니다. 이를 통해 시스템은 맥락과 관련된 콘텐츠를 생성하여 더 정확하고 유익한 대답을 제공할 수 있습니다.
정답 (GT)
실측값은 일부 시스템의 추정치가 아닌 일부 결정 또는 측정 문제의 절대적 진실을 나타내는 데 다양한 분야에서 사용되는 용어입니다. 머신러닝에서 '정답'이라는 용어는 지도 학습 기법의 학습 세트를 나타냅니다.
환각
생성형 AI의 할루시네이션은 학습 데이터에 기반할 수 없는 AI의 확신에 찬 대답입니다. 사실과 다를 수 있습니다. 텍스트 생성의 맥락에서, 생성된 텍스트 콘텐츠 내에 그럴듯하게 들리는 무작위 거짓말입니다.
휴리스틱
문제에 대한 간단하고 빠르게 구현할 수 있는 해결책입니다. 예를 들어 "휴리스틱을 통해 86% 의 정확성을 실현했습니다. 심층신경망으로 전환한 후 정확성이 최대 98%로 향상되었습니다."
숨겨진 레이어
신경망에서 입력 레이어 (특성)와 출력 레이어 (예측) 사이에 있는 레이어입니다. 각 숨겨진 레이어는 하나 이상의 뉴런으로 구성됩니다. 심층신경망에는 히든 레이어가 2개 이상 포함되어 있습니다.
히스토그램
막대를 사용하여 데이터 세트의 변형을 그래픽으로 표시하는 방법입니다. 히스토그램은 숫자를 포함하는 간단한 테이블에서 감지하기 어려운 패턴을 시각화합니다.
초매개변수
초매개변수는 머신러닝 모델의 학습 프로세스를 제어하는 변수를 의미합니다. 이러한 변수에는 학습률, 옵티마이저의 모멘텀 값, 모델의 마지막 히든 레이어의 단위 수가 포함될 수 있습니다. Vertex AI의 초매개변수 조정은 지정된 한도 내에서 선택한 초매개변수의 값을 다르게 사용하여 학습 애플리케이션을 여러 번 실행하는 것을 말합니다. 목표는 초매개변수 설정을 최적화하여 모델의 예측 정확성을 극대화하는 것입니다. 자세한 내용은 초매개변수 조정 개요를 참고하세요.
Imagen
Imagen은 Vertex AI 플랫폼을 통해 제공되는 텍스트 이미지 생성형 AI 서비스입니다. 이를 통해 사용자는 새로운 이미지를 생성하거나, 이미지를 수정하거나, 스타일 또는 피사체 모델을 미세 조정하거나, 이미지에 캡션을 추가하거나, 이미지 콘텐츠에 관한 질문에 대한 답변을 얻을 수 있습니다. 자세한 내용은 Vertex AI의 Imagen 개요를 참고하세요.
이미지 인식
이미지 인식은 이미지에서 객체, 패턴 또는 개념을 분류하는 프로세스입니다. 이미지 분류라고도 합니다. 이미지 인식은 머신러닝 및 컴퓨터 비전의 하위 분야입니다.
색인
유사성 검색을 위해 함께 배포된 벡터 모음입니다. 벡터를 색인에 추가하거나 색인에서 삭제할 수 있습니다. 유사성 검색 쿼리는 특정 색인에 대해 실행되고 해당 색인의 벡터를 검색합니다.
추론
Vertex AI 플랫폼의 맥락에서 추론은 머신러닝 모델을 통해 데이터 포인트를 실행하여 단일 숫자 점수와 같은 출력을 계산하는 프로세스를 의미합니다. 이 프로세스를 가리켜 '머신러닝 모델을 운용'하거나 '머신러닝 모델을 프로덕션에 배치'한다고도 말합니다. 추론은 모델을 사용하여 새 데이터를 예측할 수 있게 하므로 머신러닝 워크플로에서 중요한 단계입니다. Vertex AI에서는 일괄 예측 및 온라인 예측을 비롯한 다양한 방법으로 추론을 실행할 수 있습니다. 일괄 예측은 일련의 예측 요청을 실행하고 결과를 하나의 파일에 출력하는 반면, 온라인 예측은 개별 데이터 포인트에 대한 실시간 예측을 허용합니다.
정보 검색 (IR)
정보 검색 (IR)은 Vertex AI Search의 핵심 구성요소입니다. 대규모 데이터 모음에서 관련 정보를 찾고 검색하는 프로세스입니다. Vertex AI의 맥락에서 IR은 사용자의 쿼리를 기반으로 코퍼스에서 문서를 검색하는 데 사용됩니다. Vertex AI는 자체 검색 증강 생성 (RAG) 애플리케이션을 빌드하거나 자체 검색엔진을 빌드하는 데 도움이 되는 API 모음을 제공합니다. 자세한 내용은 RAG 엔진을 사용하여 Vertex AI Search를 검색 백엔드로 사용을 참고하세요.
학습률 (단계 크기)
학습률은 머신러닝 모델의 최적화 프로세스를 조정하는 데 사용되는 초매개변수입니다. 학습 중에 모델이 가중치를 업데이트하는 보폭을 결정합니다. 학습률이 높을수록 수렴 속도가 빨라질 수 있지만 불안정하거나 과적합이 발생할 수 있습니다. 반대로 학습률이 낮을수록 수렴 속도가 느려질 수 있지만 과적합을 방지하는 데 도움이 될 수 있습니다(출처 없음). 자세한 내용은 초매개변수 조정 개요를 참고하세요.
손실 (비용)
지도 학습 모델을 학습하는 동안 모델의 예측이 라벨에서 얼마나 벗어났는지 나타내는 척도입니다. 손실 함수는 손실을 계산합니다.
관리형 데이터 세트
Vertex AI에서 생성되고 호스팅되는 데이터 세트 객체입니다.
model
선행 학습 여부에 관계없이 모든 모델입니다. 일반적으로 입력 데이터를 처리하고 출력을 반환하는 모든 수학적 구성입니다. 달리 말해 모델은 시스템이 예측을 수행하는 데 필요한 매개변수 및 구조의 집합입니다.
모델 정제 (지식 정제, 교사-학생 모델)
모델 증류는 더 작은 스튜던트 모델이 더 큰 티처 모델에서 학습할 수 있는 기술입니다. 학생 모델은 교사 모델의 출력을 모방하도록 학습되며, 이후 새 데이터를 생성하거나 예측하는 데 사용할 수 있습니다. 모델 증류는 대규모 모델을 더 효율적으로 만들거나 리소스가 제한된 기기에서 더 쉽게 액세스할 수 있도록 하는 데 자주 사용됩니다. 또한 오버피팅을 줄여 모델의 일반화를 개선하는 데 사용할 수 있습니다.
모델 리소스 이름
model의 리소스 이름은 다음과 같습니다. projects/<PROJECT_ID>/locations/<LOCATION_ID>/models/<MODEL_ID>. Cloud 콘솔의 'Model Registry' 페이지에서 모델 ID를 찾을 수 있습니다.
네트워크 파일 시스템 (NFS)
사용자가 네트워크를 통해 파일에 액세스하고 로컬 파일 디렉터리에 있는 것처럼 처리할 수 있는 클라이언트/서버 시스템입니다.
원-핫 인코딩
원-핫 인코딩은 가능한 값의 유한집합을 갖는 문자열 또는 식별자를 표현하는 데 널리 사용됩니다. 자세한 내용은 카테고리 데이터: 어휘 및 원-핫 인코딩을 참고하세요.
원샷 프롬프트
대규모 언어 모델이 어떻게 응답해야 하는지 보여주는 예시가 하나 포함된 프롬프트입니다. 자세한 내용은 일회성 프롬프트를 참고하세요.
매개변수
매개변수는 실행을 구성하고, 실행 동작을 조정하고, 실행 결과에 영향을 주는 키가 지정된 입력 값입니다. 예를 들어 학습률, 드롭아웃 비율, 학습 단계 수가 있습니다.
perplexity
혼동도는 언어 모델의 성능을 평가하는 데 사용되는 측정항목입니다. 학습된 텍스트의 분포를 기반으로 모델이 특정 텍스트 시퀀스를 생성할 가능성을 측정합니다. 혼동도는 언어 모델을 평가하는 데 일반적으로 사용되는 측정항목으로, 여러 모델의 성능을 비교하거나 학습 중에 모델의 진행 상황을 추적하는 데 자주 사용됩니다.
파이프라인 작업 또는 파이프라인 실행은 Vertex AI API의 PipelineJob 리소스에 해당합니다. 입력-출력 종속 항목으로 상호 연결된 ML 태스크 집합으로 정의되는 ML 파이프라인 정의의 실행 인스턴스입니다.
파이프라인 실행
하나 이상의 Vertex PipelineJob이 각 파이프라인이 단일 실행으로 표시되는 실험과 연결될 수 있습니다. 이 컨텍스트에서 실행 매개변수는 PipelineJob의 매개변수에 의해 추론됩니다. 측정항목은 해당 PipelineJob에서 생성된 system.Metric 아티팩트에서 추론됩니다. 실행 아티팩트는 해당 PipelineJob에서 생성된 아티팩트에서 추론됩니다.
비공개 서비스 액세스
비공개 서비스 액세스는 Virtual Private Cloud (VPC) 네트워크와 Google 또는 서드 파티 서비스 제공업체 소유 네트워크 간의 비공개 연결입니다. VPC 네트워크의 가상 머신 (VM) 인스턴스가 공개 인터넷에 노출되지 않고도 내부 IP 주소를 사용하여 이러한 서비스와 통신할 수 있습니다. 자세한 내용은 비공개 서비스 액세스를 참조하세요.
프롬프트
프롬프트는 응답을 받기 위해 언어 모델에 제출되는 자연어 요청입니다. 프롬프트에는 완료하거나 계속할 모델에 대한 질문, 안내, 문맥 정보, 퓨샷 예시, 부분 입력이 포함될 수 있습니다. 사용되는 모델 유형에 따라 모델에서 프롬프트를 수신한 후 텍스트, 임베딩, 코드, 이미지, 동영상, 음악 등을 생성할 수 있습니다. 자세한 내용은 프롬프트 전략 개요를 참고하세요.
프롬프트 엔지니어링 (프롬프트 설계)
생성형 AI의 프롬프트 엔지니어링은 대규모 언어 모델 (LLM)에서 원하는 출력을 유도하는 효과적인 프롬프트를 만드는 프로세스입니다. 이는 특정 결과를 달성하기 위해 입력을 미세 조정하는 데 중점을 둔 반복적인 테스트 주도 프로세스입니다. 이를 위해서는 정확하고 양질의 대답을 얻기 위해 프롬프트의 콘텐츠와 구조를 모두 고려해야 합니다. 간단한 태스크에는 필요하지 않더라도 복잡한 태스크에는 효과적인 프롬프트 엔지니어링이 매우 중요합니다. 목표는 LLM 기반 애플리케이션의 프로토타입을 빠르게 만드는 것입니다. 자세한 내용은 프롬프트 엔지니어링 소개를 참고하세요.
프롬프트 조정
프롬프트 조정은 특정 태스크에서 생성형 AI 모델의 성능을 개선하는 데 사용되는 매개변수 효율적인 미세 조정 방법입니다. 실제 프롬프트 앞에 추가되는 '접두사'를 학습하는 것을 말하며, 경우에 따라 모든 레이어에서 학습합니다. 이 접근 방식은 다른 조정 방법보다 비용이 저렴하고 빠르며 좋은 결과를 얻을 수 있는 경우가 많습니다. 프롬프트 조정은 특정 작업이 있고 모델이 특정 방식으로 이를 실행하도록 하려는 경우에 특히 효과적입니다. 프롬프트 학습 또는 매개변수 효율적인 (미세) 조정이라고도 합니다. 자세한 내용은 프롬프트 엔지니어링 소개를 참고하세요.
프로비저닝된 처리량 (PT)
프로비저닝된 처리량 (PT)은 Vertex AI의 생성형 AI 모델을 위한 프리미엄 서비스로, 용량 보장 및 예측 가능한 가격 책정을 통해 보장된 환경을 제공합니다. 일회성 요금 (주문형) 옵션과 달리 PT를 사용하면 고객이 전용 할당량을 구매할 수 있으므로 모델 용량을 다른 요청과 경쟁하지 않아도 됩니다. PT는 지정된 모델 및 위치의 처리량을 예약하는 고정 가격 월간 또는 주간 구독입니다. 자세한 내용은 프로비저닝된 처리량 개요를 참고하세요.
quantization
양자화는 모델 매개변수를 나타내는 데 사용되는 숫자의 정밀도를 줄이는 데 사용되는 모델 최적화 기법입니다. 이렇게 하면 모델 크기가 줄고 전력 소모가 줄며 추론 지연 시간이 단축될 수 있습니다.
랜덤 포레스트
랜덤 포레스트는 분류와 회귀에 모두 사용되는 머신러닝 알고리즘입니다. 직접적인 생성형 AI 모델은 아니지만 더 큰 생성형 AI 시스템 내에서 사용할 수 있는 구성요소입니다. 랜덤 포리스트는 여러 결정 트리로 구성되며, 예측은 이러한 개별 트리의 예측을 집계한 것입니다. 예를 들어 분류 작업에서 각 트리는 클래스에 '투표'하고 최종 예측은 투표 수가 가장 많은 클래스입니다. 자세한 내용은 결정 트리를 참고하세요.
Vertex AI의 Ray 클러스터
Vertex AI의 Ray 클러스터는 분산형 머신러닝 (ML) 및 Python 애플리케이션을 실행하는 데 사용할 수 있는 컴퓨팅 노드의 관리형 클러스터입니다. ML 워크플로에 대해 분산형 계산과 병렬 처리를 수행하기 위한 인프라를 제공합니다. Ray 클러스터는 성수기나 중요한 ML 워크로드에 대해 용량 가용성을 보장하기 위해 Vertex AI에 내장되어 있습니다. 학습 서비스가 작업 완료 후에 리소스를 해제하는 커스텀 작업과 달리 Ray 클러스터는 삭제될 때까지 계속 사용 가능합니다. 자세한 내용은 Vertex AI 기반 Ray 개요를 참고하세요.
Vertex AI 기반 Ray (RoV)
Vertex AI용 Ray는 같은 오픈소스 Ray 코드를 사용하여 최소한의 변경만으로 Vertex AI에서 프로그램을 작성하고 애플리케이션을 개발할 수 있도록 설계되었습니다. 자세한 내용은 Vertex AI 기반 Ray 개요를 참고하세요.
Python용 Vertex AI SDK의 Ray
Python용 Vertex AI SDK의 Ray는 Ray 클라이언트, Ray BigQuery 커넥터, Vertex AI 기반 Ray 클러스터 관리, Vertex AI 기반 예측 기능이 포함된 Python용 Vertex AI SDK 버전입니다. 자세한 내용은 Python용 Vertex AI SDK 소개를 참고하세요.
재현율
색인에서 반환한 실제 최근접 이웃의 비율입니다. 예를 들어 최근접 이웃 20개에 대한 최근접 이웃 쿼리에서 최근접 이웃 '정답'을 19개 반환하면 재현율은 19/20x100 = 95%가 됩니다.
추천 시스템
추천 시스템은 사용자가 대규모 코퍼스에서 매력적인 콘텐츠를 찾을 수 있도록 도와주는 머신러닝 기반 시스템입니다. 잠재적으로 방대한 자료에서 더 작은 후보 하위 집합을 생성하고, 후보의 점수를 매기고 순위를 매긴 후 추가 제약 조건을 고려하여 최종 순위를 다시 매깁니다. 자세한 내용은 추천 시스템 개요를 참고하세요.
정규화
정규화는 머신러닝 모델에서 과적합을 방지하는 데 사용되는 기법입니다. 과적합은 모델이 학습 데이터를 너무 잘 학습하여 확인되지 않은 데이터에서 성능이 저하되는 경우 발생합니다. 언급된 정규화의 한 가지 유형은 조기 중단으로, 검증 데이터 세트의 손실이 증가하기 시작하여 일반화 성능이 저하되기 전에 학습이 중단됩니다. 자세한 내용은 오버피팅: L2 정규화를 참고하세요.
서비스 계정
Google Cloud에서 서비스 계정은 사람이 아닌 애플리케이션 또는 가상 머신(VM) 인스턴스에서 사용하는 특별한 유형의 계정입니다. 애플리케이션은 서비스 계정을 사용하여 승인된 API 호출을 만듭니다.
서비스 에이전트
서비스 에이전트는 Google 관리 서비스 계정을 나타냅니다. 서비스에 다른 서비스에서 만든 리소스에 대한 액세스가 필요한 경우에 사용됩니다. 예를 들어 Dataflow 또는 Dataproc 서비스가 런타임 중에 인스턴스를 만들어야 하는 경우 또는 Cloud 함수가 키 관리 서비스 (KMS)를 사용하여 Cloud 함수를 보호하려는 경우입니다. 서비스 에이전트는 서비스에 필요할 때 Google Cloud에서 자동으로 생성됩니다. 일반적으로 리소스에 대한 액세스를 관리하고 서비스를 대신하여 다양한 작업을 실행하는 데 사용됩니다. 자세한 내용은 서비스 에이전트를 참조하세요.
요약 측정항목
요약 측정항목은 실험 실행의 각 측정항목 키에 대한 단일 값입니다. 예를 들어 실험의 테스트 정확도는 학습 종료 시점에 테스트 데이터 세트를 기준으로 계산된 정확도로서 단일 값 요약 측정항목으로 캡처될 수 있습니다.
텐서보드
텐서보드는 TensorFlow 실행 및 모델을 시각화하고 이해할 수 있는 웹 애플리케이션 모음입니다. 자세한 내용은 텐서보드를 참조하세요.
텐서보드 인스턴스
텐서보드 인스턴스는 프로젝트와 연결된 Vertex AI TensorBoard 실험을 저장하는 리전별 리소스입니다. 예를 들어 CMEK가 사용 설정된 인스턴스를 여러 개 만들려는 경우 프로젝트에서 여러 개의 텐서보드 인스턴스를 만들 수 있습니다. 이는 API의 텐서보드 리소스와 동일합니다.
텐서보드 리소스 이름
텐서보드 리소스 이름은 Vertex AI 텐서보드 인스턴스를 완전히 식별하는 데 사용됩니다. 형식은 projects/PROJECT_ID_OR_NUMBER/locations/REGION/tensorboards/TENSORBOARD_INSTANCE_ID입니다.
타임스탬프
타임스탬프는 동영상의 시작을 기준으로 합니다.
시계열 측정항목
시계열 측정항목은 세로 측정항목 값이며, 각 값은 실행의 학습 루틴 부분에서 단계를 나타냅니다. 시계열 측정항목은 Vertex AI 텐서보드에 저장됩니다. Vertex AI Experiments는 Vertex TensorBoard 리소스에 대한 참조를 저장합니다.
토큰
언어 모델의 토큰은 모델이 학습하고 예측을 수행하는 원자 단위, 즉 단어, 형태소, 문자입니다. 언어 모델 외부의 도메인에서 토큰은 다른 종류의 원자 단위를 나타낼 수 있습니다. 예를 들어 컴퓨터 비전에서 토큰은 이미지의 하위 집합일 수 있습니다. 자세한 내용은 토큰 목록 및 개수를 참고하세요.
trajectory
'궤적'은 상담사 또는 모델이 취하는 일련의 단계 또는 작업을 의미합니다. 생성형 모델의 평가에 자주 사용되며, 여기서 모델의 텍스트, 코드 또는 기타 콘텐츠 생성 능력이 평가됩니다. 생성형 모델을 평가하는 데 사용할 수 있는 여러 유형의 궤적 측정항목이 있습니다. 여기에는 궤적 정확히 일치, 궤적 순서 일치, 궤적 임의 순서 일치, 궤적 정확도가 포함됩니다. 이러한 측정항목은 모델의 출력과 사람이 생성한 참조 출력 간의 유사성을 측정합니다.
Transformer
'Transformer'는 대부분의 최신 생성형 모델의 기반이 되는 신경망 아키텍처입니다. 번역을 비롯한 다양한 언어 모델 애플리케이션에 사용됩니다. 트랜스포머는 인코더와 디코더로 구성됩니다. 인코더는 입력 텍스트를 중간 표현으로 변환하고 디코더는 이를 유용한 출력으로 변환합니다. 자체 주목 메커니즘을 사용하여 처리 중인 단어를 둘러싼 단어에서 맥락을 수집합니다. 변환기를 학습하려면 상당한 리소스가 필요하지만 특정 애플리케이션에 맞게 사전 학습된 변환기를 미세 조정하는 것이 더 효율적입니다.
트랜스포머 강화 학습
트랜스포머 강화 학습 (TRL)은 생성 작업을 위한 트랜스포머 기반 모델을 학습하는 데 강화 학습 (RL) 기법을 적용하는 것을 의미합니다. 이 접근 방식은 일관성, 안전성, 민감성 등 바람직한 품질에 대한 명시적 최적화 없이 다음 토큰 예측을 기반으로 학습되는 기존 생성형 모델의 한계를 해결합니다. TRL은 RL을 사용하여 복잡한 목표에 관한 언어 모델을 직접 최적화하며, 종종 인간 피드백 (RLHF)을 통합하여 학습 프로세스를 안내합니다. 예를 들어 보상 모델을 사용하여 유해성이 낮은 콘텐츠를 생성하도록 모델을 미세 조정하고 TRL을 사용하여 생성형 모델인 Gemma를 미세 조정하는 경우가 있습니다. 자세한 내용은 Hugging Face DLC: Vertex AI에서 Transformer 강화 학습 (TRL)을 사용하여 Gemma 미세 조정을 참고하세요.
참양성
'참양성'은 모델이 양성 클래스를 올바르게 식별하는 예측을 의미합니다. 예를 들어 재킷을 구매할 고객을 식별하도록 모델을 학습시킨 경우 참양성은 고객이 재킷을 구매할 것이라고 올바르게 예측하는 것입니다.
유효성 검사
검증은 검증 세트를 기준으로 모델의 예측 품질을 확인합니다. 여기에는 생성된 콘텐츠의 품질, 속도, 안내 준수 여부, 안전성을 측정하기 위한 측정항목을 정의하는 것이 포함됩니다. 검증은 라벨이 지정된 데이터 (입력 프롬프트 및 예상 출력)를 사용하여 모델의 예측을 정답과 비교하는 경우가 많습니다. F1 점수 (분류용) 및 ROUGE-L 점수 (요약용)와 같은 측정항목이 사용될 수 있습니다. 이 프로세스에는 견고성을 보장하기 위한 특이 사례 및 비정상 시나리오 테스트도 포함됩니다. 배포된 모델의 경우 일반적인 데이터 포인트와 특이 사례를 지속적으로 모니터링하고 캡처하면 향후 검증 작업을 개선하는 데 도움이 됩니다.
벡터
벡터는 입력 간의 관계를 캡처하는 텍스트, 이미지 또는 동영상의 수치적 표현을 의미합니다. 머신러닝 모델은 대규모 데이터 세트 내에서 패턴을 식별하여 임베딩을 생성하는 데 적합합니다. 애플리케이션은 임베딩을 사용하여 언어를 처리하고 생성하여 콘텐츠만의 특징적인 복잡한 의미와 의미 관계를 인식할 수 있습니다. 자세한 내용은 임베딩 API 개요를 참고하세요.
Vertex AI 실험
Vertex AI Experiments를 사용하면 다음을 추적할 수 있습니다. 1. 실험 실행 단계 (예: 전처리 및 학습) 2. 입력 (예: 알고리즘, 매개변수, 데이터 세트) 3. 이러한 단계의 출력 (예: 모델, 체크포인트, 측정항목)
Vertex AI Model Registry
Vertex AI Model Registry는 ML 모델의 수명 주기를 관리할 수 있는 중앙 저장소입니다. Vertex AI Model Registry에서 모델 개요가 제공되므로 새 버전을 더욱 효과적으로 구성, 추적하고 학습시킬 수 있습니다. 배포할 모델 버전이 있는 경우 레지스트리에서 직접 모델을 엔드포인트에 할당하거나 별칭을 사용하여 엔드포인트에 배포할 수 있습니다. 자세한 내용은 Vertex AI 모델 레지스트리 소개를 참고하세요.
동영상 세그먼트
동영상 세그먼트는 동영상의 시작 및 종료 타임스탬프로 식별됩니다.
Virtual Private Cloud(VPC)
Virtual Private Cloud는 퍼블릭 클라우드 환경에서 할당되는 구성 가능한 공유 컴퓨팅 리소스의 주문형 풀로, 이러한 리소스를 사용하는 여러 조직 간에 격리 수준을 제공합니다.
단어 임베딩
단어 임베딩은 단어를 부동 소수점 값의 밀집 벡터로 표현하는 방법입니다. 이를 통해 유사한 단어의 인코딩이 유사해집니다. 단어 임베딩은 생성형 AI에서 단어 간의 관계를 포착하고 소스 없이 새 텍스트나 코드를 생성하는 데 자주 사용됩니다. 생성형 AI에서 단어 임베딩은 새로운 텍스트나 코드를 생성할 수 있는 모델을 학습하는 데 사용할 수 있습니다. 생성형 AI 모델은 단어 간의 관계를 이해하여 일관되고 관련성 있는 새로운 콘텐츠를 만들 수 있습니다.
제로샷 프롬프트 (직접 프롬프트)
생성형 AI에서 제로샷 프롬프트는 추가 학습이나 예시 없이 대규모 언어 모델 (LLM)이 태스크를 실행할 수 있는 프롬프트입니다. 이는 모델에 입력 및 출력 예시를 제공하는 퓨샷 프롬프트와 같은 방법과 대조됩니다. 제로 샷 프롬프트는 모델의 기존 지식에만 의존하여 응답을 생성합니다. 자세한 내용은 제로 샷 프롬프트를 참고하세요.
