콘텐츠로 이동하기
데이터 분석

새로운 BigQuery 접근자를 사용한 Pandas에서의 제로샷 예측

2026년 11월 16일
Shenyang Cai

Senior Software Engineer

Google Cloud 사용해 보기

$300의 무료 크레딧과 20개 이상의 항상 무료인 제품으로 Google Cloud 사용을 시작해보세요.

무료 체험

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.


예측과 분류부터 고차원 임베딩 생성에 이르기까지, 고급 머신러닝 워크플로를 익숙한 Pandas DataFrame에서 바로 실행할 수 있다고 상상해 보세요. BigQuery DataFrames(BigFrames)의 새로운 .bigquery 접근자를 사용하면 이러한 비전을 실현할 수 있습니다. Pandas 내에서 바로 BigQuery의 엔터프라이즈급 AI 함수를 원활하게 호출하여 클라우드 인프라에서 데이터 과학 및 ML 파이프라인을 확장할 수 있습니다.

선형 회귀를 예로 들어 보겠습니다. 기존에는 회귀를 실행해야 하는 Pandas 사용자가 로컬에서 데이터를 추출하고, 특성을 수동으로 선택하고, 다음과 같이 커스텀 scikit-learn 모델을 학습시켜야 했습니다.

로드 중...

이제 .bigquery 접근자를 사용하면 로컬 학습 프로세스를 완전히 건너뛰고 BigQuery의 데이터에 강력한 ai.predict()를 바로 활용할 수 있습니다.

로드 중...

보시다시피 ai.predict()는 단일 함수 호출로 두 개의 Pandas DataFrame에서 직접 회귀 작업을 수행할 수 있으므로 전체 ML 처리가 크게 간소화됩니다.

BigQuery 접근자의 작동 방식

내부적으로 .bigquery 접근자는 BigQuery DataFrames 라이브러리를 사용하여 연산을 Google Cloud에 투명하게 푸시합니다. .ai.predict()와 같은 AI 메서드를 호출할 때는 회귀 연산이 로컬에서 처리되지 않습니다. 대신 Pandas 작업을 Google 표준 SQL로 변환하고, BigQuery 인프라에서 해당 파운데이션 모델(예: TabFM)을 기본적으로 실행하며, 결과를 표준 Pandas DataFrame으로 원활하게 반환합니다. 이를 통해 BigQuery만의 강력한 기능을 사용하여 로컬 데이터 세트를 쉽게 처리할 수 있습니다.

다음 섹션에서는 추가 실행 코드 예시를 자세히 설명합니다. 이 노트북에서도 모든 예시를 확인할 수 있습니다.

환경 설정

이 게시물의 코드 샘플을 실행하기 전에, 다음 역할이 부여된 Google Cloud 프로젝트가 있는지 확인하세요(자세한 내용은 AI 함수 권한 참고).

다음으로 Jupyter 환경에 Pandas와 BigFrames를 설치합니다. AI 접근자를 사용 설정하려면 BigFrames 라이브러리를 가져오고 Google Cloud 프로젝트 ID를 지정하기만 하면 됩니다. 이렇게 하면 이후의 모든 AI 함수 호출이 승인된 프로젝트를 통해 라우팅됩니다.

로드 중...

구성을 마치면 표준 Pandas 객체에서 바로 BigQuery AI 함수를 호출할 수 있습니다.

Pandas Series의 함수

Pandas `Series`에 연결된 AI 함수는 단일 열 입력 시퀀스를 처리할 수 있습니다.

예: AI.EMBED

벡터 임베딩 생성은 많은 최신 NLP 및 시맨틱 검색 파이프라인의 기본 단계입니다. `ai.embed()` 함수를 사용하면 하나의 깔끔한 표현식으로 전체 텍스트 열에 대한 임베딩을 계산할 수 있습니다.

로드 중...

백그라운드에서 BigFrames는 BigQuery에서 처리할 수 있도록 Pandas Series를 변환하고, 출력을 다시 네이티브 Pandas Series로 변환합니다. 개발자의 관점에서 이 워크플로는 전적으로 Pandas 내에서 이루어집니다.

로드 중...

이 작업의 출력은 결과 임베딩 목록이 포함된 네이티브 Pandas `Series` 입니다. BigFrames가 임시 BigQuery 변환, 모델 실행, 최종 데이터 형식 지정을 처리해 주므로 익숙한 Pandas 인터페이스를 벗어날 필요가 없습니다.

예: AI.SIMILARITY

시맨틱 근접성을 계산해야 하는 경우 `ai.similarity()` 함수를 사용하면 Series 요소와 대상 간의 코사인 유사성 점수를 계산할 수 있습니다. 이때 대상은 스칼라 리터럴 문자열 또는 다른 Series일 수 있습니다. 다음은 Pandas `Series`를 스칼라 문자열과 비교하여 일치하는 개념을 찾는 방법입니다.

로드 중...

이와 비슷하게 두 개의 서로 다른 Pandas `Series` 객체 간 쌍별 비교를 수행하여 서로 다른 데이터 세트 간의 시맨틱 상관관계를 찾을 수 있습니다.

로드 중...

두 경우 모두 반환된 객체는 부동 소수점 유사성 점수가 있는 표준 Pandas `Series`이므로 필터링 또는 정렬과 같은 다운스트림 Pandas 메서드와 즉시 호환됩니다.

Pandas DataFrame의 함수

DataFrame AI 함수는 다중 열 정형 테이블을 기반으로 작동하거나 여러 데이터 입력이 포함된 복잡한 프롬프트를 처리합니다.

예: AI.FORECAST

시계열 예측에는 타임스탬프 형식을 지정하고, 항목을 분류하고, 모델을 학습시키기 위한 많은 상용구 코드가 필요합니다. `ai.forecast()` 함수는 그룹화된 정형 데이터 전반에서 간단한 상위 수준 파라미터를 사용하여 시계열 예측을 수행합니다. 이를 확인하기 위해 먼저 과거 판매 데이터를 나타내는 입력 샘플 DataFrame을 준비합니다.

로드 중...

데이터가 준비되면 DataFrame에서 바로 `ai.forecast()`를 호출할 수 있습니다. 여기에서 대상 측정항목, 타임스탬프 열, 그룹화 키, 그리고 3일의 예측 기간을 지정합니다.

로드 중...

반환된 DataFrame은 신뢰 수준이나 예측 구간과 같은 통계적 파라미터와 함께 완전한 예측 값을 제공합니다. 내부적으로는 TimesFM 모델이 작동하여 추세 분석을 수행하며, 그 결과는 깔끔하게 구조화된 형태의 Pandas DataFrame으로 사용자의 로컬 환경에 반환됩니다. 모델 인수를 사용해 모델 버전을 선택할 수도 있습니다. 예를 들어, model="TimesFM 3.0"을 전달하면 현재 BigQuery에서 프리뷰 버전으로 제공되는 최신 TimesFM 모델을 사용할 수 있습니다. 이 모델은 GIFT-Eval, FEV-Bench, TIME 예측 벤치마크에서 1위를 차지하기도 했습니다.

예: AI.IF

자연어 조건으로 행을 필터링하는 것은 가장 일반적인 생성형 AI 작업 중 하나입니다. `ai.if_()` 함수는 리터럴 문자열과 DataFrame 열로 빌드된 프롬프트를 평가하고, 각 행에 대해 True 또는 False를 반환합니다.

로드 중...

`ai.if_()`는 불리언 Series를 반환하므로 `df[df.bigquery.ai.if_(prompt)]`와 같이 Pandas 필터 마스크로 직접 사용할 수 있습니다. `ai.if_()`는 기본적으로 최적화 모드(optimization_mode="minimize_cost")로 실행됩니다. 정제된 로컬 모델이 대부분의 행을 처리하고 나머지만 Gemini로 전송되므로 대규모 데이터 세트에 수반되는 비용과 지연 시간이 줄어듭니다. 대신 모든 행을 LLM으로 전송하려면 `optimization_mode` 를 `"maximize_quality"`로 설정합니다.

시작하기

bigquery 접근자가 제공하는 AI 함수는 기본 데이터 구조 내에서 직접 고급 머신러닝 도구를 활용할 수 있게 해 주므로, 이미 익숙한 Python 생태계를 벗어나지 않고도 복잡한 AI 과제를 해결할 수 있습니다.

현재 지원되는 AI 함수는 다음과 같습니다(자세한 내용은 문서 참고).

Pandas Series

  • embed(): 단일 열에 벡터 임베딩을 생성합니다.

  • generate_embedding(): 테이블에 벡터 임베딩을 생성합니다.

  • generate_table(): 자연어 작업을 수행하고 정형 출력을 생성합니다.

  • generate_text(): 자연어 작업을 수행하고 자유 형식 텍스트를 생성합니다.

  • similarity(): 항목 간의 시맨틱 근접성(코사인 유사도)을 계산합니다.

Pandas DataFrame

  • classify(): 제로샷 분류를 수행합니다.

  • forecast(): TimesFM(새로운 TimesFM 3.0 포함)을 사용하여 그룹화된 데이터 전반에서 시계열 예측을 실행합니다.

  • generate(): 여러 열에서 동적 프롬프트를 평가하여 텍스트 응답을 생성합니다.

  • generate_bool(): 자연어 조건을 평가하고 불리언(True/False)을 반환합니다.

  • generate_double(): 프롬프트를 평가하고 부동 소수점 수를 반환합니다.

  • generate_int(): 프롬프트를 평가하고 정수를 반환합니다.

  • if_(): 자연어 조건에 따라 행을 필터링하며, 기본적으로 최적화된 모드를 사용하여 비용과 지연 시간을 줄입니다.

  • predict(): TabFM을 사용하여 회귀와 같은 예측 모델링을 실행합니다.

  • score(): 사용자가 설명한 채점 시스템을 기반으로 입력의 점수를 매깁니다.

임베딩 생성부터 전체 시계열 예측까지, Pandas 내의 BigQuery AI 함수를 사용하면 머신러닝을 손쉽게 확장할 수 있습니다. 직접 사용해 보면서 어려운 작업을 데이터에게 맡겨 보세요.

게시 위치