이 문서에서는 추출, 로드, 변환(ELT) 또는 추출, 변환, 로드(ETL) 프로세스를 사용하여 BigQuery에서 데이터를 로드하고 변환하는 데이터 통합 접근 방식을 설명합니다. 또한 BigQuery에서 데이터를 내보내 다른 시스템에 인사이트를 적용하는 방법(역방향 ETL)도 설명합니다.
ELT와 ETL 중 결정하기
일반적으로 데이터를 BigQuery에 로드하기 전후에 변환합니다. 기본적으로 데이터를 BigQuery에 로드하기 전에 변환할지(추출-변환-로드(ETL) 접근 방식) 아니면 원시 데이터를 BigQuery에 로드하고 BigQuery를 사용하여 변환할지(추출-로드-변환(ELT) 접근 방식) 결정합니다.
다음 차트는 ELT 또는 ETL을 사용하여 BigQuery로 데이터를 통합하는 다양한 옵션을 보여줍니다.
일반적으로 대부분의 고객에게 ELT 방식을 권장합니다. ELT 워크플로에서는 복잡한 데이터 통합을 추출 및 로드와 이후의 변환이라는 관리 가능한 두 부분으로 분할합니다. 사용자는 필요에 맞는 다양한 데이터 로드 방법을 선택할 수 있습니다. 데이터가 BigQuery에 로드되면 SQL에 익숙한 사용자는 Dataform과 같은 도구를 사용하여 변환 파이프라인을 개발할 수 있습니다.
다음 섹션에서는 각 워크플로를 자세히 설명합니다.
데이터 로드 및 변환
일반적으로 데이터를 BigQuery에 로드하기 전후에 변환합니다. 데이터 통합에 관한 두 가지 일반적인 접근 방식인 ETL과 ELT는 다음 섹션에 설명되어 있습니다.
ELT 데이터 통합 접근 방식
추출-로드-변환(ELT) 접근 방식을 사용하면 두 가지 개별 단계로 데이터 통합을 수행할 수 있습니다.
데이터 추출 및 로드
데이터 변환
예를 들어 JSON 파일 소스에서 데이터를 추출하여 BigQuery 테이블로 로드할 수 있습니다. 그런 다음 파이프라인을 사용하여 필드를 추출하고 대상 테이블로 변환할 수 있습니다.
ELT 접근 방식을 사용하면 다음과 같은 방식으로 데이터 통합 워크플로를 간소화할 수 있습니다.
다른 데이터 처리 도구를 사용할 필요가 없습니다.
종종 복잡한 데이터 통합 프로세스를 관리 가능한 두 부분으로 분할합니다.
BigQuery의 기능을 최대한 활용하여 대규모로 데이터를 준비, 변환, 최적화합니다.
데이터 추출 및 로드
ELT 데이터 통합 접근 방식에서는 데이터 소스에서 데이터를 추출하고 지원되는 외부 데이터를 로드하거나 액세스하는 방법 중 하나를 사용하여 BigQuery로 로드합니다.
BigQuery에서 데이터 변환
데이터를 BigQuery에 로드한 후 다음 도구를 사용하여 데이터를 준비하고 변환할 수 있습니다.
고급 SQL 데이터 변환 파이프라인을 공동으로 빌드, 테스트, 문서화, 예약하려면 Dataform을 사용하세요.
예약된 일정에 따라 SQL 코드, Python 노트북 또는 데이터 준비를 실행하는 소규모 데이터 변환 워크플로의 경우 BigQuery 파이프라인을 사용하세요.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-09-04(UTC)"],[[["\u003cp\u003eThis document outlines data integration methods for BigQuery, including extract, load, and transform (ELT) and extract, transform, and load (ETL).\u003c/p\u003e\n"],["\u003cp\u003eThe ELT approach involves extracting and loading data into BigQuery, then transforming it within the platform, and it eliminates the need for other data processing tools.\u003c/p\u003e\n"],["\u003cp\u003eThe ETL approach involves transforming data before loading it into BigQuery, which is useful if you have existing data transformation processes, or to reduce BigQuery resource usage.\u003c/p\u003e\n"],["\u003cp\u003eBigQuery allows for data to be exported after processing to other systems, which is known as reverse ETL, and supports several methods of export.\u003c/p\u003e\n"],["\u003cp\u003eBigQuery provides tools such as Dataform, workflows, and data preparation for transforming data.\u003c/p\u003e\n"]]],[],null,["# Introduction to loading, transforming, and exporting data\n=========================================================\n\nThis document describes the data integration approaches to load and transform\ndata in BigQuery using the extract, load, and transform (ELT) or the\nextract, transform, load (ETL) processes. It also describes exporting data from\nBigQuery to apply insights in other systems, known as *reverse\nETL*.\n\nDeciding between ELT or ETL\n---------------------------\n\nIt's common to transform your data before or after loading it into\nBigQuery. A fundamental decision is whether to transform the\ndata before loading it into BigQuery (extract-transform-load or ETL\napproach) or load the raw data into BigQuery and perform transformations using\nBigQuery (extract-load-transform or ELT approach).\n\nThe following chart shows the various options for data integration into\nBigQuery - either using ELT or ETL.\n\nIn general, we recommend the ELT approach to most customers. The ELT workflow\nsplits the complex data integration in two manageable parts - extract \\& load, then\ntransform. Users can choose from a variety data load methods\nthat suit their needs. Once their data is loaded into BigQuery,\nusers familiar with SQL can develop transformation pipelines with tools such as\nDataform.\n\nThe following sections describe each workflow in further detail.\n\nLoading and transforming data\n-----------------------------\n\nIt's common to transform your data before or after loading it into\nBigQuery. The two common approaches to data integration, ETL and\nELT, are described in the following sections.\n\n### ELT data integration approach\n\nWith the extract-load-transform (ELT) approach, you perform data integration in\ntwo discrete steps:\n\n- Extract and load data\n- Transform data\n\nFor example, you can extract and load data from a JSON file source into a\nBigQuery table. Then, you can use pipelines to extract and\ntransform fields into target tables.\n\nThe ELT approach can simplify your data integration workflow in the following\nways:\n\n- Eliminates the need for other data processing tools\n- Splits the often complex data integration process into two manageable parts\n- Fully utilizes BigQuery's capabilities to prepare, transform, and optimize your data at scale\n\n#### Extracting and loading data\n\nIn the ELT data integration approach, you extract data from a data source and\nload it into BigQuery using any of the supported\n[methods of loading or accessing external data](/bigquery/docs/loading-data#methods).\n\n#### Transforming data in BigQuery\n\nAfter loading the data into BigQuery, you can prepare and\ntransform the data with the following tools:\n\n- To collaboratively build, test, document, and schedule advanced SQL data transformation pipelines, use [Dataform](/dataform/docs).\n- For smaller data transformation workflows executing SQL code, Python notebooks, or data preparations on a schedule, use [BigQuery pipelines](/bigquery/docs/pipelines-introduction).\n- To clean your data for analysis, use AI-augmented [data preparation](/bigquery/docs/data-prep-introduction).\n\nEach of these tools is powered by the\n[Dataform API](/dataform/reference/rest).\n\nFor more information, see\n[Introduction to transformations](/bigquery/docs/transform-intro).\n\n### ETL data integration approach\n\nIn the extract-transform-load (ETL) approach, you extract and\ntransform data before it reaches BigQuery. This approach is\nbeneficial if you have an existing process in place for data transformation, or\nif you aim to reduce resource usage in BigQuery.\n\n[Cloud Data Fusion](/data-fusion/docs/concepts/overview) can help facilitate your ETL process. BigQuery also works with\n[3rd-party partners that transform and load data into BigQuery](/bigquery/docs/bigquery-ready-partners#etl-data-integration).\n\nExporting data\n--------------\n\nAfter you process and analyze data in BigQuery, you can export\nthe results to apply them in other systems. BigQuery supports the\nfollowing exports:\n\n- Exporting query results to a local file, Google Drive, Google Sheets\n- Exporting tables or query results to Cloud Storage, Bigtable, Spanner, and Pub/Sub\n\nThis process is referred to as reverse ETL.\n\nFor more information, see [Introduction to data export in BigQuery](/bigquery/docs/export-intro).\n\nWhat's next\n-----------\n\n- Learn more about [loading data in BigQuery](/bigquery/docs/loading-data).\n- Learn more about [transforming data in BigQuery](/bigquery/docs/transform-intro).\n- Learn more about [exporting data in BigQuery](/bigquery/docs/export-intro)."]]
