SQL을 사용하여 BigQuery에서 확장 가능한 데이터 변환 파이프라인을 개발하고 운용하세요.
BigQuery에서 선별되고 신뢰할 수 있으며 문서화된 최신 테이블 개발
데이터 분석가와 데이터 엔지니어가 동일한 저장소에서 공동작업
SQL을 사용하여 BigQuery에서 확장 가능한 데이터 파이프라인 빌드
GitHub 및 GitLab과 통합
인프라를 관리할 필요 없이 테이블 업데이트
이점
추가 종속 항목 없이 단일 환경의 SQL을 사용하여 BigQuery에서 확장 가능한 데이터 파이프라인을 개발하고 운용하세요.
데이터팀은 Dataform을 통해 버전 제어, 환경, 테스트, 문서와 같은 소프트웨어 엔지니어링 권장사항에 따라 SQL 코드 및 데이터 애셋의 정의를 관리합니다.
Dataform은 SQL 파이프라인 빌드의 복잡성을 추상화합니다. 데이터 분석가는 SQL을 사용하여 종속 항목을 관리하고, 데이터 품질 테스트를 구성하고, 복잡한 파이프라인을 조정할 수 있습니다.
주요 특징
Dataform Core를 사용하면 데이터 엔지니어와 데이터 분석가가 SQL을 사용해 단일 저장소에서 중앙에서 테이블 정의를 생성하고, 종속 항목을 구성하고, 열 설명을 추가하고, 데이터 품질 어설션을 구성할 수 있습니다.
Dataform Core 함수는 기존 코드를 수정하지 않고 점진적이고 추가적으로 채택할 수 있습니다.
Dataform Core는 오픈소스이며 로컬에서 사용할 수 있어 사용자가 종속되지 않고 고급 사용 사례를 위한 유연성을 확보할 수 있습니다.
Dataform은 테이블 간의 종속 항목에 따라 최신 버전의 코드를 사용하여 테이블을 업데이트하도록 운영 인프라를 처리합니다. Dataform 통합을 통해 계보 및 데이터 정보를 원활하게 추적할 수 있습니다. SQL 워크플로를 수동으로 트리거하거나 Cloud Composer, Workflows 또는 타사 서비스를 통해 예약하세요.
웹브라우저를 종료하지 않고도 단일 인터페이스에서 몇 분 만에 테이블을 정의하고 실시간 오류 메시지로 문제를 해결하고 종속 항목을 시각화하고 변경사항을 Git에 커밋하고 파이프라인을 예약합니다. GitHub 및 GitLab과 같은 타사 제공업체와 저장소를 연결합니다. 변경사항을 커밋하고 IDE에서 pull 요청을 푸시하거나 여세요.
문서