Dataprep by Trifacta
지능형 데이터 준비
새로운 소식


서버리스의 단순함
Dataprep은 Trifacta에서 운영하는 통합 파트너 서비스이며 업계 최고의 데이터 준비 솔루션을 기반으로 합니다. Google은 Trifacta와 긴밀하게 협력하여 소프트웨어를 미리 설치할 필요가 없고 별도의 라이선스 비용이나 지속적인 운영 오버헤드가 발생하지 않는 원활한 사용자 환경을 제공합니다. 완전 관리형 서비스인 Dataprep은 준비할 데이터 양에 따라 확장되므로 사용자는 분석에만 집중할 수 있습니다.
빠른 탐색 및 이상 감지
데이터 분포를 시각적으로 파악하여 즉시 데이터를 이해하고 탐색할 수 있습니다. Dataprep은 자동으로 스키마와 데이터 유형, 잠재적 조인을 인식하고 값의 누락 또는 이상점, 중복 등과 같은 이상 내역을 감지합니다. 따라서 시간 소모가 큰 데이터 품질 평가를 건너뛰고 바로 데이터 탐색 및 분석을 시작할 수 있습니다.
쉽고 효과적인 데이터 준비
Dataprep은 UI의 각 동작으로 가장 이상적인 데이터 변환을 자동으로 제안하고 예측해 줍니다. 변환 시퀀스를 정의하면 Dataprep에서 내부적으로 Dataflow 또는 BigQuery를 사용하여 코드 없이 클릭만으로 간편하게 구조화되거나 구조화되지 않은 모든 규모의 데이터 세트를 처리할 수 있도록 해줍니다.
Dataprep의 장점
Starter, Professional, Enterprise 버전
예측 변환
Dataprep은 독점 추론 알고리즘을 사용해 사용자가 선택한 데이터의 데이터 변환 인텐트를 해석합니다. 일치시킬 선택 항목의 순위가 지정된 제안 집합 및 패턴을 자동으로 생성합니다.
다양한 변환
수백 개의 변환 기능을 활용해 데이터를 원하는 애셋으로 만드세요. 한 번의 클릭만으로 집계, 피벗, 피벗 해제, 조인, 통합, 추출, 계산, 비교, 조건 추가, 병합, 정규 표현식 등의 기능을 적용하세요.
최적화된 처리량
Dataprep은 데이터를 최대한 빠르게 변환할 수 있는 최적의 기본 Google Cloud 처리 엔진을 자동으로 선택합니다. Dataprep은 데이터 지역 및 볼륨을 기준으로 BigQuery(인플레이스 ELT 변환)를 활용하여 데이터, Dataflow 또는 Dataprep의 소규모 메모리 내 엔진을 준비합니다.
활성 프로파일링
대화형 시각적 데이터 분포를 사용하여 데이터를 확인하고 탐색함으로써 데이터 검색, 정리, 변환에 도움이 됩니다. 시각적 표현을 통해 대규모 데이터의 해석이 용이해지고, Dataprep의 혁신적인 프로파일링 기법을 활용하여 중요한 통계 정보를 사용하기 쉬운 동적 형식으로 시각화할 수 있습니다.
데이터 품질 규칙
데이터 품질 규칙은 데이터의 정확도, 완전성, 일관성, 유효성, 고유성을 모니터링 및 조정할 수 있도록 데이터 품질 지표를 제시하며 데이터의 깨끗한 정도를 포괄적으로 볼 수 있도록 합니다.
공동작업
팀 환경에서는 여러 사용자가 동일한 애셋에 대해 작업할 수 있도록 하거나 좋은 품질의 작업을 사본으로 만들어 다른 사용자에게 템플릿으로 제공하면 유용합니다. Dataprep에서는 사용자가 동일한 흐름 객체에 대해 실시간으로 공동작업을 수행하거나 다른 사용자들이 독립적으로 작업에 사용할 사본을 만들 수 있습니다.
포괄적인 연결
BigQuery, Cloud Storage, Microsoft Excel, Google 스프레드시트 표준 연결 외에도 Salesforce, Oracle, Microsoft SQL Server, MySQL, PostgreSQL과 같은 수백 개의 데이터 소스로 셀프서비스 분석을 강화할 수 있습니다.
데이터 파이프라인 조정
데이터 준비 작업을 순차적 및 조건부 순서로 연결하여 데이터 준비 작업을 예약하고 자동화합니다. 사용자에게 성공 또는 실패를 알리고 외부 작업(예: Cloud Functions)을 트리거할 수 있습니다. 포괄적인 API를 활용하여 Dataprep을 엔드 투 엔드 솔루션의 일부로 통합할 수 있습니다.
엔터프라이즈 규모 운영화
버전에 걸친 레시피 가져오기/ 내보내기, 흐름 매개변수, Dataflow 또는 BigQuery 커스텀 구성, 성능 조정, 고급 API를 통해 지속적 배포 사례를 채택하여 소프트웨어 개발 수명 주기와 모니터링을 자동화합니다.
일반적인 데이터 유형
메가바이트 단위부터 페타바이트 단위까지 CSV, JSON, 관계형 테이블 형식 또는 모든 크기의 SaaS 애플리케이션 데이터에 저장된 구조화된 또는 구조화되지 않은 데이터 세트를 쉽고 간편하게 변환할 수 있습니다.
패턴 일치
열 형식 패턴 일치를 활용해서 사용자가 관심을 가질 수 있는 데이터 패턴을 식별하고 레시피를 빌드할 때 사용할 수 있도록 인터페이스에 이를 표시합니다. 또한 레시피 단계에서 정규 표현식 또는 Dataprep 패턴을 적용하여 패턴을 찾아내고 데이터 세트에서 일치하는 데이터를 변환할 수 있습니다.
표준화
맞춤법이나 언어 독립적 발음을 기반으로 한 유사성에 따라 값을 그룹화하고 일관적인 값의 표준화된 클러스터를 생성합니다.
샘플링
성능 최적화를 위해 Dataprep에서는 클라이언트 애플리케이션에서 표시 및 조작할 수 있는 하나 이상의 데이터 샘플이 자동으로 생성됩니다. 하지만 샘플 크기, 샘플 범위, 샘플 생성 방법을 쉽게 변경할 수 있습니다.
고급 보안
액세스를 확인할 수 있도록 Google IAM 역할과 BigQuery, Cloud Storage, Google 스프레드시트 액세스 권한의 조합을 사용하여 개별 데이터 액세스 제어를 제공하여 현재 보안 표준을 확장합니다.
Dataprep ELT 파이프라인 아키텍처
'유연한 Dataprep 덕분에 새로운 데이터 세트를 빠르게 탐색하고 모든 데이터 변환 요구를 지원할 수 있습니다. Merkle에서는 데이터 준비 작업이 몇 시간이나 며칠이 아닌 단 몇 분 만에 완료되면서 데이터 준비 시간이 90%나 단축되었습니다.'
헨리 컬버, Merkle IT 설계자
사례 읽어보기고객 사례
리소스
-
Dataprep 빠른 시작으로 시작하기
-
Dataprep 제품 공지 및 업데이트
-
Stack Overflow에서 다른 Dataprep 사용자와 소통하기
-
Dataprep by Trifacta FAQTrifecta가 보안, 개인정보 보호, 데이터 보호 규정을 준수하는 방식 알아보기
-
Cloud Functions로 파일 도착 시 Dataprep 파이프라인 자동화
-
Dataprep 사용자 주도형 실습 작업
-
BigQuery ML, Dataprep, Cloud Composer를 통한 ML 자동화
-
마케팅 데이터 웨어하우스 구축
-
IoT 코어 데이터를 Dataprep으로 스트리밍하는 방법
가격 책정
Google Cloud Marketplace에서 가격 책정 페이지를 참조하세요.
$300의 무료 크레딧과 20여 개의 항상 무료 제품으로 Google Cloud에서 빌드하세요.
다음 프로젝트를 시작하고 대화형 튜토리얼을 살펴보며 계정을 관리하세요.