데이터 가져오기 및 내보내기

이 페이지에는 Bigtable에서 데이터 가져오기 및 내보내기를 할 수 있는 방법이 나와 있습니다.

Bigtable로 데이터 가져오기

BigQuery 데이터를 Bigtable로 가져오려면 BigQuery 문서의 Bigtable로 데이터 내보내기 (역방향 ETL)를 참고하세요.

BigQuery 데이터에 연속 쿼리를 실행하고 역방향 ETL을 사용하여 결과를 Bigtable로 실시간 내보낼 수 있습니다. 자세한 내용은 BigQuery 문서의 연속 쿼리 소개를 참고하세요.

템플릿을 사용하여 데이터 이동 또는 복사

다음 Dataflow 템플릿을 사용하여 Bigtable과 다른 소스 또는 대상 간에 데이터를 이동하거나 복사할 수 있습니다.

BigQuery

다음 Dataflow 템플릿을 사용하면 BigQuery에서 Bigtable로 데이터를 내보낼 수 있습니다.

Apache Cassandra to Bigtable

다음 Dataflow 템플릿을 사용하면 Apache Cassandra에서 Bigtable로 데이터를 내보낼 수 있습니다.

Avro 파일

다음 Dataflow 템플릿을 사용하여 Bigtable의 데이터를 Avro 파일로 내보낼 수 있고, 해당 데이터를 다시 Bigtable로 가져올 수 있습니다. Google Cloud CLI 또는 Google Cloud 콘솔을 사용하여 템플릿을 실행할 수 있습니다. 소스 코드는 GitHub에 있습니다.

Parquet 파일

다음 Dataflow 템플릿을 사용하여 Bigtable의 데이터를 Parquet 파일로 내보낸 다음 해당 데이터를 다시 Bigtable로 가져올 수 있습니다. gcloud CLI 또는 Google Cloud 콘솔을 사용하여 템플릿을 실행할 수 있습니다. 소스 코드는 GitHub에 있습니다.

SequenceFiles

다음 Dataflow 템플릿을 사용하여 Bigtable의 데이터를 SequenceFiles로 내보낼 수 있고 해당 데이터를 다시 Bigtable로 가져올 수 있습니다. Google Cloud CLI 또는 Google Cloud 콘솔을 사용하여 템플릿을 실행할 수 있습니다.

표 페이지에서 가져오기

이 페이지에 설명된 가져오기 메서드 대부분은Google Cloud 콘솔을 사용하여 실행할 수 있습니다. 표 페이지에서 다음 유형의 데이터를 가져옵니다.

  • CSV 데이터
  • BigQuery 데이터
  • Avro 파일
  • Cassandra 키스페이스 및 테이블
  • Parquet 파일

  • SequenceFile 파일

콘솔

  1. Google Cloud 콘솔에서 Bigtable 인스턴스 목록을 엽니다.

    인스턴스 목록 열기

  2. 가져오려는 테이블이 포함된 인스턴스를 클릭합니다.

  3. 왼쪽 창에서 테이블을 클릭합니다.

    테이블 페이지에는 인스턴스의 테이블 목록이 표시됩니다.

  4. 데이터를 가져올 테이블의 이름 옆에 있는 테이블 작업 메뉴를 클릭합니다.

  5. 데이터 가져오기를 클릭한 다음 가져올 데이터 유형을 선택합니다.

    • Avro, Parquet, SequenceFile 또는 Cassandra를 선택하면 콘솔에 부분적으로 완료된 Dataflow 템플릿이 표시됩니다. 작업 템플릿을 작성하고 작업 실행을 클릭합니다.
    • CSV를 선택하면 cbt CLI 터미널 창이 열립니다. 자세한 내용은 이 문서의 CSV 데이터 가져오기 섹션을 참고하세요.
    • BigQuery를 선택하면 BigQuery Studio가 열립니다. 역방향 ETL 쿼리를 작성하고 실행합니다.

테이블 페이지에서 내보내기

이 페이지에 설명된 내보내기 메서드 중 일부는Google Cloud 콘솔을 사용하여 실행할 수 있습니다. 표 페이지에서 다음 유형의 데이터를 내보냅니다.

  • Avro 파일
  • Parquet 파일

  • SequenceFile 파일

콘솔

  1. Google Cloud 콘솔에서 Bigtable 인스턴스 목록을 엽니다.

    인스턴스 목록 열기

  2. 내보내려는 테이블이 있는 인스턴스를 클릭합니다.

  3. 왼쪽 창에서 테이블을 클릭합니다.

    테이블 페이지에는 인스턴스의 테이블 목록이 표시됩니다.

  4. 표 이름 옆에 있는 표 작업 메뉴를 클릭합니다.

  5. 데이터 내보내기를 클릭한 다음 내보낼 파일 형식을 선택합니다.

    Console에 부분적으로 완료된 Dataflow 템플릿이 표시됩니다.

  6. 작업 템플릿을 작성하고 작업 실행을 클릭합니다.

CSV 데이터 가져오기

cbt CLI 를 사용하여 CSV 파일의 데이터를 Bigtable 테이블로 가져올 수 있습니다. 이렇게 하려면 Cloud Shell과 같은 환경에서 CSV 파일에 액세스할 수 있어야 합니다. 다음 방법 중 하나로 CSV 파일을 Cloud Shell에 가져올 수 있습니다.

로컬 CSV 파일 업로드:

  1. Cloud Shell에서 더보기 메뉴를 클릭하고 업로드를 선택합니다.
  2. 로컬 머신에서 CSV 파일을 선택합니다.
  3. 파일을 업로드한 후 cbt CLI 명령어에서 파일 이름을 참조합니다.

Cloud Storage에서 CSV 파일 복사:

cbt CLI는 Cloud Storage 버킷에서 가져오기를 직접 지원하지 않습니다. 먼저 Cloud Storage에서 Cloud Shell 환경으로 CSV 파일을 복사해야 합니다. 자세한 내용은 버킷에 객체 업로드를 참고하세요.

CSV 파일을 환경에서 사용할 수 있게 되면 cbt CLI 명령어를 사용하여 데이터를 가져옵니다. 샘플 명령어는 입력 파일을 기반으로 여러 행 일괄 쓰기를 참고하세요.

다음 단계