Datastream을 사용하여 거의 실시간으로 데이터 변경사항 스트리밍

시작하기 전에

1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

2. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

   참고: 이 절차에서 생성한 리소스를 유지하지 않으려면 기존 프로젝트를 선택하지 말고 프로젝트를 새로 만드세요. 작업이 끝나면 프로젝트를 삭제하여 프로젝트와 관련된 모든 리소스를 삭제할 수 있습니다.

   프로젝트 선택기로 이동

3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

4. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

   참고: 이 절차에서 생성한 리소스를 유지하지 않으려면 기존 프로젝트를 선택하지 말고 프로젝트를 새로 만드세요. 작업이 끝나면 프로젝트를 삭제하여 프로젝트와 관련된 모든 리소스를 삭제할 수 있습니다.

   프로젝트 선택기로 이동

5. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

6. Datastream API 사용 설정

   API 사용 설정

7. Datastream 관리자 역할이 사용자 계정에 할당되었는지 확인합니다.

   IAM 페이지로 이동

표준 또는 공유 VPC 네트워크에 대해 비공개 연결 구성을 만들려는 경우 추가 기본 요건을 완료해야 합니다. 자세한 내용은 비공개 연결 구성 만들기를 참조하세요.

요구사항

Datastream은 다양한 소스 옵션, 대상 옵션, 네트워킹 연결 방법을 제공합니다.

이 빠른 시작에서는 독립형 Oracle 데이터베이스와 대상 Cloud Storage 서비스를 사용한다고 가정합니다. 소스 데이터베이스의 경우 인바운드 방화벽 규칙을 추가하도록 네트워크를 구성할 수 있어야 합니다. 소스 데이터베이스는 온프레미스 또는 클라우드 제공업체에 있어야 합니다. 대상이 Cloud Storage이므로 Google의 클라우드 제공업체에 있어야 합니다.

여기에서는 각 사용자 환경의 세부사항을 알 수 없기 때문에 네트워킹 구성과 관련해서 세부 단계를 제공할 수 없습니다.

이 빠른 시작에서는 IP 허용 목록을 연결 방법으로 선택합니다. IP 허용 목록은 소스 데이터베이스의 데이터 액세스를 신뢰할 수 있는 사용자로 제한하고 제어하는 데 자주 사용되는 보안 기능입니다. IP 허용 목록을 사용하면 사용자 및 Datastream과 같은 다른 클라우드 서비스에서 이 데이터에 액세스할 수 있는 신뢰할 수 있는 IP 주소 또는 IP 범위의 목록을 만들 수 있습니다. IP를 허용 목록을 사용하려면 Datastream으로부터 수신되는 연결에 대해 소스 데이터베이스나 방화벽을 열어야 합니다.

연결 프로필 만들기

소스 데이터베이스와 대상에 대해 연결 프로필을 만들면 소스와 대상에 대한 정보가 포함된 레코드가 생성됩니다.

이 빠른 시작에서는 소스 연결 프로필의 프로필 유형으로 Oracle을 선택하고 대상 연결 프로필의 프로필 유형으로 Cloud Storage를 선택합니다. Datastream은 연결 프로필을 정보를 사용해서 소스 Oracle 데이터베이스에서 Cloud Storage의 대상 버킷으로 데이터를 마이그레이션합니다.

Oracle 데이터베이스의 소스 연결 프로필 만들기

1. Google Cloud Console에서 Datastream의 연결 프로필 페이지로 이동합니다.

   연결 프로필 페이지로 이동

2. 프로필 만들기를 클릭합니다.

3. Oracle 데이터베이스의 소스 연결 프로필을 만들려고 하므로 연결 프로필 만들기 페이지에서 Oracle 프로필 유형을 클릭합니다.

4. Oracle 프로필 만들기 페이지의 연결 설정 정의 섹션에 다음 정보를 제공합니다.

   • 소스 데이터베이스의 연결 프로필 이름으로 My Source Connection Profile을 입력합니다.
   • 자동 생성된 연결 프로필 ID를 그대로 둡니다.

   • 연결 프로필을 저장할 리전을 선택합니다.

     모든 리소스와 같은 연결 프로필이 리전에 저장되고 스트림은 스트림과 동일한 리전에 저장된 연결 프로필만 사용할 수 있습니다. 리전 선택은 Datastream이 소스 또는 대상에 연결할 수 있는지 여부에 영향을 주지 않지만 리전에 다운타임이 발생할 때 가용성에 영향을 줄 수 있습니다.

   • 연결 세부정보를 입력합니다.

     • 호스트 이름 또는 IP 필드에 Datastream이 소스 Oracle 데이터베이스에 연결하는 데 사용할 수 있는 호스트 이름 또는 공개 IP 주소를 입력합니다. 이 빠른 시작의 IP의 네트워크 연결 방법으로 IP 허용 목록이 사용되므로 공개 IP 주소를 제공합니다.
     • 포트 필드에 소스 데이터베이스용으로 예약된 포트 번호를 입력합니다. Oracle 데이터베이스의 경우 기본 포트는 일반적으로 1521입니다.
     • 사용자 이름과 비밀번호를 입력하여 소스 데이터베이스에 인증을 수행합니다.
     • 시스템 식별자(SID) 필드에 데이터베이스 인스턴스를 식별하는 SID 또는 서비스 이름을 입력합니다. Oracle 데이터베이스의 경우 일반적으로 ORCL입니다.

5. 연결 설정 정의 섹션에서 계속을 클릭합니다. Oracle 프로필 만들기 페이지의 연결 방법 정의 섹션이 활성화됩니다.

6. Datastream과 소스 데이터베이스 간에 연결을 설정하는 데 사용할 네트워킹 방법을 선택합니다. 이 빠른 시작에서는 연결 방법 드롭다운 메뉴를 사용해서 IP 허용 목록을 네트워킹 방법으로 선택합니다.

7. 표시된 Datastream 공개 IP 주소의 수신 연결을 허용하도록 소스 데이터베이스를 구성합니다.

8. 연결 방법 정의 섹션에서 계속을 클릭합니다. Oracle 프로필 만들기 페이지의 연결 프로필 테스트 섹션이 활성화됩니다.

9. 테스트 실행을 클릭하여 소스 Oracle 데이터베이스 및 Datastream이 서로 통신할 수 있는지 확인합니다.

10. '테스트 통과' 상태가 표시되는지 확인합니다.

11. 테스트에 실패하면 흐름의 적절한 부분에서 문제를 해결한 후 다시 테스트할 수 있습니다. 문제 해결 단계는 문제 진단 페이지를 참조하세요.

12. 만들기를 클릭합니다.

Cloud Storage의 대상 연결 프로필 만들기

1. Google Cloud Console에서 Datastream의 연결 프로필 페이지로 이동합니다.

   연결 프로필 페이지로 이동

2. 프로필 만들기를 클릭합니다.

3. Cloud Storage의 대상 연결 프로필을 만들려고 하므로 연결 프로필 만들기 페이지에서 Cloud Storage 프로필 유형을 클릭합니다.

4. Cloud Storage 프로필 만들기 페이지에서 다음 정보를 제공합니다.

   • 대상 Cloud Storage 서비스의 연결 프로필 이름으로 My Destination Connection Profile을 입력합니다.
   • 자동 생성된 연결 프로필 ID를 그대로 둡니다.
   • 연결 프로필을 저장할 리전을 선택합니다.
   • 연결 세부정보 창에서 둘러보기를 클릭합니다.

   • 버킷 선택 창에서 Datastream이 소스 데이터베이스에서 데이터를 전송할 Cloud Storage의 대상 버킷을 선택한 다음 선택을 클릭합니다.

     Cloud Storage 프로필 만들기 페이지의 버킷 이름 필드에 버킷이 표시됩니다.

     참고: 선택하려는 버킷이 보이지 않으면 만들 수 있습니다.

   • 선택사항으로 연결 프로필 경로 프리픽스 필드에 Datastream이 데이터를 대상으로 전송할 때 버킷 이름에 추가될 경로의 프리픽스를 제공할 수 있습니다.

     참고: 이 필드에 입력하는 모든 경로는 슬래시(/)로 시작해야 합니다.

5. 만들기를 클릭합니다.

Oracle 데이터베이스의 소스 연결 프로필과 Cloud Storage의 대상 연결 프로필을 만든 후 이를 사용하여 스트림을 만들 수 있습니다.

스트림 만들기

이 섹션에서 스트림을 만듭니다. Datastream은 이 스트림을 사용하여 소스 Oracle 데이터베이스에서 Cloud Storage의 대상 버킷으로 데이터를 전송합니다.

스트림 만들기에는 다음이 포함됩니다.

• 스트림 설정을 정의합니다.
• 소스 데이터베이스에 만든 연결 프로필(소스 연결 프로필)을 선택합니다. 이 빠른 시작에서는 내 소스 연결 프로필입니다.
• 소스 데이터베이스의 테이블 및 스키마를 지정하여 스트림의 소스 데이터베이스에 대한 정보를 구성하여 Datastream이 다음을 수행합니다.
  • 대상으로 전송합니다.
  • 대상으로 전송이 제한됩니다.
• Datastream이 계속되는 스트림 변경사항 뿐만 아니라 이전 데이터를 대상으로 백필하거나 변경사항만 데이터로 스트리밍할지 결정합니다.
• Cloud Storage용으로 만든 연결 프로필(대상 연결 프로필) 선택합니다. 이 빠른 시작에서는 내 대상 연결 프로필입니다.
• 스트림의 대상 버킷 정보를 구성합니다. 이러한 정보에는 다음이 포함됩니다.
  • Datastream이 소스 Oracle 데이터베이스에서 스키마, 테이블, 데이터를 전송할 대상 버킷의 폴더
  • Cloud Storage에 기록된 파일의 출력 형식. Datastream에서는 현재 Avro 및 JSON의 두 가지 출력 형식만 지원됩니다. 이 빠른 시작에서는 파일 형식이 Avro입니다.

Datastream에는 스트림 만들기를 도와주는 마법사가 있습니다. 이 마법사는 시작하기, 소스 정의 및 테스트, 소스 구성, 대상 정의, 대상 구성, 검토 및 만들기의 6개 패널로 구성됩니다. 각 패널의 이용 방법은 이 페이지의 여러 섹션을 참조하세요.

스트림 설정 정의

1. Google Cloud 콘솔에서 Datastream의 스트림 페이지로 이동합니다.

   스트림 페이지로 이동

2. 스트림 만들기를 클릭합니다.

3. 스트림 만들기 페이지의 스트림 세부정보 정의 패널에 다음 정보를 제공합니다.

   • 스트림 이름에 My Stream을 입력합니다.
   • 자동 생성된 스트림 ID를 그대로 둡니다.
   • 리전 메뉴에서 소스 연결 프로필을 만든 리전을 선택합니다.
   • 소스 유형 메뉴에서 Oracle 프로필 유형을 선택합니다.
   • 대상 유형 메뉴에서 Cloud Storage 프로필 유형을 선택합니다.

4. 스트림에 맞게 환경을 준비해야 하는 방법이 자동으로 반영되도록 생성된 필수 기본 요건을 검토합니다. 이러한 기본 요건에는 소스 데이터베이스 구성 방법과 Cloud Storage의 대상 버킷에 Datastream을 연결하는 방법이 포함될 수 있습니다.

   이러한 기본 요건에 대한 자세한 내용은 소스 Oracle 데이터베이스 구성을 참조하세요.

5. 계속을 클릭합니다. 스트림 만들기 페이지의 Oracle 연결 프로필 정의 패널이 표시됩니다.

소스 연결 프로필 정보 지정

1. 소스 연결 프로필 메뉴에서 Oracle 데이터베이스에 대한 소스 연결 프로필을 선택합니다.

2. 테스트 실행을 클릭하여 소스 데이터베이스와 Datastream이 서로 통신할 수 있는지 확인합니다.

   테스트에 실패하면 연결 프로필과 관련된 문제가 표시됩니다. 문제 해결 단계는 문제 진단 페이지를 참조하세요. 문제 해결을 위해 필요한 항목을 변경한 후 다시 테스트합니다.

3. 계속을 클릭합니다. 스트림 만들기 페이지의 스트림 소스 구성 패널이 표시됩니다.

스트림의 소스 데이터베이스에 대한 정보 구성

1. 포함할 객체 메뉴를 사용하여 Datastream이 Cloud Storage의 대상 버킷에 있는 폴더로 전송할 수 있는 소스 데이터베이스의 테이블과 스키마를 지정합니다. 데이터베이스에 최대 5,000개의 객체가 있는 경우에만 메뉴가 로드됩니다.

   이 빠른 시작에서는 Datastream이 모든 테이블과 스키마를 전송하도록 합니다. 따라서 메뉴에서 모든 스키마의 모든 테이블을 선택합니다.

   이 빠른 시작에서는 제외할 객체 선택 패널이 '없음'으로 설정되어 있는지 확인합니다. Datastream이 소스 데이터베이스의 테이블 및 스키마를 Cloud Storage로 전송하는 것을 제한하지 않으려고 합니다.

   또한 이전 데이터의 백필 모드 선택 패널이 '자동'으로 설정되었는지 확인합니다. Datastream이 데이터 변경사항 외에도 소스에서 대상으로 모든 기존 데이터를 스트리밍합니다.

2. 계속을 클릭합니다. 스트림 만들기 페이지의 Cloud Storage 연결 프로필 정의 패널이 표시됩니다.

대상 연결 프로필 선택

1. 대상 연결 프로필 메뉴에서 Cloud Storage의 대상 연결 프로필을 선택합니다.

2. 계속을 클릭합니다. 스트림 만들기 페이지의 스트림 대상 구성 패널이 표시됩니다.

스트림의 대상 정보 구성

1. 스트림 경로 프리픽스 필드에 Datastream이 소스 데이터베이스에서 스키마, 테이블, 데이터를 전송할 대상 버킷의 폴더를 입력합니다.

   이 빠른 시작에서는 Datastream이 소스 데이터베이스에서 Cloud Storage의 대상 버킷에 있는 /root/tutorial 폴더로 데이터를 전송하도록 하려고 합니다. 따라서 스트림 경로 프리픽스 필드에 /root/tutorial을 입력합니다.

2. 출력 형식 필드에서 Cloud Storage에 기록된 파일 형식을 선택합니다. 이 빠른 시작에서는 파일 형식이 Avro입니다.

3. 계속을 클릭합니다. 스트림 만들기 페이지의 스트림 세부정보 검토 및 만들기 패널이 표시됩니다.

스트림 만들기

1. 스트림은 물론 소스 Oracle 데이터베이스에서 Cloud Storage의 대상 버킷으로 데이터를 전송하기 위해 스트림에 사용되는 소스 및 대상 연결 프로필에 대한 세부정보를 확인합니다.

2. 검증 실행을 클릭하여 스트림을 검증합니다. Datastream은 스트림을 검증하여 소스가 올바르게 구성되었는지 확인하고, 스트림이 소스 및 대상 모두에 연결할 수 있는지 확인하고, 스트림의 엔드 투 엔드 구성을 확인합니다.

   검증 확인을 통과하면 검증 확인 왼쪽에 체크표시 아이콘이 표시됩니다.

   검증 확인을 실패하면 검증 확인 왼쪽에 느낌표 아이콘이 표시되고 검증 확인 아래에 오류 세부정보 보기 버튼이 표시됩니다. 버튼을 클릭하면 검증 확인이 실패한 이유와 문제 해결을 위해 수행할 작업에 대한 정보가 포함된 팝업 창이 표시됩니다. 적절한 수정 조치를 취한 후 재검증을 클릭합니다.

   통과하지 못한 검증 확인 문제 해결에 대한 자세한 내용은 문제 진단을 참조하세요.

3. 모든 검증 확인에 통과하면 만들기를 클릭합니다.

4. 스트림 만들기 대화상자에서 만들기를 클릭합니다.

스트림을 만든 후 이를 시작할 수 있습니다.

스트림 시작

빠른 시작의 이전 섹션에서 스트림을 만들었지만 이를 시작하지는 않았습니다. 이제 이를 수행할 수 있습니다.

이 빠른 시작에서는 스트림 생성 프로세스로 인해 소스 데이터베이스에서 부하가 증가하는 경우를 대비하여 스트림을 별도로 만들고 시작합니다. 이러한 부하를 막으려면 스트림을 만들 때 시작하지 않고 부하가 발생해도 괜찮을 때 스트림을 시작합니다.

스트림을 시작하면 Datastream이 소스 데이터베이스에서 대상으로 데이터, 스키마, 테이블을 전송할 수 있습니다.

1. Google Cloud 콘솔에서 Datastream의 스트림 페이지로 이동합니다.

   스트림 페이지로 이동

2. 시작하려는 스트림 왼쪽의 체크박스를 선택합니다. 이 빠른 시작에서는 내 스트림입니다.

3. 시작을 클릭합니다.

4. 대화상자에서 시작을 클릭합니다. 스트림 상태가 Not started에서 Starting, Running으로 변경됩니다.

   스트림 실행이 시작되려면 약 30초 정도 걸립니다. 스트림이 시작되려면 백그라운드 리소스를 시작해야 합니다.

스트림을 시작한 후 Datastream이 소스 데이터베이스에서 대상으로 데이터를 전송했는지 확인할 수 있습니다.

스트림 검증

이 섹션에서는 Datastream이 소스 Oracle 데이터베이스의 모든 테이블에서 Cloud Storage 대상 버킷의 /root/tutorial 폴더로 데이터를 전송하는지 확인합니다.

1. Google Cloud Console에서 Datastream의 스트림 페이지로 이동합니다.

   스트림 페이지로 이동

2. 생성된 스트림을 클릭합니다. 이 빠른 시작에서는 내 스트림입니다.

3. 스트림 세부정보 페이지에서 대상 쓰기 경로 필드 아래에 표시된 링크를 클릭합니다. Cloud Storage의 버킷 세부정보 페이지가 개별 탭으로 열립니다.

   참고: 클릭하는 링크는 버킷 이름과 DataStream이 소스 Oracle 데이터베이스에서 스키마, 테이블, 데이터를 전송한 버킷의 폴더로 구성됩니다. 스트림의 대상 연결 프로필 정보를 구성할 때 이 폴더를 /root/tutorial로 지정했습니다. 따라서 링크가 [bucket-name]/root/tutorial로 표시됩니다.

4. 소스 Oracle 데이터베이스의 테이블을 나타내는 폴더가 표시되는지 확인합니다.

5. 테이블 폴더 중 하나를 클릭하고 테이블과 연결된 데이터가 표시될 때까지 드릴다운합니다.

   첫 번째 폴더는 [schema]_[table]이고, 그 뒤에 Datastream이 소스 Oracle 데이터베이스에서 Cloud Storage의 대상 버킷으로 데이터를 전송한 연도, 월, 일, 시, 분을 나타내는 폴더가 있습니다.

   폴더가 1분마다 생성됩니다(새 데이터를 쓸 때).

   파일 크기가 250MB에 도달할 때 또는 스키마가 변경될 때마다 새 파일이 생성됩니다. 테이블이 파티션으로 나뉜 경우 각 파티션에 대해 파일이 생성됩니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔을 사용하여 프로젝트, Datastream 스트림 및 연결 프로필, Cloud Storage 대상 버킷을 삭제합니다.

Datastream에서 만든 리소스를 삭제하면 할당량을 차지하지 않고 이후에 요금이 청구되지 않습니다. 다음 섹션에서는 이러한 리소스를 삭제 또는 해제하는 방법을 설명합니다.

프로젝트 삭제

비용이 청구되지 않도록 하는 가장 쉬운 방법은 빠른 시작에서 만든 프로젝트를 삭제하는 것입니다.

프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 빠른 시작의 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 튜토리얼과 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.

   리소스 관리 페이지로 이동

2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제 를 클릭합니다.

3. 대화상자에서 프로젝트 ID를 입력하고 종료를 클릭하여 프로젝트를 삭제합니다.

스트림 삭제

1. Google Cloud 콘솔에서 Datastream의 스트림 페이지로 이동합니다.

   스트림 페이지로 이동

2. 삭제하려는 스트림을 클릭합니다. 이 빠른 시작에서는 내 스트림입니다.

3. 일시중지를 클릭합니다.

4. 대화상자에서 일시중지를 클릭합니다.

5. 스트림 세부정보 페이지의 스트림 상태 창에서 스트림 상태가 Paused인지 확인합니다.

   참고: 스트림을 삭제하기 전에 일시중지하여 모든 '처리 중인' 데이터가 소스 데이터베이스에서 대상으로 원활하게 전송되도록 합니다.

6. 삭제를 클릭합니다.

7. 대화상자에서 텍스트 필드에 Delete를 입력한 후 삭제를 클릭합니다.

연결 프로필 삭제

1. Google Cloud 콘솔에서 Datastream의 연결 프로필 페이지로 이동합니다.

   연결 프로필 페이지로 이동

2. 삭제하려는 각 연결 프로필의 체크박스를 선택합니다. 이 빠른 시작에서는 내 소스 연결 프로필 및 내 대상 연결 프로필의 체크박스를 선택합니다.

3. 삭제를 클릭합니다.

4. 대화상자에서 삭제를 클릭합니다.

Cloud Storage 대상 버킷 삭제

1. Google Cloud 콘솔에서 Cloud Storage의 브라우저 페이지로 이동합니다.

   브라우저 페이지로 이동

2. 버킷 왼쪽의 체크박스를 선택한 후 삭제를 클릭합니다.

3. 대화상자에서 텍스트 필드에 DELETE를 입력한 후 삭제를 클릭합니다.

다음 단계

• Datastream에 대해 자세히 알아보기
• 다른 Google Cloud 기능을 직접 사용해 보기. 빠른 시작 살펴보기