관리형 가져오기를 사용하여 외부 데이터베이스에서 복제 설정

이 페이지에서는 외부 서버에서 Cloud SQL로 복제할 때 데이터에 대해 관리형 가져오기를 설정하고 사용하는 방법을 설명합니다.

이 페이지의 모든 단계를 완료해야 합니다. 완료되면 다른 Cloud SQL 인스턴스와 동일한 방식으로 소스 표현 인스턴스를 관리하고 모니터링할 수 있습니다.

시작하기 전에

시작하기 전에 다음 단계를 완료합니다.

  1. 외부 서버 구성

  2. 소스 표현 인스턴스 만들기

  3. Cloud SQL 복제본 설정

복제 설정 확인

설정이 완료되면 Cloud SQL 복제본이 외부 서버에서 복제할 수 있는지 확인합니다.

다음 외부 동기화 설정은 정확해야 합니다.

  • Cloud SQL 복제본과 외부 서버 간 연결
  • 사용자 권한 복제
  • 버전 호환성
  • Cloud SQL 복제본은 아직 복제하지 않습니다.

이 설정을 확인하려면 Cloud Shell 터미널을 열고 다음 명령어를 입력합니다.

curl

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/verifyExternalSyncSettings

예시

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/myproject/instances/myreplica/verifyExternalSyncSettings

이러한 호출에서 sql#externalSyncSettingErrorList 유형 목록을 반환합니다.

목록이 비어 있으면 오류가 없는 것입니다. 오류가 없는 응답은 다음과 같이 표시됩니다.

  {
    "kind": "sql#externalSyncSettingErrorList"
  }
속성 설명
SYNC_MODE 복제가 설정된 후 Cloud SQL 복제본과 외부 서버를 동기화 상태로 유지할 수 있는지 확인합니다. 동기화 모드에는 EXTERNAL_SYNC_MODE_UNSPECIFIED, ONLINE, OFFLINE이 있습니다.
SYNC_PARALLEL_LEVEL

데이터베이스 테이블의 데이터가 전송되는 속도를 제어하는 설정을 확인합니다. 사용할 수 있는 값은 다음과 같습니다.

  • min: 데이터베이스에서 가장 낮은 양의 컴퓨팅 리소스를 사용합니다. 데이터 전송 속도가 가장 느립니다.
  • optimal: 최적의 데이터베이스 부하로 균형 잡힌 성능을 제공합니다.
  • max: 데이터 전송 속도가 가장 빠르지만 데이터베이스 부하가 증가할 수 있습니다.

참고: 이 매개변수의 기본값은 optimal입니다. 이 설정은 데이터 전송 속도가 양호하고 데이터베이스에 합리적인 수준의 영향을 미치기 때문입니다. 이 값을 사용하는 것이 좋습니다.

PROJECT_ID Google Cloud 프로젝트의 ID입니다.
REPLICA_INSTANCE_ID Cloud SQL 복제본의 ID입니다.

외부 서버에서 복제 시작

외부 서버에서 복제할 수 있는지 확인한 후 복제를 시작합니다. 초기 가져오기 프로세스의 복제 수행 속도는 시간당 최대 500GB입니다. 그러나 이 속도는 머신 등급, 데이터 디스크 크기, 네트워크 처리량, 데이터베이스 특성에 따라 달라질 수 있습니다.

curl

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "skipVerification": "SKIP_VERIFICATION",
         "syncParallelLevel": "SYNC_PARALLEL_LEVEL"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE_ID/startExternalSync

예시

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "syncParallelLevel": "optimal"
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync
속성 설명
SYNC_MODE 복제가 설정된 후 Cloud SQL 복제본과 외부 서버를 동기화 상태로 유지할 수 있는지 확인합니다.
SKIP_VERIFICATION 데이터를 동기화하기 전에 기본 제공 확인 단계를 건너뛸지 여부입니다. 이 매개변수는 이미 복제 설정을 확인한 경우에만 권장됩니다.
SYNC_PARALLEL_LEVEL

데이터베이스 테이블의 데이터가 전송되는 속도를 제어하는 설정을 제공합니다. 사용할 수 있는 값은 다음과 같습니다.

  • min: 데이터베이스에서 가장 낮은 양의 컴퓨팅 리소스를 사용합니다. 데이터 전송 속도가 가장 느립니다.
  • optimal: 최적의 데이터베이스 부하로 균형 잡힌 성능을 제공합니다.
  • max: 데이터 전송 속도가 가장 빠르지만 데이터베이스 부하가 증가할 수 있습니다.

참고: 이 매개변수의 기본값은 optimal입니다. 이 설정은 데이터 전송 속도가 양호하고 데이터베이스에 합리적인 수준의 영향을 미치기 때문입니다. 이 값을 사용하는 것이 좋습니다.

PROJECT_ID Google Cloud 프로젝트의 ID입니다.
REPLICA_INSTANCE_ID Cloud SQL 복제본의 ID입니다.

마이그레이션 모니터링

외부 서버에서 복제를 시작하면 복제를 모니터링해야 합니다. 자세한 내용은 복제 모니터링을 참조하세요. 그러면 마이그레이션을 완료할 수 있습니다.

문제 해결

다음 문제 해결 옵션을 고려하세요.

문제 문제 해결
생성 시 읽기 복제본이 복제를 시작하지 않음 로그 파일에 더 구체적인 오류가 있을 수 있습니다. Cloud Logging의 로그를 검사하여 실제 오류를 찾으세요.
읽기 복제본을 만들 수 없음 - invalidFlagValue 오류 요청의 플래그 중 하나가 잘못되었습니다. 명시적으로 제공한 플래그 또는 기본값으로 설정된 플래그일 수 있습니다.

먼저 max_connections 플래그의 값이 기본 값보다 크거나 같은지 확인하세요.

max_connections 플래그가 적절하게 설정된 경우 Cloud Logging에서 로그를 검사하여 실제 오류를 확인하세요.

읽기 복제본을 만들 수 없음 - 알 수 없는 오류 로그 파일에 더 구체적인 오류가 있을 수 있습니다. Cloud Logging의 로그를 검사하여 실제 오류를 찾으세요.

오류가 set Service Networking service account as servicenetworking.serviceAgent role on consumer project이면 Service Networking API를 사용 중지했다가 다시 사용 설정합니다. 이렇게 하면 프로세스를 계속 진행하는 데 필요한 서비스 계정이 생성됩니다.

디스크가 가득 참 복제본을 만드는 동안 기본 인스턴스 디스크 크기가 가득 찰 수 있습니다. 기본 인스턴스를 수정하여 더 큰 디스크 크기로 업그레이드합니다.
디스크 공간이 현저하게 증가함 데이터를 추적하는 데 적극적으로 사용되지 않는 슬롯이 있으면 PostgreSQL이 WAL 세그먼트를 무기한 저장합니다. 그로 인해 디스크 공간도 무제한으로 증가합니다. Cloud SQL에서 논리적 복제 및 디코딩 기능을 사용하는 경우 복제 슬롯이 자동으로 생성 및 삭제됩니다. 사용되지 않는 복제 슬롯은 pg_replication_slots 시스템 뷰를 쿼리하고 active 열로 필터링을 수행하여 확인할 수 있습니다. pg_drop_replication_slot 명령어를 사용하여 WAL 세그먼트를 삭제하기 위해 사용하지 않는 슬롯을 삭제할 수 있습니다.
복제본 인스턴스가 너무 많은 메모리를 사용하고 있습니다. 복제본은 임시 메모리를 사용하여 자주 요청되는 읽기 작업을 캐시하므로 기본 인스턴스보다 더 많은 메모리를 사용할 수 있습니다.

복제본 인스턴스를 다시 시작하여 임시 메모리 공간을 회수합니다.

복제가 중지되었습니다. 최대 스토리지 한도에 도달했고 스토리지 자동 증가가 사용 설정되지 않았습니다.

인스턴스를 수정하여 automatic storage increase를 사용 설정합니다.

긴 복제 지연 시간이 지속적으로 발생함 쓰기 부하가 너무 높아 복제본이 처리할 수 없습니다. 복제본의 SQL 스레드가 IO 스레드를 따라잡을 수 없는 경우 복제 지연이 발생합니다. 일부 쿼리 또는 워크로드로 인해 특정 스키마에서 일시적이거나 영구적인 복제 지연이 발생할 수 있습니다. 복제 지연이 발생하는 일반적인 원인은 다음과 같습니다.
  • 복제본에 대한 쿼리의 속도가 느립니다. 문제를 찾아 수정하세요.
  • 모든 테이블에 고유/기본 키가 있어야 합니다. 테이블에 고유/기본 키가 없으면 업데이트할 때마다 복제본에서 전체 테이블 검사를 수행해야 합니다.
  • DELETE ... WHERE field < 50000000과 같은 쿼리의 경우 복제본에 다수의 업데이트가 쌓이게 되므로 행 기준 복제에서 복제 지연이 발생합니다.

가능한 솔루션은 다음과 같습니다.

  • 인스턴스를 수정하여 복제본 크기를 늘립니다.
  • 데이터베이스의 부하를 줄입니다.
  • 읽기 트래픽을 읽기 복제본으로 보냅니다.
  • 테이블 색인을 생성합니다.
  • 느린 쓰기 쿼리를 식별하고 수정합니다.
  • 복제본을 다시 만듭니다.
PostgreSQL 9.6에서 색인을 다시 빌드할 때 오류가 발생함 PostgreSQL에서 특정 색인을 다시 빌드해야 한다는 오류 메시지가 표시됩니다. 이 작업은 기본 인스턴스에서만 수행할 수 있습니다. 새 복제본 인스턴스를 만들면 곧 같은 오류가 다시 발생합니다. PostgreSQL 10 미만의 PostgreSQL에서는 해시 색인이 복제본에 전파되지 않습니다.

해시 색인을 사용해야 하는 경우 PostgreSQL 10 이상으로 업그레이드하세요. 그러지 않고 복제본도 사용하려면 PostgreSQL 9.6에서 해시 색인을 사용하지 마세요.

기본 인스턴스에 대한 쿼리는 항상 실행됨 복제본을 만든 후에는 기본 인스턴스에서 SELECT * from pg_stat_activity where state = 'active' and pid = XXXX and username = 'cloudsqlreplica' 쿼리를 계속 실행해야 합니다.
제한 시간으로 인해 복제본을 만들지 못함 기본 인스턴스에서 커밋되지 않은 장기 실행 트랜잭션으로 인해 읽기 복제본을 만들지 못할 수 있습니다.

실행 중인 모든 쿼리를 중지한 후 복제본을 다시 만듭니다.

기본 인스턴스와 복제본의 vCPU 크기가 다른 경우 쿼리 최적화 도구에서 vCPU 크기를 고려하므로 쿼리 성능 문제가 발생할 수 있습니다.

이 문제를 해결하려면 다음 단계를 완료하시기 바랍니다.

  1. log_duration 플래그를 사용 설정하고 log_statement 매개변수를 ddl로 설정합니다. 이렇게 하면 데이터베이스의 쿼리와 실행 시간 모두 제공됩니다. 그러나 워크로드에 따라 성능 문제가 발생할 수 있습니다.
  2. 기본 인스턴스와 읽기 복제본 모두에서 쿼리에 explain analyze를 실행합니다.
  3. 쿼리 계획을 비교하고 차이점을 확인합니다.

특정 쿼리이면 쿼리를 수정합니다. 예를 들어 조인 순서를 변경하여 성능이 향상되는지 확인할 수 있습니다.

복제 로그 검토

복제 설정을 확인하면 로그가 생성됩니다.

이러한 로그를 확인하려면 다음 단계를 따르세요.

  1. Google Cloud Console에서 로그 뷰어로 이동합니다.

    로그 뷰어로 이동

  2. 인스턴스 드롭다운에서 Cloud SQL 복제본을 선택합니다.
  3. replication-setup.log 로그 파일을 선택합니다.

Cloud SQL 복제본이 외부 서버에 연결될 수 없으면 다음을 확인합니다.

  • 외부 서버의 모든 방화벽이 Cloud SQL 복제본의 발신 IP 주소의 연결을 허용하도록 구성되어 있습니다.
  • SSL/TLS 구성이 올바릅니다.
  • 복제 사용자, 호스트, 비밀번호가 올바릅니다.

다음 단계