관리형 가져오기를 사용하여 외부 데이터베이스에서 복제 설정

이 페이지에서는 외부 서버에서 Cloud SQL로 복제할 때 데이터에 대해 관리형 가져오기를 설정하고 사용하는 방법을 설명합니다.

이 페이지의 모든 단계를 완료해야 합니다. 완료되면 다른 Cloud SQL 인스턴스와 동일한 방식으로 소스 표현 인스턴스를 관리하고 모니터링할 수 있습니다.

시작하기 전에

시작하기 전에 먼저 외부 서버를 구성하고, 소스 표현 인스턴스를 만들고, Cloud SQL 복제본을 설정해야 합니다.

복제 사용자의 권한 업데이트

외부 서버의 복제 사용자는 모든 호스트(%)의 연결을 수락하도록 구성되어 있습니다. 이 사용자 계정을 Cloud SQL 복제본에서만 사용할 수 있도록 업데이트해야 합니다.

복제가 GTID를 기반으로 하는 경우 REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW 권한이 필요합니다.

복제가 바이너리 로그를 기반으로 하는 경우 REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT, RELOAD 권한이 필요합니다.

외부 서버에서 터미널을 열고 다음 명령어를 입력합니다.

mysql 클라이언트

GTID의 경우:

    UPDATE mysql.user
      SET Host='NEW_HOST'
      WHERE Host='OLD_HOST'
      AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW ON . TO
    'USERNAME'@'HOST';
    FLUSH PRIVILEGES;

바이너리 로그의 경우:

    UPDATE mysql.user
    SET Host='NEW_HOST'
    WHERE Host='OLD_HOST'
    AND User='USERNAME';
    GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
    RELOAD ON . TO 'GCP_USERNAME'@'HOST';
    FLUSH PRIVILEGES;

예시

UPDATE mysql.user
  SET Host='192.0.2.0'
  WHERE Host='%'
  AND User='replicationUser';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
RELOAD ON *.* TO 'username'@'host.com';
FLUSH PRIVILEGES;
속성 설명
NEW_HOST Cloud SQL 복제본의 발신 IP를 지정합니다.
OLD_HOST 변경하려는 Host에 지정된 현재 값입니다.
USERNAME 외부 서버의 복제 사용자 계정입니다.
GCP_USERNAME GCP 사용자 계정의 사용자 이름입니다.
HOST GCP 사용자 계정의 호스트 이름입니다.

복제 설정 확인

설정이 완료되면 Cloud SQL 복제본이 외부 서버에서 복제할 수 있는지 확인합니다.

먼저 외부 동기화 설정이 올바른지 확인합니다. 이를 위해 아래 명령어를 사용하여 확인합니다.

  • Cloud SQL 복제본과 외부 서버 간 연결
  • 사용자 권한 복제
  • 버전 호환성
  • Cloud SQL 복제본은 아직 복제하지 않습니다.
  • Binlog는 외부 서버에서 사용 설정되어 있습니다.
  • RDS 외부 서버에서 외부 동기화를 시도하고 Google Cloud 버킷을 사용하는 경우 GTID가 사용 설정되어 있습니다.

Cloud Shell 터미널을 열고 다음 명령어를 입력하여 외부 동기화 설정이 올바른지 확인합니다.

curl

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "skipVerification": "SKIP_VERIFICATION",
         "mysqlSyncConfig": {
           "syncFlags": SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE/verifyExternalSyncSettings

예시

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/myproject/instances/myreplica/verifyExternalSyncSettings

동기화 플래그 포함 예시

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "skipVerification": false,
         "mysqlSyncConfig": {
             "syncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}, {"name": "databases", "value": "db1 db2"}]"
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/verifyExternalSyncSettings
속성 설명
SYNC_MODE verifyExternalSyncSettings는 복제가 설정된 후 Cloud SQL 복제본과 외부 서버를 동기화 상태로 유지할 수 있는지 확인합니다. 동기화 모드에는 EXTERNAL_SYNC_MODE_UNSPECIFIED, ONLINE, OFFLINE이 있습니다.
SKIP_VERIFICATION 데이터를 동기화하기 전에 기본 제공 검증 단계를 건너뛸지 여부입니다. 이미 복제 설정을 확인한 경우에만 권장됩니다.
SYNC_FLAGS 확인할 초기 동기화 플래그 목록입니다. 소스에서 복제할 때 커스텀 동기화 플래그를 사용하려는 경우에만 권장됩니다. 허용되는 플래그 목록은 여기를 참조하세요.
PROJECT_ID Google Cloud의 프로젝트 ID입니다.
REPLICA_INSTANCE Cloud SQL 복제본의 ID입니다.

외부 서버에서 복제 시작

외부 서버에서 복제할 수 있음을 확인한 후에는 복제를 수행할 수 있습니다. 복제본이 시간당 25~50GB를 가져올 것으로 예상합니다.

초기 가져오기 프로세스 중에는 외부 서버에서 DDL 작업을 수행하지 않습니다. 이렇게 하면 가져오는 동안 불일치가 발생할 수 있습니다. 가져오기 프로세스가 완료되면 복제본은 외부 서버에서 바이너리 로그를 사용하여 외부 서버의 현재 상태를 반영합니다.

curl

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "SYNC_MODE",
         "skipVerification": "SKIP_VERIFICATION",
         "mysqlSyncConfig": {
           "syncFlags": "SYNC_FLAGS"
         }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE/startExternalSync

예시

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "skipVerification": false
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync

동기화 플래그 포함 예시

gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
     --header 'Content-Type: application/json' \
     --data '{
         "syncMode": "online",
         "skipVerification": false,
         "mysqlSyncConfig": {
             "syncFlags": [{"name": "max-allowed-packet", "value": "1073741824"}, {"name": "hex-blob"}, {"name": "compress"}, {"name": "databases", "value": "db1 db2"}]"
             }
       }' \
     -X POST \
     https://sqladmin.googleapis.com/sql/v1beta4/projects/MyProject/instances/replica-instance/startExternalSync
속성 설명
SYNC_MODE 복제가 설정된 후 Cloud SQL 복제본과 외부 서버를 동기화 상태로 유지할 수 있는지 확인합니다.
SKIP_VERIFICATION 데이터를 동기화하기 전에 기본 제공 검증 단계를 건너뛸지 여부입니다. 이미 복제 설정을 확인한 경우에만 권장됩니다.
SYNC_FLAGS 확인할 초기 동기화 플래그 목록입니다. 소스에서 복제할 때 커스텀 동기화 플래그를 사용하려는 경우에만 권장됩니다. 허용되는 플래그 목록은 여기를 참조하세요.
PROJECT_ID Google Cloud의 프로젝트 ID입니다.
REPLICA_INSTANCE Cloud SQL 복제본의 ID입니다.

허용되는 기본 초기 동기화 플래그

관리형 가져오기를 사용할 때 복제를 설정하면 mysqldump는 기본적으로 다음 플래그로 실행됩니다.

  • --host=[HOST_SPECIFIED_IN_SOURCE_CONFIG]
  • --port=[PORT_SPECIFIED_IN_SOURCE_CONFIG]
  • --ssl-ca=[SSL_CA_SPECIFIED_IN_SOURCE_CONFIG]
  • --ssl-cert=[SSL_CERT_SPECIFIED_IN_SOURCE_CONFIG]
  • --ssl-key=[SSL_KEY_SPECIFIED_IN_SOURCE_CONFIG]
  • --master-data=[SPECIFIED_BY_SYNC_MODE_AND_SOURCE_GTID_MODE]
  • --set-gtid-purged=AUTO
  • --single-transaction
  • --hex-blob
  • --compress
  • --no-autocommit
  • --default-character-set=utf8mb4
  • --databases [ALL_NON_SYSTEM_DBS]
  • --add-drop-table
  • --routines

대부분의 고객에게 이 구성을 제공하는 것이 좋습니다.

그러나 특정한 경우에는 커스텀 동기화 플래그를 지정해야 할 수도 있습니다. 허용되는 플래그는 다음과 같습니다.

  • --add-drop-database
  • --add-drop-table
  • --add-drop-trigger
  • --add-locks
  • --all-databases
  • --allow-keywords
  • --all-tablespaces
  • --apply-slave-statements
  • --column-statistics
  • --comments
  • --compact
  • --compatible
  • --complete-insert
  • --compress
  • --compression-algorithms
  • --create-options
  • --databases
  • --default-character-set
  • --delayed-insert
  • --disable-keys
  • --dump-date
  • --events
  • --exclude-databases
  • --extended-insert
  • --fields-enclosed-by
  • --fields-escaped-by
  • --fields-optionally-enclosed-by
  • --fields-terminated-by
  • --flush-logs
  • --flush-privileges
  • --force
  • --get-server-public-key
  • --hex-blob
  • --ignore-error
  • --ignore-read-lock-error
  • --ignore-table
  • --insert-ignore
  • --lines-terminated-by
  • --lock-all-tables
  • --lock-tables
  • max_allowed_packet
  • --net-buffer-length
  • --network-timeout
  • --no-autocommit
  • --no-create-db
  • --no-create-info
  • --no-data
  • --no-defaults
  • --no-set-names
  • --no-tablespaces
  • --opt
  • --order-by-primary
  • --pipe
  • --quote-names
  • --quick
  • --replace
  • --routines
  • --secure-auth
  • --set-charset
  • --shared-memory-base-name
  • --show-create-skip-secondary-engine
  • --skip-opt
  • --ssl-cipher
  • --ssl-fips-mode
  • --ssl-verify-server-cert
  • --tables
  • --tls-ciphersuites
  • --tls-version
  • --triggers
  • --tz-utc
  • --verbose
  • --xml
  • --zstd-compression-level

허용되는 값은 MySQL 공개 문서를 참조하세요.

전역 읽기 잠금 권한

외부 서버에서 전역 읽기 잠금에 액세스할 수 있는 권한이 없고 GTID가 사용 중지된 경우 Amazon RDS라면 다음 단계에 설명된 대로 서버에 대한 쓰기를 일시중지해야 합니다.

  1. 로그 뷰어로 이동하여 리소스 목록에서 Cloud SQL 복제본을 선택합니다. Cloud SQL 복제본의 최근 로그 목록이 표시됩니다. 지금은 무시하세요.
  2. 터미널을 열고 이 단계 아래의 명령어를 입력하여 외부 서버에서 복제합니다.
  3. 로그 뷰어로 돌아갑니다. 아래 로그가 표시되면 외부 서버에서 데이터베이스 쓰기를 중지합니다. 대부분의 경우 이는 몇 초 동안만 필요합니다.

       DUMP_IMPORT(START): Start importing data, please pause any write to the
       external primary database.
    
  4. 로그 뷰어에 아래와 같은 로그가 표시되면 외부 서버의 데이터베이스에 쓰기를 다시 사용 설정합니다.

       DUMP_IMPORT(SYNC): Consistent state on primary and replica. Writes to the
       external primary may resume.
    

복제 진행

외부 서버에서 복제를 시작하면 복제를 모니터링한 후 마이그레이션을 완료해야 합니다. 자세한 내용은 복제 모니터링을 참조하세요.

문제 해결하기

자세한 내용을 보려면 표의 링크를 클릭하세요.

문제 문제 해결하기
Lost connection to MySQL server during query when dumping table. 소스를 사용할 수 없거나 덤프가 너무 큰 패킷을 포함하고 있을 수 있습니다.

외부 기본 프로젝트를 연결할 수 있는지 확인하거나 max_allowed_packet 옵션으로 mysqldump를 사용합니다.

관리형 가져오기 마이그레이션에 mysqldump 플래그를 사용하는 방법에 대한 자세한 내용은 허용되는 기본 초기 동기화 플래그를 참조하세요.

초기 데이터 마이그레이션이 성공했지만 복제 중인 데이터가 없습니다. 한 가지 가능한 근본 원인은 소스 데이터베이스에서 복제 플래그를 정의하여 일부 또는 전체 데이터베이스 변경사항이 복제되지 않기 때문일 수 있습니다.

binlog-do-db, binlog-ignore-db, replicate-do-db, replicate-ignore-db와 같은 복제 플래그가 충돌 방식으로 설정되어 있지 않은지 확인합니다.

기본 인스턴스에서 show master status 명령어를 실행하여 현재 설정을 확인합니다.

초기 데이터 마이그레이션에 성공했지만 얼마 후 데이터 복제가 더 이상 작동하지 않습니다. 해결 방법:

  • Google Cloud Console의 Cloud Monitoring 섹션에서 복제본 인스턴스의 복제 측정항목을 확인합니다.
  • MySQL IO 스레드 또는 SQL 스레드의 오류는 mysql.err log 파일의 Cloud Logging에서 확인할 수 있습니다.
  • 이 오류는 복제본 인스턴스에 연결할 때도 찾을 수 있습니다. SHOW SLAVE STATUS 명령어를 실행하고 출력에서 다음 필드를 확인합니다.
    • Slave_IO_Running
    • Slave_SQL_Running
    • Last_IO_Error
    • Last_SQL_Error
mysqld check failed: data disk is full. 복제본 인스턴스의 데이터 디스크가 가득 찼습니다.

복제본 인스턴스의 디스크 크기를 늘립니다. 수동으로 디스크 크기를 늘리거나 스토리지 자동 증가를 사용 설정할 수 있습니다.

복제 로그 검토

복제 설정을 확인하면 로그가 생성됩니다. 이러한 로그를 확인하려면 다음 단계를 따르세요.

  • Google Cloud Console의 로그 뷰어로 이동합니다.

    로그 뷰어로 이동

  • 인스턴스 드롭다운에서 Cloud SQL 복제본을 선택합니다.
  • replication-setup.log 로그 파일을 선택합니다.
  • Cloud SQL 복제본이 외부 서버에 연결될 수 없는 경우 다음을 확인합니다.

    • 외부 서버의 모든 방화벽이 Cloud SQL 복제본의 발신 IP 주소의 연결을 허용하도록 구성되어 있습니다.
    • SSL/TLS 구성이 올바릅니다.
    • 복제 사용자, 호스트, 비밀번호가 올바릅니다.

다음 단계