Cloud Storage תואם לפלטפורמות אחרות לאחסון אובייקטים, כך שאפשר לשלב נתונים ממקורות שונים בצורה חלקה. בדף הזה מתוארים הכלים של Cloud Storage שבעזרתם תוכלו לנהל נתוני אובייקטים בפלטפורמות שונות.
API בפורמט XML
אפשר להשתמש ב-API בפורמט XML של Cloud Storage עם ספריות וכלים מסוימים שפועלים עם שירותים כמו Amazon Simple Storage Service (Amazon S3). כדי להשתמש בכלים ובספריות האלה ב-Cloud Storage, משנים את נקודת הקצה של הבקשה שהכלי או הספרייה משתמשים בה ל-URI של Cloud Storage: https://storage.googleapis.com
, ולאחר מכן מגדירים את הכלי או את הספרייה לשימוש במפתחות HMAC של ה-Cloud Storage. הוראות מפורטות לתחילת העבודה זמינות במאמר בנושא מיגרציה פשוטה מ-Amazon Simple Storage Service (Amazon S3).
אימות באמצעות תהליך חתימה V4
תהליך חתימה V4 מאפשר ליצור בקשות חתומות ל-API בפורמט XML של Cloud Storage. כשמבצעים תהליך חתימה V4, יוצרים חתימה שאפשר להשתמש בה בכותרת הבקשה כדי לבצע אימות. תוכלו לבצע את תהליך החתימה באמצעות חתימת RSA, או באמצעות פרטי הכניסה שלכם ל-Amazon S3 ול-HMAC. למידע נוסף על אימות בקשות, ראו חתימות.
Google Cloud CLI
עדיף בדרך כלל להשתמש בכלי שורת הפקודה CLI של gcloud לגישה ל-Cloud Storage. הוא גם מאפשר לגשת לשירותי אחסון אחרים בענן שמשתמשים באימות HMAC, כמו Amazon S3, ולעבוד איתם. אחרי שמוסיפים את פרטי הכניסה של Amazon S3 ל- ~/.aws/credentials, אפשר להתחיל להשתמש בפקודות gcloud storage
כדי לנהל אובייקטים בקטגוריות של Amazon S3. לדוגמה:
הפקודה הבאה מציגה רשימה של האובייקטים בקטגוריה
my-aws-bucket
של Amazon S3:gcloud storage ls s3://my-aws-bucket
הפקודה הבאה מסנכרנת נתונים בין קטגוריה של Amazon S3 לקטגוריה של Cloud Storage:
gcloud storage rsync s3://my-aws-bucket gs://example-bucket --delete-unmatched-destination-objects --recursive
למידע נוסף, כולל הסבר על האופטימיזציה של הסנכרון, עיינו במסמכי העזרה של gcloud storage rsync
.
אישור לא תקין משמות קטגוריות של Amazon S3 שמכילים נקודות
לפעמים כשמנסים לגשת באמצעות ה-CLI של gcloud לקטגוריה של Amazon S3 שבשם שלה יש נקודה, מקבלים שגיאת invalid certificate
. הסיבה לכך היא ש-Amazon S3 לא תומכת בכתובות URL של קטגוריות באירוח וירטואלי שבשם שלהן יש נקודות. כשעובדים עם משאבים של Amazon S3, אפשר להגדיר את ה-CLI של gcloud לשימוש בכתובות URL של קטגוריות בסגנון נתיב. לשם כך, צריך להגדיר את storage/s3_endpoint_url
באופן הבא:
storage/s3_endpoint_url https://s3.REGION_CODE.amazonaws.com
כאשר REGION_CODE
הוא האזור שמכיל את הקטגוריה שמבקשים. לדוגמה, us-east-2
.
אפשר לשנות את המאפיין storage/s3_endpoint_url
באחת מהדרכים הבאות:
באמצעות פקודת
gcloud config set
, שתפעיל את המאפיין על כל פקודות ה-CLI של gcloud.יצירת הגדרה עם שם ייחודי שתפעל על כל פקודה בנפרד, באמצעות הדגל
--configuration
ברמת הפרויקט כולו.
שורת הפקודה gsutil
gsutil הוא כלי מדור קודם לגישה ל-Cloud Storage משורת הפקודה. הוא גם מאפשר לגשת לשירותי אחסון אחרים בענן שמשתמשים באימות HMAC, כמו Amazon S3, ולעבוד איתם. אחרי שמוסיפים את פרטי הכניסה של Amazon S3 ל- ~/.aws/credentials, אפשר להתחיל להשתמש ב-gsutil כדי לנהל אובייקטים בקטגוריות של Amazon S3. לדוגמה:
הפקודה הבאה מציגה רשימה של האובייקטים בקטגוריה
my-aws-bucket
של Amazon S3:gsutil ls s3://my-aws-bucket
הפקודה הבאה מסנכרנת נתונים בין קטגוריה של Amazon S3 לקטגוריה של Cloud Storage:
gsutil rsync -d -r s3://my-aws-bucket gs://example-bucket
למידע נוסף, כולל פרטים על אופן הגדרת gsutil לאופטימיזציה של הסנכרון הזה, עיינו במסמכי העזרה של gsutil rsync.
אישור לא תקין משמות קטגוריות של Amazon S3 שמכילים נקודות
לפעמים כשמנסים לגשת באמצעות ה-gsutil לקטגוריה של Amazon S3 שבשם שלה יש נקודה, מקבלים שגיאת invalid certificate
. הסיבה לכך היא ש-Amazon S3 לא תומכת בכתובות URL של קטגוריות באירוח וירטואלי שבשם שלהן יש נקודות. כשעובדים עם משאבים של Amazon S3, אפשר להגדיר את gsutil לנסות להשתמש בכתובות URL של קטגוריות בסגנון נתיב, על ידי הוספת הערך הבא לקובץ התצורה של .boto ל-gsutil:
[s3]
calling_format = boto.s3.connection.OrdinaryCallingFormat
ייבוא נתונים באמצעות Storage Transfer Service
בעזרת Storage Transfer Service אפשר לייבא בקלות כמויות גדולות של נתונים אונליין ל-Cloud Storage מקטגוריות של Amazon S3, מקונטיינרים של Microsoft Azure Storage וממיקומים כלליים של HTTP/HTTPS. אפשר לתזמן עם Storage Transfer Service העברות חוזרות, למחוק אובייקטים של מקור ולבחור את האובייקטים שיועברו.
בנוסף, כשמשתמשים בהתראות אירועים של Amazon S3, אפשר להגדיר העברות מבוססות-אירועים של Storage Transfer Service כדי להאזין להתראות כאלה ולשמור אוטומטית על סנכרון בין קטגוריה של Cloud Storage למקור של Amazon S3.
המאמרים הבאים
- איך לבצע במהירות מיגרציה פשוטה מ-Amazon S3 ל-Cloud Storage.
- יצירת חתימה לאימות בקשות.