Anda dapat mengupload log yang ada ke instance Vertex AI TensorBoard yang dibuat dengan pelatihan secara lokal, pelatihan di luar Vertex AI, dibuat oleh rekan kerja, merupakan contoh log, atau dibuat menggunakan instance Vertex AI TensorBoard yang berbeda. Log dapat dibagikan di antara beberapa instance Vertex AI TensorBoard.
Vertex AI TensorBoard menawarkan Google Cloud CLI dan Vertex AI SDK untuk Python untuk mengupload log TensorBoard. Anda dapat mengupload log dari lingkungan mana pun yang dapat terhubung ke Google Cloud.
Vertex AI SDK untuk Python
Pemantauan berkelanjutan
Untuk pemantauan berkelanjutan, panggil aiplatform.start_upload_tb_log
di awal
pelatihan.
SDK akan membuka thread baru untuk mengupload. Thread ini memantau data baru di direktori, dan menguploadnya ke eksperimen Vertex AI TensorBoard Anda.
Setelah pelatihan selesai, panggil end_upload_tb_log
untuk mengakhiri thread uploader.
Perhatikan bahwa setelah memanggil start_upload_tb_log()
, thread Anda akan tetap aktif meskipun
pengecualian ditampilkan. Untuk memastikan thread dinonaktifkan, masukkan kode apa pun setelah
start_upload_tb_log()
dan sebelum end_upload_tb_log()
dalam
pernyataan try
, lalu panggil end_upload_tb_log()
di finally
.
Vertex AI SDK untuk Python
tensorboard_experiment_name
: Nama eksperimen TensorBoard yang akan diupload.logdir
: Lokasi direktori untuk memeriksa log TensorBoard.tensorboard_id
: ID instance TensorBoard. Jika tidak ditetapkan,tensorboard_id
diaiplatform.init
akan digunakan.project
: Project ID Anda. Anda dapat menemukan Project ID di halaman sambutan Konsol Google Cloud.location
: Lokasi tempat instance TensorBoard Anda berada.experiment_display_name
: Nama tampilan eksperimen.run_name_prefix
: Jika ada, semua operasi yang dibuat oleh pemanggilan ini akan diberi awalan oleh nilai ini.description
: Deskripsi string yang akan ditetapkan ke eksperimen.
Logging satu kali
Mengupload log TensorBoard
Panggil aiplatform.upload_tb_log
untuk melakukan upload satu kali log TensorBoard.
Fungsi ini mengupload data yang ada di logdir, lalu segera kembali.
Vertex AI SDK untuk Python
tensorboard_experiment_name
: Nama eksperimen TensorBoard.logdir
: Lokasi direktori untuk memeriksa log TensorBoard.tensorboard_id
: ID instance TensorBoard. Jika tidak ditetapkan,tensorboard_id
diaiplatform.init
akan digunakan.project
: Project ID Anda. Anda dapat menemukan Project ID ini di halaman sambutan Konsol Google Cloud.location
: Lokasi tempat instance TensorBoard Anda berada.experiment_display_name
: Nama tampilan eksperimen.run_name_prefix
: Jika ada, semua operasi yang dibuat oleh pemanggilan ini akan diberi awalan oleh nilai ini.description
: Deskripsi string yang akan ditetapkan ke eksperimen.verbosity
: Tingkat panjang statistik, bilangan bulat. Nilai yang didukung: 0 - Tidak ada statistik upload yang akan dicetak. 1 - Mencetak statistik upload saat mengupload data (default).
Mengupload log profil
Panggil aiplatform.upload_tb_log
untuk mengupload log profil TensorBoard ke eksperimen.
Vertex AI SDK untuk Python
experiment_name
: Nama eksperimen TensorBoard.logdir
: Lokasi direktori untuk memeriksa log TensorBoard.project
: Project ID Anda. Anda dapat menemukan Project ID ini di halaman sambutan Konsol Google Cloud.location
: Lokasi tempat instance TensorBoard Anda berada.run_name_prefix
: Untuk data profil, ini adalah awalan run. Format direktori dalam LOG_DIR harus cocok dengan format berikut:/RUN_NAME_PREFIX/plugins/profile/YYYY_MM_DD_HH_SS/
allowed_plugins
: Daftar plugin tambahan yang akan diizinkan. Untuk mengupload data profil, ini harus menyertakan"profile"
gcloud CLI
- (Opsional) Buat lingkungan virtual khusus untuk menginstal Python CLI upload Vertex AI TensorBoard.
python3 -m venv PATH/TO/VIRTUAL/ENVIRONMENT source PATH/TO/VIRTUAL/ENVIRONMENT/bin/activate
PATH/TO/VIRTUAL/ENVIRONMENT
: lingkungan virtual khusus Anda.
- Instal paket Vertex AI TensorBoard melalui Vertex AI SDK.
pip install -U pip pip install google-cloud-aiplatform[tensorboard]
- Mengupload log TensorBoard
- Data Deret Waktu dan Blob
tb-gcp-uploader --tensorboard_resource_name \
TENSORBOARD_RESOURCE_NAME
\ --logdir=LOG_DIR
\ --experiment_name=TB_EXPERIMENT_NAME
--one_shot=True - Data Profil
tb-gcp-uploader \ --tensorboard_resource_name
TENSORBOARD_RESOURCE_NAME
\ --logdir=LOG_DIR
--experiment_name=TB_EXPERIMENT_NAME
\ --allowed_plugins="profile" --run_name_prefix=RUN_NAME_PREFIX
\ --one_shot=True
- Data Deret Waktu dan Blob
-
TENSORBOARD_RESOURCE_NAME
: Nama Resource TensorBoard yang digunakan untuk mengidentifikasi instance Vertex AI TensorBoard sepenuhnya. LOG_DIR
: Lokasi log peristiwa yang berada di sistem file lokal atau Cloud StorageTB_EXPERIMENT_NAME
: Nama eksperimen TensorBoard, misalnyatest-experiment
.RUN_NAME_PREFIX
: Untuk data profil, ini adalah awalan run. Format direktori dalamLOG_DIR
harus cocok dengan format berikut:/RUN_NAME_PREFIX/plugins/profile/YYYY_MM_DD_HH_SS/
CLI uploader secara default berjalan tanpa batas waktu, memantau perubahan di LOG_DIR
, dan mengupload log yang baru ditambahkan. --one_shot=True
menonaktifkan
perilaku tersebut. Jalankan tb-gcp-uploader --help
untuk mengetahui informasi selengkapnya.