Coba Gemini 1.5 Pro, model multimodal kami yang paling canggih di Vertex AI, dan lihat apa yang dapat Anda bangun dengan jendela konteks token 1 juta. Coba Gemini 1.5 Pro, model multimodal kami yang paling canggih di Vertex AI, dan lihat apa yang dapat Anda bangun dengan jendela konteks token 1 juta.

Anotasi video streaming

Halaman ini menjelaskan cara mengambil analisis streaming video dari file terpisah atau dari data yang diarsipkan. Baca streaming video live untuk mempelajari cara menganotasi streaming video live.

Anda dapat menggunakan API streaming (StreamingVideoIntelligenceService) untuk deteksi video real-time dengan fitur berikut:

Anda dapat menggunakan Vertex AI AutoML untuk fitur berikut:

Menggunakan Streaming API

Anda dapat membagi file video menjadi potongan-potongan dan melakukan streaming setiap bagian menggunakan gRPC untuk mengirim beberapa pesan ke layanan streaming Video Intelligence API. Pesan pertama hanya dapat berisi pesan StreamingVideoConfig. Semua pesan berikutnya hanya boleh berisi data video.

Layanan streaming Video Intelligence API menampilkan respons yang berisi hasil berdasarkan fitur yang Anda tentukan dalam konfigurasi video.

Dalam permintaan gRPC, Anda menulis data biner langsung ke aliran data. Anda tidak perlu mengonversi konten video ke base64.

Sebaiknya pertahankan ukuran potongan video Anda kurang dari 10 MB.

Dengan Video Intelligence, Anda juga dapat menentukan bucket Google Cloud Storage untuk hasil Anda.

Codec Video yang Didukung

Video Intelligence mendukung format video umum berikut:

Format	Notes
MTS, FLV	Semua format video MTS dan FLV didukung.
MP4 (MPEG4), MOV, 3GP	Atom MOOV harus berada di awal file. Anda dapat menggunakan alat ffmpeg untuk menempatkan atom MOOV di awal file video, seperti ditunjukkan dalam contoh berikut: $ ffmpeg -i input_file.mp4 -c copy -map 0 -movflags faststart output_file.mp4
MKV, WebM	Isyarat harus berada di awal file. Anda dapat menggunakan alat mkclean untuk memindahkan tanda ke awal file, seperti ditunjukkan dalam contoh berikut: $ mkclean --keep-cues --optimize in.mkv out.mkv $ mkclean --keep-cues --optimize --doctype 4 in.webm out.webm

Format

Notes

MTS, FLV

Semua format video MTS dan FLV didukung.

MP4 (MPEG4), MOV, 3GP

Atom MOOV harus berada di awal file.

Anda dapat menggunakan alat ffmpeg untuk menempatkan atom MOOV di awal file video, seperti ditunjukkan dalam contoh berikut:


$ ffmpeg -i input_file.mp4 -c copy -map 0 -movflags faststart output_file.mp4

MKV, WebM

Isyarat harus berada di awal file.

Anda dapat menggunakan alat mkclean untuk memindahkan tanda ke awal file, seperti ditunjukkan dalam contoh berikut:


$ mkclean --keep-cues --optimize in.mkv out.mkv
$ mkclean --keep-cues --optimize --doctype 4 in.webm out.webm

Untuk format video yang tidak tercantum sebagai didukung, Anda dapat menentukan apakah file video mendukung streaming atau tidak menggunakan pipe bernama dan alat ffmpeg. Contoh perintah berikut mendekode video menjadi gambar PNG dengan kecepatan 0,2 fps. Jika file berhasil didekode menggunakan perintah ini, Anda dapat melakukan streaming menggunakan layanan streaming Video Intelligence.

$ mkfifo /tmp/inpipe
$ ffmpeg -i /tmp/inpipe -r 0.2 output_%04d.png
$ cat [FILE NAME] > /tmp/inpipe