Preparare i dati di addestramento delle immagini per il rilevamento di oggetti

Questa pagina descrive come preparare i dati di addestramento delle immagini da utilizzare in una Set di dati Vertex AI per addestrare un modello di rilevamento di oggetti immagine.

La sezione Scopo che segue include informazioni sui requisiti dei dati, sul file dello schema di input/output e sul formato dei file di importazione dei dati (JSON Lines e CSV) definiti dallo schema.

Rilevamento di oggetti

Requisiti dei dati

Requisiti generali delle immagini
Tipi di file supportati
  • JPEG
  • PNG
  • GIF
  • BMP
  • ICO
Tipi di immagini

I modelli AutoML sono ottimizzati di oggetti nel mondo reale.

Dimensioni del file dell'immagine di addestramento (MB) Dimensione massima 30 MB.
Dimensioni del file immagine di previsione* (MB) Dimensione massima 1,5 MB.
Dimensioni immagine (pixel)

È consigliabile un massimo di 1024 x 1024 pixel.

Per le immagini molto più grandi di 1024 x 1024 pixel, la qualità dell'immagine potrebbe essere compromessa durante la procedura di normalizzazione delle immagini di Vertex AI.
Requisiti relativi a etichette e riquadri di delimitazione
I seguenti requisiti si applicano ai set di dati utilizzati per addestrare i modelli AutoML.
Etichetta le istanze per l'addestramento

Minimo 10 annotazioni (istanze).
Requisiti per le annotazioni

Per ogni etichetta devono essere presenti almeno 10 immagini, ognuna con almeno un'annotazione (riquadro di delimitazione e l'etichetta).

Tuttavia, per l'addestramento del modello, è consigliabile utilizzare circa 1000 annotazioni per etichetta. In generale, più immagini per etichetta hai, migliore sarà il rendimento del modello.
Rapporto tra le etichette (dall'etichetta più comune a quella meno comune):

Il modello funziona meglio quando ci sono al massimo 100 volte più immagini per l'etichetta più comune che per l'etichetta meno comune.

Per migliorare le prestazioni del modello, si consiglia di rimuovere le etichette con frequenza molto bassa.
Lunghezza del bordo del riquadro di delimitazione

Almeno 0,01 * lunghezza di un lato di un'immagine. Ad esempio, un'immagine di 1000 x 900 pixel richiede riquadri di delimitazione di almeno 10 x 9 pixel.

Dimensioni minime del riquadro di delimitazione: 8 x 8 pixel.
I seguenti requisiti si applicano ai set di dati utilizzati per addestrare modelli AutoML o con addestramento personalizzato.
Riquadri di delimitazione per immagine distinta Massimo 500.
Caselle delimitanti restituite da una richiesta di previsione

100 (valore predefinito), massimo 500.
Requisiti dei dati di addestramento e dei set di dati
I seguenti requisiti si applicano ai set di dati utilizzati per addestrare i modelli AutoML.
Caratteristiche delle immagini di addestramento

I dati di addestramento devono essere il più simili possibile ai dati su cui devono essere effettuate le previsioni.

Ad esempio, se il tuo caso d'uso prevede immagini sfocate e a bassa risoluzione (ad esempio quelle di una videocamera di sicurezza) i dati di addestramento devono essere composti da immagini sfocate e a bassa risoluzione. In generale, ti consigliamo anche di fornire più angolazioni, risoluzioni e sfondi per le immagini di addestramento.

In genere, i modelli Vertex AI non possono prevedere etichette che non possono essere assegnate dagli esseri umani. Pertanto, se un essere umano non può essere addestrato ad assegnare etichette osservando l'immagine per 1-2 secondi, probabilmente neanche il modello può essere addestrato a farlo.
Pre-elaborazione dell'immagine interna

Dopo l'importazione delle immagini, Vertex AI esegue la pre-elaborazione dei dati. Le immagini pre-elaborate sono i dati effettivi utilizzati per addestrare il modello.

La pre-elaborazione (ridimensionamento) delle immagini avviene quando il bordo più piccolo dell'immagine è maggiore di oltre 1024 pixel. Se il lato più piccolo dell'immagine è maggiore di 1024 pixel, questo lato viene ridotto a 1024 pixel. Il lato più grande e i bounding box specificati vengono entrambi ridotti in base alla stessa quantità del lato più piccolo. Di conseguenza, eventuali annotazioni ridotte (riquadro di delimitazione ed etichette) vengono rimosse se sono inferiori a 8 pixel per 8 pixel.

Le immagini con un lato minore o uguale a 1024 pixel non sono soggette al ridimensionamento della preelaborazione.

I seguenti requisiti si applicano ai set di dati utilizzati per addestrare modelli AutoML o con addestramento personalizzato.
Immagini in ogni set di dati Massimo 150.000
Riquadri di delimitazione annotati totali in ogni set di dati Massimo 1.000.000
Numero di etichette in ogni set di dati Minimo 1, massimo 1000

File di schema YAML

Utilizza il seguente file dello schema accessibile pubblicamente per importare le annotazioni per il rilevamento degli oggetti nelle immagini (riquadri di delimitazione ed etichette). Questo file di schema indica il formato dei file di input dei dati. La struttura di questo file segue Schema OpenAPI.

gs://google-cloud-aiplatform/schema/dataset/ioformat/image_bounding_box_io_format_1.0.0.yaml

File di schema completo

title: ImageBoundingBox
description: >
  Import and export format for importing/exporting images together with bounding
  box annotations. Can be used in Dataset.import_schema_uri field.
type: object
required:
- imageGcsUri
properties:
  imageGcsUri:
    type: string
    description: >
      A Cloud Storage URI pointing to an image. Up to 30MB in size.
      Supported file mime types: `image/jpeg`, `image/gif`, `image/png`,
      `image/webp`, `image/bmp`, `image/tiff`, `image/vnd.microsoft.icon`.
  boundingBoxAnnotations:
    type: array
    description: Multiple bounding box Annotations on the image.
    items:
      type: object
      description: >
        Bounding box anntoation. `xMin`, `xMax`, `yMin`, and `yMax` are relative
        to the image size, and the point 0,0 is in the top left of the image.
      properties:
        displayName:
          type: string
          description: >
            It will be imported as/exported from AnnotationSpec's display name,
            i.e. the name of the label/class.
        xMin:
          description: The leftmost coordinate of the bounding box.
          type: number
          format: double
        xMax:
          description: The rightmost coordinate of the bounding box.
          type: number
          format: double
        yMin:
          description: The topmost coordinate of the bounding box.
          type: number
          format: double
        yMax:
          description: The bottommost coordinate of the bounding box.
          type: number
          format: double
        annotationResourceLabels:
          description: Resource labels on the Annotation.
          type: object
          additionalProperties:
            type: string
  dataItemResourceLabels:
    description: Resource labels on the DataItem.
    type: object
    additionalProperties:
      type: string

File di input

Righe JSON

JSON su ogni riga:



{
  "imageGcsUri": "gs://bucket/filename.ext",
  "boundingBoxAnnotations": [
    {
      "displayName": "OBJECT1_LABEL",
      "xMin": "X_MIN",
      "yMin": "Y_MIN",
      "xMax": "X_MAX",
      "yMax": "Y_MAX",
      "annotationResourceLabels": {
        "aiplatform.googleapis.com/annotation_set_name": "displayName",
        "env": "prod"
      }
    },
    {
      "displayName": "OBJECT2_LABEL",
      "xMin": "X_MIN",
      "yMin": "Y_MIN",
      "xMax": "X_MAX",
      "yMax": "Y_MAX"
    }
  ],
  "dataItemResourceLabels": {
    "aiplatform.googleapis.com/ml_use": "test/train/validation"
  }
}

Note sul campo:

  • imageGcsUri - L'unico campo obbligatorio.
  • annotationResourceLabels: può contenere un numero illimitato di coppie di stringhe chiave-valore. L'unica coppia chiave-valore prenotata dal sistema è le seguenti:
    • "aiplatform.googleapis.com/annotation_set_name" : "value"

    Dove value è uno dei nomi visualizzati delle di annotazioni esistenti nel set di dati.

  • dataItemResourceLabels - Può contenere un numero illimitato di coppie chiave-valore. L'unica coppia chiave-valore prenotata dal sistema è che specifica l'insieme di utilizzo del machine learning elemento di dati:
    • "aiplatform.googleapis.com/ml_use" : "training/test/validation"

Esempio di righe JSON - object_detection.jsonl:



{"imageGcsUri": "gs://bucket/filename1.jpeg", "boundingBoxAnnotations": [{"displayName": "Tomato", "xMin": "0.3", "yMin": "0.3", "xMax": "0.7", "yMax": "0.6"}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "test"}}
{"imageGcsUri": "gs://bucket/filename2.gif", "boundingBoxAnnotations": [{"displayName": "Tomato", "xMin": "0.8", "yMin": "0.2", "xMax": "1.0", "yMax": "0.4"},{"displayName": "Salad", "xMin": "0.0", "yMin": "0.0", "xMax": "1.0", "yMax": "1.0"}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "training"}}
{"imageGcsUri": "gs://bucket/filename3.png", "boundingBoxAnnotations": [{"displayName": "Baked goods", "xMin": "0.5", "yMin": "0.7", "xMax": "0.8", "yMax": "0.8"}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "training"}}
{"imageGcsUri": "gs://bucket/filename4.tiff", "boundingBoxAnnotations": [{"displayName": "Salad", "xMin": "0.1", "yMin": "0.2", "xMax": "0.8", "yMax": "0.9"}], "dataItemResourceLabels": {"aiplatform.googleapis.com/ml_use": "validation"}}
...

CSV

Formato CSV:

[ML_USE],GCS_FILE_PATH,[LABEL],[BOUNDING_BOX]*
 Elenco di colonne
  • ML_USE (facoltativo). Per la suddivisione dei dati durante l'addestramento di un modello. Utilizza TRAINING, TEST o VALIDATION. Per ulteriori informazioni sulla suddivisione manuale dei dati, consulta Informazioni sulle suddivisioni di dati per i modelli AutoML.
  • GCS_FILE_PATH. Questo campo contiene l'URI Cloud Storage per l'immagine. Gli URI Cloud Storage sono sensibili alle maiuscole.
  • LABEL. Le etichette devono iniziare con una lettera e contenere solo lettere, numeri e trattini bassi.
  • BOUNDING_BOX. Un riquadro di delimitazione per un oggetto nell'immagine. Se viene specificato un riquadro di delimitazione, è necessario specificare più di una colonna.
    bounding_box
    A. X_MIN,Y_MIN
    B. X_MAX,Y_MIN
    C. X_MAX,Y_MAX
    D. X_MIN,Y_MAX

    Ogni vertice è specificato dai valori delle coordinate x e y. Le coordinate sono in virgola mobile normalizzate valori [0,1]; 0,0 è X_MIN o Y_MIN, 1,0 è X_MAX o Y_MAX.

    Ad esempio, un riquadro di delimitazione per l'intera immagine è espresso come (0,0,,,1,0,1,0,0,1) o (0,0,1,0,0,1,1,0,1).

    Il riquadro di delimitazione di un oggetto può essere specificato in due modi:

    1. Due vertici (due insiemi di coordinate x, y) che sono punti diagonalmente opposti del rettangolo:
      A. X_MIN,Y_MIN
      C. X_MAX,Y_MAX
      come mostrato in questo esempio:
      A,,C,
      X_MIN,Y_MIN,,,X_MAX,Y_MAX,,
    2. Tutti e quattro i vertici specificati come mostrato in:
      X_MIN,Y_MIN,X_MAX,Y_MIN, X_MAX,Y_MAX,X_MIN,Y_MAX,
      Se i quattro vertici specificati non formano un rettangolo parallelo ai bordi dell'immagine, Vertex AI specifica i vertici che formano un simile rettangolo.

CSV di esempio - object_detection.csv:

test,gs://bucket/filename1.jpeg,Tomato,0.3,0.3,,,0.7,0.6,,
training,gs://bucket/filename2.gif,Tomato,0.8,0.2,,,1.0,0.4,,
gs://bucket/filename2.gif
gs://bucket/filename3.png,Baked goods,0.5,0.7,0.8,0.7,0.8,0.8,0.5,0.8
validation,gs://bucket/filename4.tiff,Salad,0.1,0.2,,,0.8,0.9,,
...
Avanti
Crea set di dati