Video Content Analysis: movimento, tracking e azioni

1. Cos'è la Video Content Analysis: definizione e task

Con il termine Video Content Analysis (VCA) si intende «la capacità di analizzare automaticamente un flusso video per rilevare e determinare eventi temporali e spaziali». In questo contesto si parla spesso di semantic video understanding: il processo di analisi di una sequenza video per individuare — localizzare e riconoscere — le «entità» presenti e gli eventi che si verificano, attribuendo un significato alla scena (es. «la persona 1 prende in giro la persona 2 e scappa», «la persona 3 calcia la persona 1», «la persona 4 interrompe il combattimento»).

I principali task che la VCA affronta sono:

• Video segmentation — camera statica, obiettivo: separare il background statico dal foreground in movimento;
• Shot boundary detection — la camera può muoversi, obiettivo: rilevare i cambi di scena;
• Motion segmentation — isolare i singoli oggetti in movimento, ciascuno con un movimento coerente nel video;
• Object tracking — tracciare lo spostamento di uno o più oggetti in movimento (camera statica o in movimento);
• Mosaicing, segmentazione di oggetti, apprendimento di modelli dinamici, stima della struttura 3D, riconoscimento di eventi e attività, miglioramento della qualità del video.

2. Ambiti applicativi e problemi aperti

La VCA trova applicazione in ambiti molto diversi: informazioni sul traffico, sport (analisi di partite e movimenti), auto a guida autonoma, produzione di film, sorveglianza (surveillance) e interazione uomo-macchina (human computer interaction).

I problemi che rendono difficile l'analisi video sono numerosi:

• cambiamenti nell'ambiente (es. illuminazione);
• movimento della camera (distinto dal movimento degli oggetti);
• camere multiple da sincronizzare e fondere;
• oggetti multipli da disambiguare;
• occlusioni (parziali o totali);
• movimenti rapidi, maggiori del frame rate;
• oggetti di forma complessa, non rigida o articolata;
• scarsa disponibilità di dataset etichettati (l'annotazione video è costosa).

3. Visual motion e motion estimation

Un video è una sequenza di frame catturati nel corso del tempo: i valori dell'immagine sono funzione dello spazio (x, y) e del tempo (t), cioè I(x, y, t). La variabilità osservabile nelle tre dimensioni non è omogenea. La percezione umana del movimento sfrutta le differenze tra frame consecutivi: un oggetto si dice in movimento se cambia la sua posizione rispetto al background.

La motion estimation può essere affrontata in due famiglie di metodi:

• Feature-based — si estraggono feature visuali (es. corner, keypoints, vedi capitolo 7) e le si tracciano nei frame consecutivi. Produce uno sparse motion field, è robusto per il tracking e adatto quando il movimento tra frame consecutivi è ampio;
• Metodi diretti (o densi) — calcolano direttamente il movimento di ciascun pixel dalla variazione di luminosità nello spazio-tempo (optical flow). Producono un dense motion field, sono sensibili alle variazioni dell'immagine e adatti quando il cambiamento tra frame consecutivi è limitato.

4. Sottrazione del background: frame differencing, media e mediana

La background subtraction è molto usata per rilevare oggetti in movimento da telecamere statiche: l'idea è individuare gli oggetti in movimento osservando la differenza tra il frame corrente e un frame di riferimento che rappresenti il background (frame differencing). Siano I(x, y, t) il frame e B(x, y, t) il background al tempo t: la maschera di foreground è costituita da tutti i pixel per i quali:

|I(x, y, t) − B(x, y, t)| > th

La sfida: il background non è statico — cambia la luminosità (gradualmente o all'improvviso), la telecamera oscilla, gli oggetti del background si muovono (es. rami), la scena cambia (es. auto parcheggiate). La domanda chiave è: come stimare B(x, y, t)?

• Frame precedente: B(x, y, t) = I(x, y, t−1). Semplicissimo, ma l'efficacia dipende fortemente dalla struttura degli oggetti, dalla loro velocità, dal frame rate e dalla soglia adottata;
• Media degli n frame precedenti: B(x, y, t) = (1/n) Σ_i=0..n−1 I(x, y, t−i). Il parametro n va fissato in relazione a frame rate e velocità di variazione della scena;
• Mediana degli n frame precedenti: B(x, y, t) = mediana{I(x, y, t−i), i = 1..n}, nell'ipotesi che il background sia il valore più probabile per un pixel. Più costosa della media: richiede di conoscere e ordinare tutti gli n valori (per la media basta la media precedente e n).

Vantaggi delle stime semplici: estremamente semplici da implementare, sufficientemente veloci, modello di background adattivo. Svantaggi: le prestazioni dipendono dalla velocità di oggetti e frame rate, sono computazionalmente costosi e la soglia è fissa (non funzione di t), quindi molto sensibile al suo valore.

5. Gaussian Mixture Model: un background multimodale

Stauffer e Grimson (CVPR 1999) propongono di associare a ciascun pixel una mixture di distribuzioni Gaussiane (media e varianza) che ne modellano l'intensità: una rappresentazione in grado di modellare background multimodali (es. un pixel che alterna foglie, acqua, tende). La memorizzazione dei parametri richiede meno spazio rispetto alla mediana; l'inizializzazione può avvenire osservando un piccolo intorno di ciascun pixel; il background è variabile, quindi a ogni frame i parametri vanno aggiornati (modello adattivo).

• L'intensità di ciascun pixel è descritta da K distribuzioni Gaussiane (K ≈ 3–5); ogni Gaussiana i ha peso w_i,t, media μ_i,t e matrice di covarianza σ²_i,t;
• La probabilità di osservare il pixel x_t è P(x_t) = Σ_i=1..K w_i,t · η(x_t, μ_i,t, σ²_i,t), con η funzione di densità di probabilità;
• Un pixel «appartiene» alla Gaussiana i se μ_i,t − γ_i·σ_i,t < x_t < μ_i,t + γ_i·σ_i,t, con γ_i parametro eventualmente diverso per ogni distribuzione.

Aggiornamento (per la distribuzione a cui il pixel appartiene; le altre non vengono aggiornate, ma i loro pesi decadono):

w_i,t   = (1 − α)·w_i,t−1 + α
μ_i,t   = (1 − ρ)·μ_i,t−1 + ρ·x_t
σ²_i,t  = (1 − ρ)·σ²_i,t−1 + ρ·(x_t − μ_i,t)(x_t − μ_i,t)ᵀ
ρ       = α · η(x_t | μ_i,t−1, σ²_i,t−1)     (α = learning rate)

Se il pixel non appartiene ad alcuna distribuzione, la distribuzione meno probabile viene sostituita con una nuova distribuzione con media x_t, alta varianza e peso iniziale basso.

Selezione del background: il background è rappresentato dalle distribuzioni con bassa varianza e supporto elevato. Le Gaussiane vengono ordinate per rapporto w_i/σ_i decrescente (valore elevato = alto supporto e bassa varianza) e le prime B distribuzioni sono scelte come background con B = argmin_b Σ_i=1..b w_i > T_B. A ogni iterazione i pixel che non appartengono a nessuna delle distribuzioni di background sono etichettati come foreground.

Vantaggi: la «soglia» è locale per ogni pixel, il modello è adattivo, gli oggetti possono entrare a far parte del background senza «distruggere» il modello esistente. Svantaggi: non gestisce i cambiamenti improvvisi, è sensibile all'inizializzazione (es. median filtering) e ha parametri da valutare con attenzione.

Queste semplici tecniche evidenziano i pixel in movimento ma non ne descrivono il movimento: per analisi video approfondite servono motion detection and tracking più avanzati.

6. Object tracking: rappresentazioni, feature e categorie

L'obiettivo dell'object tracking è tracciare lo spostamento di uno o più oggetti in un flusso video. Gli algoritmi proposti in letteratura si differenziano per come rispondono a tre domande: qual è la rappresentazione più opportuna dell'oggetto? Quali sono le feature più adatte? Come modellare movimento, aspetto e forma?

Object shape representation

• Punto — l'oggetto è rappresentato da un singolo punto, generalmente il baricentro: adatto quando gli oggetti sono piccoli rispetto all'immagine;
• Semplici forme geometriche — rettangolo o ellisse, con movimento modellato da traslazioni, trasformazioni affini o omografiche; usate per oggetti rigidi (a volte anche articolati);
• Contorni e silhouette — il contorno definisce il confine, la regione interna è la silhouette: adatti a forme articolate;
• Modelli articolati — parti connesse da articolazioni, con relazioni gestite da modelli cinematici;
• Modelli scheletrici — generati applicando la medial axis transform alla silhouette; utili per oggetti rigidi e articolati.

Object feature representation

• Colore — RGB per l'image processing; HSL, Luv, Lab per le feature; istogrammi colore e color moments;
• Edge — rappresentano i contorni, meno sensibili ai cambi di illuminazione del colore;
• Optical flow — assegna a ogni pixel del frame corrente un vettore che punta alla posizione dello stesso pixel nel frame successivo;
• Texture — misurano la variazione di intensità sulle superfici (es. matrici di co-occorrenza).

Object detection e categorie di tracking

Tutti i metodi di tracking usano meccanismi di object detection (a ogni frame, o quando un oggetto appare la prima volta): template matching, keypoint detector, deep learning (capitoli 9, 7 e 12) o background subtraction + etichettatura delle componenti connesse. Gli algoritmi di tracking si dividono in tre macro-categorie: point tracking (l'oggetto è un punto, es. il baricentro; l'associazione tra punti su frame consecutivi avviene sullo stato dell'oggetto), kernel tracking (il kernel è forma+feature, es. rettangolo con istogramma colore; il movimento è stimato come trasformazione parametrica) e silhouette tracking (si stima a ogni frame la regione occupata, confrontando forme o evoluzione del contorno).

7. Il filtro di Kalman: predire, ridurre il rumore, associare

Il filtro di Kalman è un filtro ricorsivo che valuta lo stato di un sistema dinamico a partire da misure soggette a rumore. Si usa in qualsiasi applicazione in cui si disponga di informazioni incerte sullo stato di un sistema dinamico e si possa fare un'ipotesi plausibile sullo stato futuro. Per l'object tracking ha tre proprietà preziose: predice la posizione futura dell'oggetto, riduce il rumore introdotto da rilevamenti inaccurati (object detection) e facilita l'associazione di un oggetto alla corrispondente traccia.

Esempio (robot in uno spazio 2D) — stato x̂ = (x̂, ŷ). Per stimare lo stato al tempo t conoscendo lo stato al tempo t−1:

1. si calcola la posizione al tempo t applicando il modello matematico del movimento;
2. essendo il modello affetto da errore, si ottiene una funzione di densità di probabilità rappresentata da media e matrice di covarianza;
3. tramite il sensore (object detection) viene rilevata la posizione, anch'essa affetta da errore;
4. si calcola il Kalman gain;
5. si stima lo stato al tempo t: x̂_t;
6. si aggiorna la covarianza;
7. si ricomincia dal punto 1.

8. Mean-shift: inseguire le mode della distribuzione del colore

Mean-shift è un metodo non parametrico per la ricerca delle mode di una funzione di densità di probabilità. Nel tracking viene usato per oggetti il cui aspetto è modellabile con la distribuzione del colore (es. istogramma colore): è utile per oggetti articolati (es. una persona che cammina) per cui è difficile specificare un modello matematico del movimento.

L'oggetto da tracciare viene scelto nel primo frame (manualmente o con object detection) e le feature colore vengono estratte da una regione rettangolare o ellissoidale. Date le feature q e la posizione (x, y) dell'oggetto nel frame t−1: si imposta la regione di interesse (RoI) nel frame t centrata in (x, y), poi si individua il candidato più simile all'interno della RoI usando una funzione di similarità tra distribuzioni del colore; la nuova posizione è la media pesata dei punti nella finestra, spostata verso la densità più alta, iterando fino alla convergenza.

9. GOTURN: il primo tracker deep learning

Nel 2016 viene proposto GOTURN (Generic Object Tracking Using Regression Networks), uno dei primi metodi di object tracking (di un singolo oggetto) basato su deep learning:

• il modello è costituito da due CNN (ognuna con cinque convolutional layer) che prendono in input rispettivamente i crop del frame corrente e del frame precedente, entrambi centrati sulla detection del frame precedente;
• l'output delle due CNN viene concatenato e passato a tre fully-connected layer;
• il livello di output contiene quattro neuroni che rappresentano la bounding box dell'oggetto.

10. Action e activity recognition: eventi, azioni, attività

È il processo che associa a un flusso video un'etichetta o una descrizione che esprime l'azione/attività compiuta dai soggetti presenti nella scena. Termini chiave:

• evento — un singolo momento nel tempo (es. una porta che si chiude);
• azione — un movimento «atomico», un singolo gesto (es. mettersi a sedere);
• attività — una serie di azioni che avvengono simultaneamente (es. interazione tra persone).

L'osservazione chiave dei temporal templates è che un umano riconosce un'azione anche senza informazioni dettagliate: dai soli punti in movimento si intuisce che qualcuno cammina o si siede — l'azione si può rilevare dal movimento stesso.

11. Temporal templates: MEI, MHI e momenti di Hu

La Motion Energy Image (MEI) è una rappresentazione binaria che mette in risalto le regioni in cui è presente movimento:

Eτ(x, y, t) = ∪_{i=0..τ−1} D(x, y, t−i)

dove D(x, y, t) è una sequenza di immagini binarie che mostrano le regioni in cui vi è stato movimento tra due frame contigui (es. differenza binarizzata con una soglia).

La Motion History Image (MHI) è un'immagine in cui l'intensità di ogni pixel è funzione di quanto recentemente vi è stato movimento in quella posizione: più recente è il movimento, più alto è il valore. MEI e MHI insieme formano il temporal template della sequenza.

I momenti invarianti sono una particolare media pesata dell'intensità dei pixel. Dato un'immagine I(x, y), il momento semplice M_ij = Σ_xΣ_y xⁱy^jI(x, y); i momenti centrali (invarianti per traslazione) μ_pq = Σ_xΣ_y (x−x̄)^p(y−ȳ)^q I(x, y), con x̄ = M₁₀/M₀₀ e ȳ = M₀₁/M₀₀ componenti del centroide. I 7 momenti di Hu (h₁…h₇) sono combinazioni dei momenti centrali invarianti per traslazione, rotazione e scala e producono un descrittore di forma spazio-temporale globale:

h1 = μ20 + μ02
h2 = (μ20 − μ02)² + 4·μ11²
h3 = (μ30 − 3μ12)² + (3μ21 − μ03)²
h4 = (μ30 + μ12)² + (μ21 + μ03)²
h5 = (μ30 − 3μ12)(μ30 + μ12)[(μ30 + μ12)² − 3(μ21 + μ03)²] + (3μ21 − μ03)(μ21 + μ03)[3(μ30 + μ12)² − (μ21 + μ03)²]
h6 = (μ20 − μ02)[(μ30 + μ12)² − (μ21 + μ03)²] + 4μ11(μ30 + μ12)(μ21 + μ03)
h7 = (3μ21 − μ03)(μ30 + μ12)[(μ30 + μ12)² − 3(μ21 + μ03)²] − (μ30 − 3μ12)(μ21 + μ03)[3(μ30 + μ12)² − (μ21 + μ03)²]

Addestramento: 1) si generano i temporal template (MEI+MHI) delle sequenze di training; 2) si calcolano i momenti di Hu di ogni template; 3) per ogni tipo di azione si genera un modello statistico (media μ e matrice di covarianza S) dei momenti di Hu. Riconoscimento: 1) temporal template della sequenza di input; 2) momenti di Hu x; 3) distanza di Mahalanobis D_M(x) = (x−μ)ᵀS⁻¹(x−μ) da tutti i modelli; 4) l'etichetta restituita è quella del modello con distanza minore.

12. RGB-D e un approccio multimodale al riconoscimento di attività

Molti approcci recenti usano sensori RGB-D (es. Kinect) che acquisiscono, oltre ai canali RGB, la profondità dei punti della scena. Sfruttando la profondità operano in modo ottimale in ambienti indoor (il sensore IR arriva, nei casi migliori, a 6–7 metri); Kinect permette il tracking di individui e l'estrazione di informazioni scheletrali, fondamentali in questo dominio. Le sfide dei video RGB-D: cambi di illuminazione (RGB), color camouflage (foreground simile al background nel colore), depth camouflage (profondità simile) e out of sensor range (oggetti troppo vicini o lontani).

Franco, Magnani e Maio (Pattern Recognition Letters, 2020) propongono un approccio multimodale che combina le informazioni sullo scheletro (estratte dalle mappe di profondità, per catturare le pose assunte durante le attività) con le immagini RGB (per modellare l'evoluzione temporale e l'interazione con gli oggetti):

• Codifica dello scheletro — da un sottoinsieme di joints (j_a, j_b, j_c) e i relativi angoli θ, φ, α si costruisce una configurazione di 28 angoli derivati da 15 joints scheletrali;
• Modello Bag-of-Words — ogni frame è rappresentato da un vettore di feature (concatenazione ordinata degli angoli); dato l'altissimo numero di frame (non tutti significativi) e la forte variabilità tra soggetti, ogni attività è codificata come istogramma normalizzato di occorrenze di pose chiave: il dizionario W delle pose di riferimento si ottiene con K-Means sul training set, e ogni vettore di feature è associato alla parola più vicina;
• Classificazione — la componente scheletro è classificata con una Random Forest;
• Temporal Image Gradient (TIG) — per la componente RGB si usano sezioni del volume 3D di frame, centrate sul joint della vita e ritagliate: i cambiamenti nel tempo e i pattern di movimento emergono chiaramente; le TIG (di dimensioni variabili) sono codificate con descrittori HOG (a lunghezza fissa) e classificate da M SVM lineari, una per porzione del volume 3D, fuse sommando gli score;
• gli output dei due classificatori sono combinati (somma) per il riconoscimento finale dell'attività.

Verifica le tue conoscenze