Deep learning per la classificazione di immagini

1. Il problema della classificazione di immagini

Data un'immagine di input, il processo di image classification (o image recognition) restituisce l'etichetta di una classe, scelta tra un insieme predefinito, e spesso una probabilità (o score) associata alla classe restituita. Di solito la classe restituita si riferisce all'oggetto predominante nell'immagine analizzata. Da ormai una quindicina d'anni questi problemi vengono affrontati sempre più spesso con l'uso di Convolutional Neural Network (CNN). Le applicazioni spaziano dall'organizzazione automatica di foto alla ricerca visiva, dalla realtà aumentata al riconoscimento biometrico.

2. Perché le reti tradizionali non bastano

Le reti neurali tradizionali (MLP — Multi-Layer Perceptron) presentano diversi svantaggi quando vengono usate per l'elaborazione delle immagini:

• Un neurone per ogni input: il numero di pesi cresce rapidamente e diventa ingestibile per immagini di grandi dimensioni. Per un'immagine 600 × 400 con 3 canali RGB si hanno 600 · 400 · 3 = 720.000 neuroni di input; un singolo layer con 5 neuroni richiederebbe 720.000 · 5 = 3,6 milioni di pesi e connessioni;
• Nessuna invarianza per traslazione: un MLP reagisce in modo diverso a un'immagine e alla sua versione traslata;
• La relazione spaziale viene persa: i pixel adiacenti sono fondamentali perché definiscono le caratteristiche dell'immagine.

3. La corteccia visiva: simple e complex cell

Nel 1968, Hubel e Wiesel (due neuroscienziati) dimostrarono che l'apparato visivo dei mammiferi presenta un'architettura a strati: quando le informazioni sono trasmesse dagli occhi al cervello si formano rappresentazioni sempre più complesse mano a mano che le informazioni arrivano negli strati più profondi. Nella corteccia visiva umana, le rappresentazioni complesse generate da complex cell sono realizzate combinando tra loro le risposte ottenute da simple cell:

• le simple cell rispondono solamente agli edge con una particolare orientazione presenti in una determinata zona della scena (il receptive field);
• le complex cell rispondono solamente agli edge con una particolare orientazione indipendentemente dalla zona della scena in cui si trovano (invarianza spaziale).

L'invarianza spaziale è ottenuta «sommando» il contributo di simple cell che rispondono tutte alla stessa orientazione ma con campi visivi diversi. Il concetto che cellule semplici possano essere «combinate» per creare cellule più complesse è alla base del sistema visivo umano ma anche delle Convolutional Neural Network usate negli odierni sistemi di computer vision.

4. Le tre idee delle CNN: locale, condiviso, pooling

Le Convolutional Neural Network (CNN) sono state introdotte a partire dal 1998. Le principali differenze rispetto a un Multi-Layer Perceptron sono:

1. Processing locale: i neuroni sono connessi solo localmente ai neuroni del livello precedente → forte riduzione del numero di connessioni;
2. Pesi condivisi: i pesi sono condivisi a gruppi; neuroni diversi dello stesso livello eseguono lo stesso tipo di elaborazione su porzioni diverse dell'input → forte riduzione del numero di pesi;
3. Alternanza di livelli di feature extraction e pooling.

Sono esplicitamente progettate per processare immagini, per le quali elaborazione locale, pesi condivisi e pooling non solo semplificano il modello, ma lo rendono più efficace rispetto ai modelli fully-connected. Una CNN è una gerarchia di livelli: il livello di input è direttamente collegato ai pixel dell'immagine; i livelli intermedi usano connessioni locali e pesi condivisi per individuare feature discriminanti; gli ultimi livelli sono generalmente fully-connected e operano come un classificatore. Le connessioni locali e condivise fanno sì che porzioni diverse dell'immagine vengano processate nello stesso modo: un comportamento desiderato, perché regioni diverse del campo visivo contengono lo stesso tipo di informazioni (bordi, spigoli, porzioni di oggetti).

5. La convoluzione: filtri, stride e padding

La convoluzione è una delle più importanti operazioni di image processing (già incontrata nel capitolo 2), attraverso la quale si applicano filtri digitali. Un filtro viene fatto scorrere sulle diverse posizioni dell'input; per ogni posizione viene generato un valore di output eseguendo il prodotto scalare di Frobenius tra il filtro e la porzione di input coperta. Se consideriamo i pixel come neuroni, le immagini di input e di output come livelli successivi di una rete e i pesi del filtro come pesi delle connessioni, un neurone esegue di fatto una convoluzione: net = Σ_{i=1…9} in_i · w_i. L'obiettivo dell'operazione è estrarre feature dal volume di input mantenendo la relazione spaziale tra i neuroni.

L'input è un volume 3D di dimensione W_I × H_I × C (es. l'immagine RGB) e un insieme di K filtri (kernel) di dimensione F × F × C; l'output è un volume 3D di dimensione W_O × H_O × K composto da K feature map. I kernel presentano lo stesso numero di canali del volume di input: per i canali multipli si esegue la convoluzione tra ogni canale di input e il corrispondente canale del kernel e i risultati vengono sommati per ottenere un'unica feature map per kernel. Quando il filtro scorre sul volume si può usare un passo (Stride) maggiore di 1, riducendo la dimensione delle feature map; si può inoltre aggiungere un bordo di zeri al volume di input, il cui spessore è denotato dal parametro Padding:

W_out = (W_in − F + 2·Padding) / Stride + 1

Importante: una CNN apprende autonomamente i valori dei filtri durante l'addestramento. Solitamente il primo layer di convoluzione individua feature di basso livello (bordi, colore, orientamento del gradiente); i successivi livelli distinguono feature sempre più di alto livello.

6. Pooling e la parte fully-connected

L'obiettivo del pooling è ridurre la dimensione della feature map mantenendo le informazioni più importanti. Il pooling: diminuisce il numero di parametri della rete (riducendo il rischio di overfitting e la potenza di calcolo necessaria); rende la rete robusta rispetto a piccole trasformazioni, distorsioni, traslazioni e cambiamenti di scala dell'input. L'operazione consiste nell'aggregare i valori di input facendo scorrere una finestra di dimensione prefissata e calcolando un singolo valore di output per ogni posizione. L'aggregazione opera generalmente nell'ambito di ciascuna feature map (il numero di feature map resta invariato); gli operatori più usati sono la media (Avg) e il massimo (Max). Come per la convoluzione, stride e padding modificano le dimensioni di output, ma in un livello di pooling non vi sono parametri addestrabili.

La parte fully-connected — lo scopo è usare le feature individuate dai livelli precedenti per classificare l'immagine in base al training set. Il volume di output della parte di estrazione delle feature viene linearizzato (vettore di m = W·H·C valori) e dato in input a un MLP. L'aggiunta di uno o più livelli fully-connected è anche un modo semplice per apprendere combinazioni non lineari delle feature estratte. La parte fully-connected usa Softmax come funzione di attivazione del livello di output, assicurando che la somma delle probabilità di output sia 1:

softmax(x)_i = e^{x_i} / Σ_k e^{x_k}

7. LeNet-5: il modello base

Nel 1998, Lecun, Bottou, Bengio e Haffner introdussero una CNN per classificare cifre scritte a mano. Il modello, chiamato LeNet-5, è composto da:

• tre convolutional layer (C1, C3 e C5);
• due livelli di average pooling (S2 e S4);
• due livelli fully-connected (F6 e Output).

È la prima rete che usa convolutional layer e pooling per l'estrazione di feature spaziali. Per introdurre non-linearità usa la funzione tanh nei layer C1, C3, C5 e F6; come ottimizzatore il mini-batch Gradient Descent (SGD). Ha circa 60K parametri. È stata addestrata sul database MNIST: 70K immagini (60K training, 10K test) di caratteri scritti a mano 32 × 32 in 10 classi, raggiungendo un'accuratezza del 99% sul test. Contributi: convolutional e pooling layer per l'estrazione di feature spaziali; LeNet-5 rappresenta il «modello base» per ogni CNN (conv + pooling intervallati per l'estrazione, uno o più livelli FC per la classificazione). Svantaggi: utilizzabile su immagini in scala di grigi (1 canale) di piccole dimensioni (32 × 32) e con un numero di classi limitato (10).

8. Addestrare una CNN: mini-batch gradient descent

Il processo di addestramento di una rete neurale si riassume in questi step:

1. inizializzazione casuale dei pesi della rete;
2. un'immagine viene data in input e tramite la forward-propagation si ottengono le probabilità di output per ogni classe;
3. si calcola l'errore del livello di output come scostamento tra l'output prodotto e quello desiderato;
4. con la back-propagation si calcolano i gradienti dell'errore rispetto a tutti i pesi e si usa la discesa del gradiente per aggiornare i parametri così da ridurre al minimo l'errore;
5. si ripetono gli step 2–4 per tutte le immagini del training set.

Mini-batch Gradient Descent (o SGD) è l'approccio più utilizzato. A ogni epoca (la presentazione di tutti gli esempi del training set) gli n pattern sono ordinati casualmente e suddivisi in mini-batch di uguale dimensione (size_mb); i valori del gradiente sono accumulati in variabili temporanee e l'aggiornamento dei pesi avviene solo quando tutti i pattern di un mini-batch sono stati processati. Casi limite: size_mb = 1 → stochastic; size_mb = n → batch; 1 < size_mb < n → mini-batch. Un'iterazione è la presentazione degli esempi di un mini-batch e il conseguente aggiornamento dei pesi; un'epoca contiene quindi n/size_mb iterazioni.

9. AlexNet: ReLU, dropout e data augmentation

Nel 2012, Krizhevsky, Sutskever e Hinton proposero AlexNet, una CNN con architettura simile a LeNet composta da cinque convolutional layer, tre livelli di max pooling e tre livelli fully-connected. È la prima rete a usare ReLU per introdurre non-linearità (dopo ogni convolutional e fully-connected layer), aumentando la velocità di apprendimento. Usa inoltre Local Response Normalization (LRN) per limitare l'aumento incontrollato dell'output e migliorare la generalizzazione; overlapping max pooling invece dell'average; dropout (p = 0.5) nei primi due livelli fully-connected; SGD come ottimizzatore. Addestrata con 1,2M immagini in 1000 classi (ImageNet), con data augmentation sia in training sia in test; con circa 60M di parametri servirono quasi sei giorni su due GPU (GTX 580). AlexNet vinse con largo margine l'ImageNet LSVRC-2012 con un error rate del 15,3% (contro il 26,2% del secondo classificato). Contributi: ReLU, dropout, data augmentation, addestramento parallelo su più GPU. Svantaggio: elevato numero di parametri (~60M).

ReLU

La funzione di attivazione determina l'output del neurone in funzione del suo livello di eccitazione. Nelle reti profonde, per risolvere il problema del vanishing gradient, la funzione più usata è la ReLU (Rectified Linear Unit): f(net) = max(0, net). Vantaggi: la derivata vale 0 per valori negativi o nulli di net e 1 per valori positivi; è efficiente da calcolare rispetto a sigmoide o tanh. Svantaggi: è una funzione non limitata, che potrebbe far «esplodere» il valore di output del neurone; per valori negativi restituisce 0, disattivando i neuroni corrispondenti e riducendo la capacità di adattamento della rete.

Dropout

Il dropout (introdotto nel 2012) è un metodo di regolarizzazione per ridurre l'overfitting causato dall'alto numero di parametri rispetto agli esempi di training. Durante il training, per ogni immagine ogni neurone ha una probabilità p di essere ignorato nelle fasi di forward e backward: ogni input passa attraverso una diversa architettura della rete, aumentando la robustezza dei parametri appresi. In fase di test si usa l'intera rete ma l'output viene ridotto di un fattore p per tenere conto dei neuroni ignorati in training. Il dropout aumenta il numero di iterazioni necessarie per convergere, ma il tempo per un'epoca di addestramento si riduce.

Data augmentation

La data augmentation riduce l'overfitting e il problema della disponibilità limitata di dati: aumenta quantità, qualità e variabilità del training set aggiungendo copie modificate di dati già presenti o generando nuovi dati sintetici. Esempi: traslazione, rotazione, riscalatura, flipping, stretching, cropping, modifica di colori, luminosità e contrasto, aggiunta di rumore, cancellazioni casuali, mix di immagini.

10. VGGNet e GoogLeNet: profondità, inception e kernel 1×1

VGGNet (2014)

Il Visual Geometry Group propose VGGNet, architettura simile ad AlexNet composta da 13 convolutional layer (VGG-16), cinque livelli di max pooling e tre livelli fully-connected. A differenza di AlexNet applica in cascata kernel a dimensione costante 3 × 3, riducendo il numero di parametri; non usa LRN (aumenta memoria e tempi senza migliorare le prestazioni); usa dropout (p = 0.5) nei primi due livelli FC e SGD. Esistono versioni con diverso numero di layer convoluzionali: VGG-11 (8), VGG-13 (10), VGG-16 (13), VGG-19 (16), addestrate incrementalmente partendo da VGG-11. VGG-16 ha circa 138M di parametri (la maggior parte, ~120M, nei livelli FC) e richiese circa tre settimane su quattro GPU; arrivò seconda all'ImageNet LSVRC-2014 (error rate 7,3%). Contributi: dimostra che la profondità della rete è importante; kernel piccoli aiutano a mantenere basso il numero di parametri. Svantaggi: elevato numero di parametri; con l'aumentare della profondità la capacità di generalizzazione inizia a degradare (overfitting e vanishing gradient).

GoogLeNet (2014)

GoogLeNet è composta da tre convolutional layer, quattro livelli di max pooling, nove inception module, un livello di global average pooling e un livello fully-connected. Usa convoluzioni 1 × 1 per ridurre la complessità computazionale; gli inception module individuano i dettagli dell'immagine a risoluzioni diverse; il global average pooling riduce drasticamente i parametri della parte fully-connected. GoogLeNet ha «solo» 7M di parametri e vinse l'ImageNet LSVRC-2014 con error rate del 6,7%. Svantaggio: troppo complessa per dispositivi mobili/embedded.

Kernel 1×1: la riduzione di complessità

Un livello 5 × 5 su un volume 14 × 14 × 480 con 48 kernel costa 14·14·48·5·5·480 ≃ 112,9M connessioni e 48·5·5·480 ≃ 576K pesi. Applicando prima una convoluzione 1 × 1 (16 kernel 1 × 1 × 480) e poi la 5 × 5 (48 kernel 5 × 5 × 16) si ottengono 14·14·16·1·1·480 + 14·14·48·5·5·16 ≃ 5,3M connessioni e 16·1·1·480 + 48·5·5·16 ≃ 26,9K pesi — un risparmio di oltre 20 volte, a parità di dimensioni del volume di output.

11. ResNet: residual block, skip connection e batch normalization

Nel 2015, He, Zhang, Ren e Sun (Microsoft Research) proposero ResNet (Residual neural Network), composta da un convolutional layer, un max pooling, quattro residual block (B1–B4), un global average pooling e un livello fully-connected. Usa ReLU, SGD e batch normalization dopo ogni convolutional layer e prima dell'attivazione. Per addestrare reti molto profonde evitando il degrado delle prestazioni usa una sequenza di residual block e le skip connection; la riduzione delle dimensioni è ottenuta con stride = 2 in alcuni convolutional layer invece del pooling. Versioni: ResNet-18/34/50/101/152; ResNet-50 ha circa 25M di parametri. ResNet vinse l'ImageNet LSVRC-2015 battendo per la prima volta l'esperto umano (error rate 5,1%): ResNet-50 5,3%, ResNet-152 4,5%, combinazione di 6 modelli 3,6%. Contributi: skip connection (non i primi a usarle), residual block, CNN con più di 150 livelli senza compromettere la generalizzazione, tra i primi a usare batch normalization.

Residual block e skip connection

Ogni blocco è composto da un numero variabile di sotto-blocchi con convolutional layer a numero di kernel costante (64, 128, 256, 512) all'interno del medesimo blocco; le dimensioni spaziali (W e H) restano costanti. Ogni sotto-blocco contiene due convolutional layer e una skip connection che porta l'input del sotto-blocco fino all'output, dove viene sommato con l'output del secondo convolutional layer. Nelle skip connection «tratteggiate» (quando un layer con stride 2 riduce le dimensioni spaziali) si deve effettuare una preventiva riduzione delle dimensioni tramite un convolutional layer 1 × 1 con stride 2 prima di poter eseguire la somma.

Batch normalization

La Batch Normalization (BN) è un livello di normalizzazione addestrabile usato per il problema dell'Internal Covariate Shift (ICS), causato dai cambiamenti delle distribuzioni dei neuroni hidden. Se i sottoinsiemi (mini-batch) si trovano in regioni diverse dello spazio delle feature, l'addestramento «rimbalza» avanti e indietro tra le distribuzioni rallentando la convergenza. La BN attenua il problema normalizzando, per ogni mini-batch, l'output dei neuroni hidden prima della funzione di attivazione. I parametri di riscalatura γ e traslazione β sono introdotti per lasciar decidere alla rete se applicare la normalizzazione o meno (γ = √(σ²ℬ + ε), β = μℬ). In fase di prediction (immagini singole) non è possibile calcolare μ e σ²: alla fine del training si calcolano le statistiche di normalizzazione sull'intero dataset. La dimensione dei mini-batch assume maggiore importanza; BN è usata nella maggior parte delle CNN moderne, accelerando considerevolmente la convergenza, anche se non è dimostrato che riduca effettivamente l'ICS.

12. MobileNet: depthwise separable convolution

Nel 2017 Google propose MobileNet, una rete progettata per funzionare su dispositivi mobile e/o embedded, composta da 27 convolutional layer, un global average pooling e un livello fully-connected. Usa depthwise separable convolution al posto dei classici convolutional layer (riducendo drasticamente il costo computazionale), batch normalization dopo ogni livello, ReLU come attivazione (softmax solo nell'ultimo FC), riduzione spaziale tramite stride, e RMSProp come ottimizzatore. Due iperparametri riducono ulteriormente modello e costo: width multiplier α e resolution multiplier ρ. MobileNet-224 ha circa 4,2M di parametri e su ImageNet raggiunge un'accuratezza dell'89,5% (error rate 10,5%), superando AlexNet con un numero nettamente inferiore di parametri.

Depthwise separable convolution

Divide un kernel in due kernel separati ed esegue in sequenza due operazioni:

1. depthwise convolution: tanti kernel quant'è la profondità C del volume di input, ognuno applicato solo a uno specifico strato dell'input (profondità 1);
2. pointwise convolution: una convoluzione classica in cui ogni kernel ha dimensione 1 × 1 × C, che combina i canali.

Applicando in sequenza le due operazioni si ottiene un volume di output con le stesse dimensioni della convoluzione classica, ma con un costo molto inferiore:

Convoluzione classica:          W_O · H_O · N · F · F · C
Depthwise separable:            W_O · H_O · C · F · F · 1 + W_O · H_O · N · 1 · 1 · C

Nell'esempio delle slide (8 × 8, C = 3, F = 5, N = 256): convoluzione classica ≃ 1229K moltiplicazioni; depthwise separable = 4800 + 49152 ≃ 54K, cioè il 4,4%. Svantaggio: riducendo troppo i parametri, una rete troppo piccola potrebbe non apprendere correttamente durante l'addestramento; usata correttamente, migliora l'efficienza senza ridurre in maniera significativa l'accuratezza.

13. Il confronto su ImageNet, ViT e Swin

L'ImageNet Large Scale Visual Recognition Challenge (ILSVRC) è una competizione internazionale annuale sulle prestazioni di diversi problemi di computer vision su un sottoinsieme di ImageNet: 1000 classi, 1,2M immagini di training, 50K di validation, 100K di test. La tabella seguente riassume i modelli visti (l'errore di LeNet-5 non è riportato perché non addestrata su ImageNet):

ViT e Swin: i Transformer per la visione

ViT (Vision Transformer, 2020, Google Research) è il primo Transformer progettato per l'image recognition: l'immagine viene suddivisa in regioni non sovrapposte 16 × 16; ogni regione è linearizzata e integrata con la posizione relativa nell'immagine originale; i vettori sono dati in input a un Transformer Encoder che codifica le relazioni tra le regioni. Su ImageNet raggiunge l'88% (error rate 12%), risultati comparabili con le CNN.

Swin (Shifted Window, 2021, Microsoft Research Asia) è un Transformer gerarchico: per ogni livello, l'immagine è divisa in finestre non sovrapposte, ogni finestra in patch non sovrapposte, ogni patch è linearizzata e integrata con la posizione; lungo la gerarchia le finestre vengono shiftate per catturare connessioni tra livelli, e fuse progressivamente (riducendo la risoluzione, aumentando i canali). Su ImageNet raggiunge l'87% (error rate 13%).

14. Pre-processing e transfer learning

Image pre-processing — in uno scenario reale le immagini presentano differenze che, se non standardizzate, riducono sensibilmente le prestazioni: dimensione, risoluzione, contrasto, luminosità, numero di canali (RGB/grayscale), pixel range ([0,255] vs [0,1]), errori di etichettatura. Non esiste una «ricetta» unica: si devono analizzare le immagini a disposizione e selezionare le operazioni più opportune. Operazioni comuni: resize, aspect ratio, crop, conversione in grayscale, allineamento, normalizzazione del colore.

Transfer learning — il training di reti complesse su dataset di grandi dimensioni può richiedere giorni o settimane anche su più GPU, e un nuovo problema richiede un training set etichettato di notevoli dimensioni. Con transfer learning si intende un insieme di tecniche per adattare un modello pre-addestrato (su uno specifico dominio per un determinato task) a un nuovo dominio o task:

• estrattore di feature: si estraggono da uno o più livelli intermedi le feature generate dalla rete e si usano per addestrare un classificatore tradizionale (es. SVM) sul nuovo dominio;
• fine-tuning: si parte da una rete pre-addestrata su un problema simile, si rimpiazza il livello di output con un nuovo livello softmax (adeguando il numero di classi), si inizializzano i pesi con quelli della rete pre-addestrata tranne le connessioni tra penultimo e ultimo livello (random), e si eseguono nuove iterazioni di addestramento sul nuovo dataset.

Keras e PyTorch forniscono modelli pre-addestrati pronti all'uso per classificazione, estrazione di feature e fine-tuning. Il motivo per cui servono grandi quantità di dati: le reti moderne contengono milioni (o miliardi) di parametri addestrabili e, per ottenere buone prestazioni, devono vedere un numero proporzionale di esempi.

Verifica le tue conoscenze