Modelli Visione-Linguaggio (VLM): La Nuova Frontiera dell’AI Multimodale
I modelli visione-linguaggio (VLM) rappresentano una delle evoluzioni più significative dell’Intelligenza Artificiale multimodale.
Questi, infatti, combinano la capacità di analizzare immagini con quella di comprendere e generare linguaggio, consentendo alle macchine di interpretare contenuti visivi e riconoscere relazioni tra oggetti e contesti.
Il loro sviluppo nasce dall’incontro tra la computer vision e i modelli linguistici di grandi dimensioni (LLM), e punta a superare i limiti dei sistemi tradizionali, spesso progettati per svolgere un solo compito alla volta.
La computer vision è una branca dell’AI che ha come obiettivo l’interpretazione del mondo fisico da parte delle macchine attraverso immagini e video, ricavando informazioni utili per prendere decisioni.
Dai modelli specializzati ai LLM
Per anni, la ricerca si è concentrata su modelli specializzati, addestrati per classificare immagini o riconoscere volti e oggetti. Ciascuno di essi veniva ottimizzato per una funzione specifica, senza però possedere la capacità di descrivere il materiale analizzato.
La diffusione dei LLM ha però modificato in modo profondo questo scenario.
Questi ultimi sono modelli di deep learning, addestrati su enormi quantità di testi.
Proprio questa massa di materiale permette all’AI di “imparare a comprendere” il linguaggio umano e a generare risposte coerenti.
Possono, per esempio, tradurre testi, riassumere documenti, rispondere a domande e scrivere codici.
Il loro funzionamento si basa sulla capacità di prevedere, un elemento alla volta, quale sarà il token successivo di una sequenza, utilizzando le relazioni linguistiche apprese durante l’addestramento.
Per sviluppare queste competenze, i modelli elaborano grandi raccolte di testi provenienti da Internet, libri e altre fonti.
Di fatto, stiamo parlando della tecnologia che permette a chatbot come ChatGPT di “comunicare” con gli utenti usando linguaggio naturale.
Il limite principale dei modelli linguistici tradizionali è tuttavia evidente: ricevono testo e restituiscono testo, senza possedere per forza una abilità diretta di elaborare immagini o altri tipi di contenuti.
Possono descrivere un tramonto perché hanno appreso come viene raccontato nelle parole, ma non per questo dispongono di una vera e propria comprensione visiva della scena.
Il limite dei modelli solo testuali
Da questa esigenza è nata una domanda centrale per i ricercatori: cosa accadrebbe se un modello fosse in grado di elaborare anche immagini, audio e altre modalità di input?
I Vision-Language Models costituiscono una delle risposte a questa sfida.
Un VLM è una categoria di AI multimodale che integra l’elaborazione visiva con quella testuale.
Combinando la già citata computer vision e Natural Language Processing (NLP), questi sistemi possono affrontare attività nelle quali è necessario mettere in relazione informazioni provenienti da immagini e linguaggio.
Rispetto ai modelli tradizionali, non si limitano a individuare un elemento o a stabilire una corrispondenza tra volti.
I VLM cercano di interpretare il contesto e il significato di ciò che viene rappresentato.
Descrivere una fotografia, rispondere a una domanda relativa a un video o seguire un’istruzione formulata a partire da un’immagine sono esempi del lavoro che svolgono.
Cos’è un VLM e qual è la sua architettura
La differenza rispetto a un LLM solo testuale riguarda soprattutto il modo in cui viene rappresentato il significato.
Un modello linguistico può produrre una descrizione dettagliata di un tramonto sul mare, ma la sua conoscenza deriva dalle associazioni apprese nei testi.
Un VLM, invece, viene addestrato su milioni di coppie di immagini e testi, imparando a collegare parole come tramonto a colori, sfumature e forme.
Il collegamento tra linguaggio e percezione costituisce quindi uno degli elementi distintivi di questa tecnologia.
Dal punto di vista tecnico, l’architettura di un modello visione-linguaggio comprende diversi componenti, ciascuno con una funzione precisa.
Il primo è l’image encoder, responsabile dell’estrazione delle caratteristiche visive dall’immagine originale.
In molte architetture, l’immagine viene suddivisa in porzioni, chiamate patch, che vengono elaborate da un Vision Transformer per ottenere rappresentazioni numeriche delle informazioni visive.
Queste rappresentazioni devono poi essere collegate al linguaggio attraverso il vision-language projector, un modulo che trasferisce le caratteristiche visive nello stesso spazio dimensionale degli embedding testuali, spesso utilizzando un multilayer perceptron (MLP).
Sul versante linguistico intervengono il tokenizer e l’embedding layer.
Il primo trasforma le parole in identificativi numerici, detti token ID, mentre il secondo converte tali identificativi in vettori densi che ne rappresentano le relazioni semantiche.
La positional encoding fornisce al modello informazioni sull’ordine degli elementi, aiutandolo a interpretare correttamente la sequenza del testo.
A questo punto, le informazioni estratte dall’immagine vengono combinate con quelle testuali, consentendo al modello di analizzare insieme i due tipi di contenuto.
Infine, il decoder-only language model utilizza queste informazioni per generare una risposta, producendo un token alla volta. In questo modo, il sistema può collegare ciò che vede a ciò che esprime attraverso il linguaggio.
L’importanza dell’addestramento
Un ruolo determinante è svolto dai dati di addestramento.
La qualità, l’accuratezza e l’affidabilità di un VLM dipendono in larga misura dai dataset impiegati e dalla correttezza delle associazioni tra immagini e descrizioni.
Raccogliere e organizzare questi contenuti è più complesso rispetto alla gestione di soli testi, perché ogni elemento visivo deve essere abbinato a informazioni linguistiche pertinenti.
La selezione e la verifica dei dati diventano pertanto attività essenziali visto che, se mal gestite, possono portare successivamenti a errori e persino alle ormai famigerate allucinazioni.
L’importanza dei Dataset di Addestramento
Tra le raccolte più utilizzate figura LAION-5B, che comprende oltre 5 miliardi di coppie immagine-testo ottenute attraverso un processo di selezione basato su CLIP e include descrizioni in più lingue.
Un’altra risorsa è il Public Multimodal Dataset (PMD), costruito a partire da raccolte su larga scala come COCO e Conceptual Captions, con circa 70 milioni di coppie immagine-testo.
Per il Visual Question Answering (VQA), invece, sono disponibili dataset con oltre 200.000 immagini, associate a più domande, risposte corrette e alternative errate, utili per affinare le capacità di ragionamento visivo.
Rimane rilevante anche ImageNet, che contiene oltre 14 milioni di immagini etichettate secondo la gerarchia semantica di WordNet e continua a essere impiegato per attività di classificazione e riconoscimento degli oggetti.
Le applicazioni dei VLM sono già concrete.
La generazione automatica delle descrizioni delle immagini (in gergo image captioning) facilita l’accessibilità dei contenuti e l’organizzazione di grandi archivi digitali.
Il VQA consente invece di porre domande specifiche su una fotografia e ottenere risposte pertinenti al suo contenuto.
L’image-text retrieval introduce ulteriori possibilità per la ricerca: combinando interrogazioni testuali e immagini, permette di individuare contenuti sulla base di caratteristiche visive e descrizioni linguistiche, ampliando le modalità con cui si possono esplorare archivi e raccolte multimediali.
Le criticità dei VLM
I progressi, tuttavia, non eliminano le criticità legate a questa tecnologia.
Integrare un modello visivo con uno linguistico aumenta la complessità dell’architettura e rende più impegnative le operazioni di addestramento.
I risultati dipendono inoltre dai pregiudizi presenti nei dati: un modello può apprendere associazioni scorrette o riprodurre schemi distorti anziché distinguere correttamente le caratteristiche degli oggetti.
Anche il ragionamento rimane limitato quando occorre ricostruire relazioni articolate tra elementi visivi e descrizioni testuali.
A ciò si aggiungono le già citate allucinazioni e le difficoltà di generalizzazione a immagini lontane da quelle incontrate durante l’addestramento.
I costi computazionali, infine, possono essere elevati sia nella fase di sviluppo sia durante l’utilizzo operativo.
Il tutto senza calcolare le questioni etiche e giuridiche legate all’impiego di immagini raccolte dal Web, soprattutto per quanto riguarda il consenso e i diritti di utilizzo.
Non solo: recenti ricerche confermano che la comprensione multimodale non coincide necessariamente con una capacità visiva affidabile in ogni circostanza.
Il “Paradosso della Comprensione Visiva”
Nel maggio 2025, uno studio presentato alla conferenza ACL da Shivam Chandhok, Wan-Cyuan Fan, Vered Shwartz, Vineeth N. Balasubramanian e Leonid Sigal ha esaminato le difficoltà nel riconoscere gli oggetti presenti in un’immagine, comprenderne la posizione reciproca e contare quanti elementi dello stesso tipo compaiono nella scena.
Lo studio, intitolato Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities, evidenzia come prestazioni linguistiche convincenti possano coesistere con lacune nella comprensione visiva di base.
Lo sviluppo dei VLM mira a rendere l’AI sempre più capace di comprendere le informazioni visive e collegarle al linguaggio. L’obiettivo va oltre il riconoscimento degli elementi presenti in una raffigurazione, ma abbraccia anche l’interpretazione di ciò che rappresentano, per rispondere in modo pertinente alle richieste dell’utente.
Considerazioni finali
Chi lavora nel settore sta già operando in una direzione chiara, cercando di perfezionare le architetture dei modelli e di garantire dati di addestramento più affidabili.
I limiti attuali restano significativi, ma i VLM rappresentano già una componente importante dell’evoluzione dell’AI multimodale che, nel corso dei prossimi mesi e anni, sembra destinata a evolvere ulteriormente.
