AI nella PA: il modello cambia, il rischio anche. Deriva algoritmica, riesame della DPIA e dovere di spegnere

data poisoning PA

Un software tradizionale fa oggi ciò che faceva ieri.

Un modello di intelligenza artificiale no: il fornitore lo aggiorna, i dati di ingresso cambiano, l’ufficio lo estende a un’attività per cui non era stato valutato, e le verifiche iniziali smettono di valere senza che nessuno se ne accorga.

A questo si aggiungono minacce che nei sistemi classici non esistevano, come l’avvelenamento dei dati di addestramento e gli attacchi avversari.

L’articolo 35, paragrafo 11, del GDPR già impone il riesame della DPIA quando cambia il rischio; l’AI Act aggiunge che chi estende l’uso di un sistema oltre la sua finalità può diventarne il fornitore e che chi ha motivo di ritenerlo rischioso deve sospenderlo.

Con l’intelligenza artificiale il riesame deve diventare un processo con regole precise: chi controlla i cambiamenti, quali eventi richiedono nuove prove e quando il sistema va fermato.

Sommario

Riassumi con l'IA
Scegli l'Assistente

Scegli un assistente AI

ChatGPTClaudePerplexityGrok

Un documento con una data e un sistema con una versione

La valutazione d’impatto, così come è stata praticata finora, è un documento con una data che:

  • descrive un trattamento in un momento preciso;
  • ne valuta i rischi e ne fissa le misure.

Per un sistema informatico tradizionale questa fotografia resta attendibile a lungo, perché il software esegue regole scritte da qualcuno e quelle regole non cambiano da sole.

Un modello di intelligenza artificiale, invece, non è un insieme di regole scritte ma un insieme di parametri appresi dai dati.

Non ha una data: ha una versione.

Quando il fornitore rilascia un aggiornamento, anche minimo, il comportamento del sistema può cambiare in modi che nessuno ha esplicitamente deciso.

Così la valutazione firmata il mese prima descrive, da quel momento, un sistema che non esiste più.

Che cos’è la deriva algoritmica

Il fenomeno ha un nome tecnico, model drift o deriva del modello, e due forme principali.

La prima è la deriva dei dati (data drift): il mondo cambia e i dati di ingresso non assomigliano più a quelli su cui il modello è stato addestrato.

Un sistema calibrato sui redditi del 2019 applicato alle domande del 2026 incontra situazioni, lavori e forme contrattuali che non ha mai visto e le interpreta con le categorie del passato.

La seconda è la deriva del concetto (concept drift): cambia la relazione tra i dati e l’esito che il sistema deve prevedere, per esempio perché una norma ha modificato i requisiti di accesso a una prestazione.

In entrambi i casi il sistema continua a produrre punteggi con la stessa sicurezza di sempre, ma non segnala di essere diventato meno affidabile, perché non lo sa.

La degradazione è silenziosa e si scopre solo misurandola.

I tre eventi che fanno scadere la valutazione

Una DPIA per un sistema di intelligenza artificiale deve quindi elencare esplicitamente gli eventi che rendono necessarie nuove verifiche.

Sono almeno tre e, per ciascuno, l’AI Act offre un criterio che il GDPR non aveva.

Il primo è l’aggiornamento del modello da parte del fornitore

Ogni nuova versione va trattata come un sistema parzialmente nuovo.

L’AI Act distingue le modifiche che il fornitore ha predeterminato e documentato fin dall’inizio nelle istruzioni per l’uso (articolo 13, paragrafo 3, lettera c) dalle “modifiche sostanziali” (articolo 3, punto 23), cioè quelle non previste che incidono sulla conformità del sistema o ne cambiano la finalità e che impongono una nuova valutazione della conformità (articolo 43, paragrafo 4).

Il contratto deve quindi obbligare il fornitore a

  • comunicare gli aggiornamenti prima del rilascio;
  • qualificarli secondo quella distinzione;
  • documentare che cosa cambia;
  • consentire test sull’ambiente dell’ente.

Il secondo è il cambiamento dei dati, nella loro fonte, nel loro formato o nella popolazione che descrivono:

  • l’integrazione di una nuova banca dati;
  • la modifica di un modulo di domanda;
  • una variazione normativa dei requisiti.

Il terzo è l’estensione dell’uso. Un sistema valutato per istruire le domande di un contributo e poi impiegato, perché funziona bene, anche per la graduatoria degli alloggi o per la selezione dei controlli è un sistema che opera senza valutazione, anche se la DPIA originaria esiste ed è perfetta.

Ancora, l’articolo 25, paragrafo 1, dell’AI Act stabilisce che il deployer che modifica la finalità prevista di un sistema in modo da renderlo ad alto rischio, o che apporta una modifica sostanziale a un sistema ad alto rischio, è considerato fornitore e ne assume gli obblighi.

L’ufficio che “estende” un sistema non sta solo aggirando la DPIA: sta cambiando proprio ruolo giuridico.

Minacce nuove: data poisoning e attacchi avversari

Alla deriva spontanea si aggiungono le alterazioni intenzionali.

Il data poisoning è l’avvelenamento dei dati di addestramento: chi riesce a inserire esempi manipolati nei dati su cui il modello impara può orientarne il comportamento in modo mirato e difficile da rilevare.

Gli attacchi avversari, o adversarial attacks, agiscono invece sull’ingresso: modifiche minime e apparentemente innocue a un documento, a un’immagine o a un testo, costruite apposta per far cambiare l’output del sistema.

Sono minacce che nei modelli classici di sicurezza non esistevano e che l’AI Act prende in considerazione espressamente.

L’articolo 15 richiede ai sistemi ad alto rischio un livello adeguato di accuratezza, robustezza e cybersicurezza e, al paragrafo 5, elenca le vulnerabilità specifiche contro cui il fornitore deve adottare misure: la manipolazione dei dati di addestramento (data poisoning) e dei componenti pre-addestrati (model poisoning), gli input progettati per indurre il modello in errore (adversarial examples), gli attacchi alla riservatezza e i difetti del modello.

Pertanto l’ente che acquista deve chiedere al fornitore quali protezioni ha adottato e con quali prove, e includere queste minacce nell’analisi dei rischi della DPIA accanto a quelle tradizionali: lo impone già oggi l’articolo 32 del GDPR, che chiede misure di sicurezza adeguate al rischio effettivo, non a quello di ieri.

Dal riesame periodico al monitoraggio continuo

L’articolo 35, paragrafo 11, del GDPR prevede già che il titolare proceda a un riesame della valutazione “almeno quando insorgono variazioni del rischio”.

Per anni la norma è stata letta come un riesame periodico, spesso annuale, spesso formale.

Con l’intelligenza artificiale il riesame deve diventare un monitoraggio: una serie di indicatori raccolti durante l’uso e letti con regolarità.

Quali indicatori? Ad esempio:

  • il tasso di errore sulle pratiche verificate a campione;
  • il tasso di rettifica da parte dei funzionari;
  • la distribuzione degli esiti per categorie di cittadini;
  • il numero di reclami e ricorsi accolti;
  • il registro delle versioni del modello e dei cambiamenti nei dati.

L’AI Act costruisce lo stesso circuito su due lati.

Il fornitore deve istituire un sistema di monitoraggio successivo all’immissione sul mercato (articolo 72) mentre il deployer deve monitorare il funzionamento secondo le istruzioni per l’uso, conservare i log e informare il fornitore e l’autorità di vigilanza del mercato quando emergono rischi o incidenti gravi (articolo 26, paragrafi 5 e 6).

È la DPIA-film, rispetto alla tradizionale DPIA-fotografia, non è un documento più lungo ma è un documento che si aggiorna con i numeri.

Chi può, e deve, spegnere il sistema

Resta la domanda che le valutazioni evitano spesso: quando bisogna sospendere l’uso del sistema, e chi può deciderlo?

Una valutazione del rischio senza soglie di sospensione è incompleta, perché descrive i rischi senza dire che cosa fare quando si trasformano in danno.

Su questo punto l’AI Act è esplicito.

L’articolo 26, paragrafo 5, stabilisce che il deployer il quale abbia motivo di ritenere che l’uso del sistema possa presentare un rischio per la salute, la sicurezza o i diritti fondamentali (articolo 79, paragrafo 1) deve, senza indebito ritardo, informare il fornitore e l’autorità di vigilanza del mercato e sospendere l’uso del sistema.

Spegnere non è, quindi, una facoltà ma un dovere; e dal 2 dicembre 2027, per i sistemi ad alto rischio, sarà un dovere sanzionabile.

La DPIA deve quindi indicare le condizioni che impongono la sospensione (ad esempio: un tasso di errore oltre una soglia, un aggiornamento non verificato, una segnalazione fondata di discriminazione, un incidente di sicurezza) e il nome della persona che ha il potere di disporla senza chiedere autorizzazioni a catena.

Un sistema che nessuno può spegnere in giornata è un sistema il cui rischio non è governato.

Conclusioni

L’affidabilità di un sistema di intelligenza artificiale è una condizione che si mantiene e che si perde in silenzio se nessuno la misura.

La valutazione iniziale resta indispensabile ma vale fino al primo aggiornamento, al primo cambiamento dei dati, alla prima estensione dell’uso.

Da quel momento conta il monitoraggio, con indicatori, soglie e un nome accanto all’interruttore.

Il GDPR lo richiedeva già; l’AI Act lo rende esplicito e, per i sistemi ad alto rischio, lo renderà obbligatorio dal 2 dicembre 2027; la deriva dei modelli lo rende inevitabile da subito.

 

 

 

Articoli Correlati

Ultime News

A.I.R. SHARE
Global

Missili anti-drone senza esplosivi: la svolta supersonica di A.I.RShare

Come funziona il missile intercettore Overwatch Secondo il fondatore e CEO Rick Whittaker, la tecnologia colpisce l'elemento essenziale che permette a qualsiasi drone di restare in aria: la portanza aerodinamica. «Per volare serve portanza,…

Global

IPO Anthropic da record: il valore dell’AI nasce dal sapere gratuito e dalla pirateria

Il valore di Anthropic è il sapere dell’umanità utilizzato senza chiedere permesso Questi modelli “intelligenti” sono stati addestrati su montagne di testi umani. Una parte rilevante è stata scaricata da biblioteche pirata: Library Genesis…

POSTE ITALIANE HACKING
Pillole Cyber

Data breach su PosteCert

Poste Italiane ha subito una violazione che ha portato alla pubblicazione sul darkweb di oltre duemila contratti legati al servizio di firma digitale remota PosteCert. Pare che non siano state compromesse password, credenziali bancarie…

BLOCCHI INFORMATICI
Diritto&Bit

Blocchi informatici e rischio sistemico: la fiducia digitale

Lo scrivo perché il problema che emerge da questi accadimenti è ancora più profondo e drammatico: sistemi digitali sempre più complessi, automatizzati, interdipendenti e concentrati possono produrre effetti a cascata, anche senza che dietro…

INFRASTRUTTURE CRITICHE
Global

E se tutto si ferma? Il rischio non è l’apocalisse digitale, ma la fragilità del mondo digitale che abbiamo costruito

  Per anni abbiamo considerato Internet, i servizi cloud, le piattaforme di comunicazione, i sistemi bancari online e le infrastrutture digitali come una sorta di ambiente permanente. Una dimensione invisibile, ma sempre disponibile. Un'estensione…

Cyberwar

ransomware-low-cost
Cyberwar

Ransomware low cost: un attacco con l’AI costa meno di 4 dollari

La testata giornalistica, specializzata in cybersecurity, ha portato alla luce una complessa infrastruttura criminale, quasi totalmente automatizzata grazie all’utilizzo dell’Intelligenza Artificiale. Questa, a quanto pare, è gestita da un affiliato di The Gentlemen, ovvero…

MARINA COREA DEL SUD IA
Cyberwar

La Marina sudcoreana conduce il primo test di sminamento con l’IA

Il test congiunto con Hanwha Systems a Busan L'esercitazione, guidata congiuntamente dall'azienda della difesa sudcoreana Hanwha Systems, si è svolta presso una base navale nella città portuale sudorientale di Busan. L'operazione ha coinvolto il…

Droni-guerra
Cyberwar

Il Futuro della guerra: perché i droni non vinceranno i conflitti da soli

Nel contesto bellico odierno, oltre all’intelligenza artificiale, uno dei fattori più determinanti sembrano essere i droni. Se molti, più o meno esperti, vedono in questa tecnologia il futuro della guerra, esiste chi va controcorrente,…

Spazio

Spazio

Via della Seta spaziale: la Cina costruirà per l’Oman una rete di 20 satelliti con intelligenza artificiale

Oltre i satelliti: formazione, laboratori e trasferimento tecnologico Il pacchetto non si limita alla fornitura dei dispositivi orbitali, ma punta a costruire un vero e proprio ecosistema spaziale locale. L'intesa comprende infatti: La realizzazione…

Satelliti - Starlink
Spazio

Satelliti spia e difesa missilistica: cosa c’è davvero dentro Starshield di SpaceX

Oltre 11.000 satelliti Starlink in orbita, contratti militari da diversi miliardi di dollari e una rete riservata alla sicurezza nazionale degli Stati Uniti. SpaceX non si limita più a fornire connessioni Internet dallo spazio…

SATELLITI TIM
Spazio

Satelliti e TLC, quattro big europei si muovono insieme: qual è la strategia di TIM?

Deutsche Telekom, Orange, Telefónica e Vodafone si muovono insieme sulla nuova frontiera delle telecomunicazioni: il collegamento diretto tra satelliti e dispositivi mobili. La lettera d’intenti annunciata il 19 ottobre 2026 prevede di esplorare una…

Cavi Sottomarini

Drone-Svezia
Underwater

Saab: test in mare per il nuovo drone sottomarino LUUV

Il prototipo, realizzato in collaborazione con la Swedish Defence Materiel Administration (FMV) e le Forze armate svedesi, ha superato con successo le prime prove in mare, raggiungendo un traguardo importante per il programma. A…

Underwater

Un siluro Mk 48 lanciato da un drone: il test storico di AUKUS

AUKUS: il sottomarino autonomo britannico XV Excalibur lancia un siluro americano Mk 48 Negli scorsi giorni, diversi siti che si occupano di tecnologia hanno riportato l’attenzione sul test condotto al British Underwater Test &…

Robot-subacquei
Underwater

Russia prepara 1.000 robot subacquei per ispezioni e riparazioni navali

Il progetto nasce soprattutto dall’esigenza di ridurre i tempi necessari per intervenire sulle infrastrutture offshore dopo un incidente. L’unità ingegneristica di USC afferma che la mobilitazione di una nave convenzionale può richiedere da 4…