AI generativa: ecco quando diventa un rischio per le aziende

L’adozione crescente dell’IA generativa comporta rischi significativi in ambito privacy, sicurezza dei dati e governance algoritmica. Mentre si attende l’entrata in vigore dell’AI Act, imprese e pubbliche amministrazioni devono attrezzarsi con misure operative e una supervisione umana consapevole. L’articolo analizza i pericoli emergenti, i casi recenti, e cosa si può fare subito per garantire un uso responsabile e conforme della GenAI.

L’uso inconsapevole e il rischio “shadow AI”

Sempre più persone nel mondo del lavoro, utilizzano strumenti di IA generativa, ossia quelle forme di IA in grado di generare contenuti multimediali di varia natura, in modo autonomo, senza che vi siano policy aziendali o protocolli chiari. Questo fenomeno, noto come “shadow AI”, comporta rischi simili allo shadow IT, ossia l’esposizione di dati sensibili, la condivisione non controllata ed autorizzata di informazioni protette ed una scarsa tracciabilità delle operazioni.

È accaduto ad aziende di primo piano: da Samsung a multinazionali del settore sanitario, dove l’input inconsapevole di dati sensibili in prompt, ha generato violazioni non intenzionali ma rilevanti.

Privacy e responsabilità legale nei sistemi di IA

Il Garante per la protezione dei dati personali ha già richiamato l’attenzione sul trattamento di dati personali da parte delle IA generative (Provv. del 20 maggio 2024 o Decalogo per la realizzazione di servizi sanitari nazionali attraverso sistemi di Intelligenza Artificiale – settembre 2023)

È noto il caso di ChatGPT, bloccato temporaneamente in Italia nel 2023 per mancata trasparenza e base giuridica nel trattamento dei dati. Da allora, OpenAI ha apportato modifiche, ma i problemi strutturali restano.

Chi utilizza AI Generativa, in contesti professionali rischia di trattare dati personali (o addirittura sensibili) senza le necessarie garanzie previste dal GDPR. Non si tratta solo di un rischio tecnico, ma di una responsabilità legale e organizzativa che ricade sul Titolare del Trattamento, DPO e responsabili del trattamento.

Nel settore pubblico, la questione è ancora più delicata: la PA ha l’obbligo di garantire trasparenza, correttezza e proporzionalità nel trattamento dei dati. E l’uso di GenAI non può essere un’area grigia.

Policy interne e strumenti di audit per la sicurezza

Quali sono le risposte possibili?

In primo luogo è necessario mettere in campo policy aziendali chiare sull’uso dell’IA generativa, con training specifici e aggiornamento continuo dei dipendenti.

Inoltre vanno pianificati degli audit specifici di natura algoritmica, per verificare i cosiddetti bias, trasparenza, e tracciabilità dei modelli utilizzati.

Va ricordato che per bias si intendono le distorsioni nei risultati generati dall’IA, che possono riflettere stereotipi, discriminazioni o trattamenti non equi nei confronti di determinate categorie di persone o situazioni.

La verifica dei bias serve a identificarli e correggerli, riducendo i rischi etici e legali derivanti dall’uso dell’IA.

Un caso emblematico, è stato quello riscontrato da uno studio del MIT e della Stanford University del 2018, che aveva evidenziato che alcuni sistemi di riconoscimento facciale basati su IA avevano un tasso di errore del 34% nell’identificare donne con pelle scura, a fronte di un errore dell’1% per uomini con pelle chiara.

Proviamo a pensare cosa possa comportare un risultato simile, se traslato in ambito aziendale o pubblico. Effetti discriminatori estremamente gravi.

Sono inoltre necessari ambienti di test (“sandbox”) di compliance segregati, per sperimentare in sicurezza, con processi di validazione strutturati.

Il ruolo chiave del DPO, del Ciso e del principio by design

Da ultimo è indubbio che le figure che devono essere coinvolti sin dall’inizio secondo quel principio chiave del introdotto dal GDPR, del privacy by design and by default, sono il DPO ed il CISO fin dalla fase di adozione.

Obblighi imminenti imposti dall’AI Act

Il Regolamento europeo AI Act, entrato in vigore il 1° agosto 2024, ma che sarà pienamente applicabile il 2 agosto 2026, con alcune eccezioni[1], impone obblighi stringenti per gli “use cases” ad alto rischio. Sarà richiesta una tracciabilità dettagliata, la valutazioni d’impatto e la governance algoritmica. Ma imprese e PA devono prepararsi sin d’ ora.

Chi avvia oggi il processo di adeguamento, rischierà di trovarsi non solo fuori norma, ma anche vulnerabile da un punto di vista reputazionale e competitivo.

Supervisione umana e valori guida nella governance IA

In attesa che il quadro normativo europeo diventi pienamente operativo e che maturi una cultura diffusa sull’uso responsabile dell’IA, è fondamentale riaffermare un principio: l’ultima parola nel processo decisionale deve rimanere umana.

L’intelligenza artificiale può supportare, ottimizzare, suggerire. Ma non può – e non deve – sostituirsi al discernimento umano, soprattutto in ambiti ad alto impatto come la gestione delle risorse umane, l’erogazione di servizi pubblici, la sanità o la giustizia.

Ecco perché sono fondamentali una governance chiara, che assegni ruoli e responsabilità, una supervisione attiva, in grado di validare, interpretare, correggere le indicazioni fornite dagli algoritmi, una formazione trasversale, che unisca competenze tecniche, giuridiche ed etiche e, soprattutto un principio guida: l’IA è uno strumento, non un decisore.

Solo così sarà possibile integrare l’innovazione e quelle insostituibili competenze umane, evitando di perdere di vista i valori fondamentali: equità, trasparenza, responsabilità.

Se un’IA genera contenuti lesivi, viola diritti o produce una decisione discriminatoria, chi ne risponde? Oggi la catena di responsabilità è spesso opaca, soprattutto quando si utilizzano modelli di IA “preaddestrati” e forniti da terze parti (come OpenAI o Google) e integrati in sistemi propri.

Secondo le attuali interpretazioni giuridiche, le responsabilità si distribuiscono su più livelli.

Il fornitore del modello (es. OpenAI, Google) ha sicuramente la responsabilità sull’addestramento, sulla informazione relativa ai bias noti, sulla trasparenza delle finalità e all’adeguatezza degli strumenti di controllo offerti all’utente finale.
L’integratore o sviluppatore che adatta l’IA al proprio contesto (es. una software house o la funzione IT interna) ha il compito di verificare l’idoneità del sistema, configurarlo in modo corretto e fornire interfacce di controllo efficaci.

L’ente utilizzatore finale, che sia impresa o pubblica amministrazione, è comunque titolare del trattamento dei dati e responsabile delle scelte organizzative e delle decisioni prese sulla base dell’output generato dall’IA. È qui che si concentrano gli obblighi del GDPR, della normativa nazionale e, in prospettiva, dell’AI Act.

Le figure interne, quali il DPO, il CISO o, più in generale, il Data Owner, hanno ruoli specifici nella supervisione e nella prevenzione dei rischi, ma sono indispensabili, lo ripetiamo, policy chiare e di audit periodici.

In sintesi, l’adozione dell’IA generativa non esonera nessuno dalle responsabilità previste dall’ordinamento, e anzi le amplifica, data la natura “opaca” e statistica dei modelli generativi. Proprio per questo diventa essenziale intervenire fin da subito sul registro dei trattamenti, includendovi tutti quei casi in cui si faccia ricorso a tecnologie IA, con la valutazione d’impatto o DPIA, nei casi previsti, con un documento che definisca in modo chiaro le responsabilità contrattuali con i fornitori IA (inclusa la clausola di audit) e, infine, con un presidio attivo da parte delle funzioni di controllo interno e compliance.

Note

[1] Ad esempio, i divieti e gli obblighi di alfabetizzazione in materia di IA sono entrati in vigore dal 2 febbraio 2025