Qualche mese fa una media azienda italiana ha usato un chatbot AI per rispondere ai reclami dei clienti. Nessuno controllava gli output. Poi un cliente ha pubblicato su LinkedIn lo screenshot di una risposta che conteneva informazioni false e riferimenti a dati di un altro cliente. Il post ha raggiunto 200.000 visualizzazioni in 48 ore. L'azienda ha dovuto fermare tutto, emettere scuse pubbliche e aprire un'istruttoria interna. L'episodio non è sui giornali, ma è reale — e simili ce ne sono molti altri, quasi sempre sommersi. L'AI è ormai nei processi di selezione, nella generazione di contenuti, nell'analisi dei contratti, nel supporto clienti. E la velocità con cui è entrata in azienda ha superato di gran lunga la velocità con cui le organizzazioni hanno costruito un governo strutturato di questi sistemi. Questo articolo è per chi usa l'AI — o valuta di usarla — e vuole capire i rischi reali prima che si materializzino.
L'AI in azienda: dalla sperimentazione al rischio legale
L'intelligenza artificiale nelle aziende italiane non è più un fenomeno di nicchia. Secondo l'Osservatorio AI del Politecnico di Milano, nel 2024 il mercato italiano dell'AI ha raggiunto 900 milioni di euro, con una crescita del 58% rispetto all'anno precedente. Questi numeri rappresentano solo l'AI adottata in modo consapevole: non coprono il cosiddetto shadow AI, ovvero l'uso individuale e non governato di strumenti come ChatGPT, Copilot o Gemini da parte dei dipendenti nei propri flussi di lavoro quotidiani.
Le applicazioni più diffuse nelle PMI includono: generazione e revisione di testi, analisi di documenti e sintesi di report, supporto alla programmazione, chatbot per il supporto clienti, strumenti di marketing predittivo, sistemi di scoring per la selezione del personale. Ciascuna porta con sé rischi specifici che spesso chi le adotta non ha ancora analizzato in modo strutturato — non per negligenza, ma perché la velocità dell'evoluzione tecnologica ha superato la capacità di costruire framework di governance adeguati.
Il problema non è l'AI in sé: i sistemi di AI possono portare vantaggi reali alle organizzazioni che li adottano con criterio. Il problema è l'assenza di un governo strutturato: chi li autorizza, chi li monitora, chi è responsabile degli output, come vengono gestiti i dati che vi entrano, come si gestisce un errore quando si verifica. Senza queste risposte, stai assumendo rischi legali, etici e reputazionali concreti — e crescenti, con l'entrata in vigore dell'AI Act.
AI Act (Reg. EU 2024/1689): cosa cambia per chi usa l'AI
Il Regolamento UE 2024/1689, noto come AI Act, è il primo quadro normativo completo al mondo sull'intelligenza artificiale. Pubblicato in Gazzetta Ufficiale UE il 12 luglio 2024, è entrato in vigore il 1° agosto 2024 e si applica progressivamente: le disposizioni sui sistemi AI vietati sono operative dal febbraio 2025, quelle sui sistemi ad alto rischio dall'agosto 2026.
Il cuore dell'AI Act è un sistema di classificazione per livelli di rischio:
- Rischio inaccettabile (vietati): manipolazione subliminale, social scoring pubblico, riconoscimento biometrico in tempo reale in spazi pubblici, sistemi che sfruttano vulnerabilità di specifici gruppi. Non possono essere usati nell'UE.
- Alto rischio: sistemi in infrastrutture critiche, istruzione, occupazione, servizi pubblici, applicazione della legge, giustizia. Obblighi stringenti: valutazione di conformità, registrazione europea, documentazione tecnica completa, supervisione umana obbligatoria.
- Rischio limitato: principalmente obblighi di trasparenza. Un chatbot deve dichiarare di essere un sistema automatizzato; i contenuti generati dall'AI devono essere identificati come tali.
- Rischio minimo: la grande maggioranza delle applicazioni attuali — filtri antispam, raccomandazioni di contenuti. Nessun obbligo specifico oltre al diritto vigente.
Per le aziende italiane, i casi più frequenti di sistemi ad alto rischio da presidiare subito: scoring per il credito, valutazione delle performance dei dipendenti, strumenti di selezione del personale basati su AI, qualsiasi sistema che prende decisioni che influenzano significativamente i diritti delle persone fisiche.
Il regime sanzionatorio è tra i più severi in ambito tecnologico europeo: fino al 7% del fatturato annuo globale per l'uso di sistemi vietati, fino al 3% per la maggior parte delle altre violazioni, fino all'1,5% per informazioni inesatte alle autorità. Le sanzioni dell'AI Act si sommano a quelle del GDPR — non le sostituiscono. L'autorità di controllo in Italia sarà l'Autorità Nazionale per l'Intelligenza Artificiale (ANIA).
ISO/IEC 42001: il framework che mette ordine
La ISO/IEC 42001:2023 è il primo standard internazionale per i sistemi di gestione dell'intelligenza artificiale (AIMS, Artificial Intelligence Management System). Pubblicata a dicembre 2023, definisce i requisiti per stabilire, implementare, mantenere e migliorare continuamente un sistema di gestione dell'AI all'interno di un'organizzazione.
La struttura segue la High Level Structure comune a ISO 9001, ISO 27001 e ISO 45001: se hai già un sistema di gestione della qualità o della sicurezza delle informazioni, molti elementi — contesto dell'organizzazione, leadership, pianificazione, supporto, valutazione delle prestazioni, miglioramento — sono già familiari e parzialmente sviluppati. Questo facilita enormemente l'integrazione con i sistemi esistenti.
I requisiti specifici della ISO/IEC 42001:
- Politica per l'AI: definire impegni espliciti rispetto all'uso responsabile e etico dell'AI.
- Valutazione dell'impatto AI: per ogni sistema adottato, analizzare i potenziali impatti su individui e società, inclusi bias, discriminazione, privacy, sicurezza.
- Gestione del rischio AI: identificare, analizzare e trattare i rischi specifici, con documentazione delle misure di mitigazione.
- Controlli operativi: definire come i sistemi AI vengono selezionati, validati, monitorati e disattivati, con attenzione alla supervisione umana degli output.
- Gestione del ciclo di vita: dalla selezione del fornitore e del modello, al deploy, al monitoraggio in produzione, alla dismissione.
La ISO/IEC 42001 non è obbligatoria per la conformità all'AI Act, ma è già riconosciuta dalla Commissione Europea come framework di riferimento per dimostrare un sistema di gestione adeguato — con potenziali vantaggi in termini di presunzione di conformità per alcune categorie di obblighi.
Rischi concreti: bias, discriminazione, responsabilità, dati
Il rischio da bias algoritmico è il più subdolo. I sistemi AI appresi su dati storici riproducono e amplificano i bias presenti in quei dati. Amazon ha dovuto abbandonare un sistema di screening CV che penalizzava sistematicamente le candidate donne — addestrato su dieci anni di dati storici che riflettevano la storica predominanza maschile nel settore tech. Nonostante i tentativi di correzione, i pattern discriminatori continuavano a emergere in forme diverse. È diventato il caso di riferimento nel dibattito europeo sul bias nei sistemi di selezione, ora classificati come alto rischio nell'AI Act.
Il rischio privacy è immediato e concreto. Quando un dipendente inserisce in ChatGPT dati personali di clienti, informazioni commerciali sensibili o dati riservati, quegli input vengono spesso utilizzati per l'addestramento del modello o trattati da un provider terzo. Senza un accordo di trattamento dati (DPA conforme al GDPR), questo configura una violazione. Molte aziende non hanno ancora una policy chiara su cosa i dipendenti possono inserire nei sistemi AI.
Il rischio da allucinazioni è quello che ha causato il caso del chatbot con cui ho aperto questo articolo. I modelli producono output plausibili, non necessariamente veri. Un avvocato di New York ha presentato in tribunale sei precedenti giurisprudenziali citati da ChatGPT — tutti inventati, con numeri di causa e giudici inesistenti. Sanzione da 5.000 dollari e nome esposto pubblicamente. Il Consiglio Nazionale Forense ha pubblicato nel 2024 prime indicazioni sull'uso dell'AI nella pratica legale.
Il rischio di responsabilità è stato chiarito definitivamente dal caso Air Canada (2024): condannata a risarcire un passeggero che aveva ricevuto informazioni errate dal proprio chatbot aziendale. Il tribunale ha stabilito che l'azienda è responsabile per le informazioni fornite dai propri sistemi automatizzati, indipendentemente dal fatto che l'informazione fosse prodotta da un algoritmo. Non puoi scaricare sul sistema AI la responsabilità degli errori.
Come implementare un sistema di gestione AI prima che sia tardi
Primo passo: inventario dei sistemi AI. Chiedi a tutti i reparti di dichiarare quali strumenti AI usano, con quale frequenza e per quali scopi. Includi il shadow AI. Le aziende scoprono quasi sempre di usare molti più sistemi di quanti il management pensasse, in contesti molto più critici.
Secondo passo: AI Policy aziendale. Un documento che stabilisca: quali strumenti AI sono autorizzati, cosa non può essere inserito nei sistemi AI (dati personali di clienti, segreti commerciali, codice proprietario), chi autorizza l'adozione di nuovi strumenti, come vengono validati gli output prima dell'uso. Va comunicata ai dipendenti e integrata nell'onboarding.
Terzo passo: valutazione dell'impatto AI. Sui sistemi più critici già in uso — partendo da quelli che producono output usati per decisioni che impattano su persone fisiche. Non serve un documento enciclopedico: basta un'analisi strutturata dei rischi identificati, delle misure di mitigazione adottate e dei criteri di monitoraggio.
Quarto passo: governance al livello del management. Come per la cybersecurity, il tema AI non può essere delegato interamente all'IT. Le implicazioni legali, etiche e reputazionali richiedono il coinvolgimento attivo del top management: includi la governance AI nell'agenda del CdA, nomina un responsabile interno (AI Officer o equivalente), garantisci che le decisioni sull'adozione di nuovi sistemi abbiano una validazione formale.
L'AI è già nella tua azienda, che tu lo sappia o no. La domanda non è se adottarla, ma se farlo con un governo adeguato. La ISO/IEC 42001 è il framework che ti permette di innovare con consapevolezza, riducendo i rischi legali, etici e reputazionali che sono concreti, documentati e in rapida evoluzione normativa.
FAQ
La ISO/IEC 42001 è obbligatoria per chi usa l'AI? No. Ma è riconosciuta dalla Commissione Europea come framework di riferimento per dimostrare un sistema di gestione AI adeguato e può facilitare la conformità all'AI Act, soprattutto per i sistemi ad alto rischio.
L'AI Act si applica anche a chi usa sistemi AI sviluppati da terzi? Sì. Si applica sia ai fornitori (che sviluppano sistemi AI) sia ai deployer (che li usano in contesto professionale). Se usi un sistema ad alto rischio, hai obblighi specifici anche se non l'hai sviluppato tu: supervisione umana, registrazioni d'uso, segnalazione degli incidenti gravi.
Cosa rischia concretamente un'azienda che usa AI senza governance? Violazioni GDPR per uso improprio di dati personali (fino al 4% del fatturato mondiale). Violazioni AI Act quando i requisiti diventano pienamente applicabili (fino al 7%). Responsabilità civile per danni da output errati. Rischio reputazionale da incidenti pubblicamente visibili come bias discriminatorio o allucinazioni.
Da dove conviene partire per una PMI senza risorse dedicate? Dal censimento degli strumenti AI già in uso, incluso il shadow AI, e da una policy minima che stabilisca cosa è consentito e cosa no. Costa poco, richiede poche settimane e riduce immediatamente i rischi più immediati. Poi si costruisce progressivamente il sistema di gestione completo.