Responsabilità per distorsioni algoritmiche: chi è responsabile ai sensi del diritto olandese e dell'UE?

Un'organizzazione che utilizza un sistema automatizzato è responsabile dei risultati discriminatori che esso produce, indipendentemente dal fatto che abbia creato o meno il modello e che qualcuno avesse o meno l'intenzione di ottenere tale risultato. Nei Paesi Bassi, tale responsabilità si fonda sul diritto civile (articolo 6:162 del Codice civile olandese, BW), sulla legislazione in materia di parità di trattamento e sul GDPR; le norme ad alto rischio dell'EU AI Act per i sistemi di reclutamento, credito e assicurazione si applicano solo a partire dal 2 dicembre 2027.

Nel diritto olandese in materia di discriminazione, ciò che conta è l'effetto di una decisione, non la motivazione. Un filtro di selezione, un modello di credito o un punteggio antifrode che svantaggiano un gruppo protetto possono quindi dare luogo a un'azione legale civile, a una denuncia all'Istituto olandese per i diritti umani e a un'indagine da parte dell'Autorità olandese per la protezione dei dati, il tutto sulla base degli stessi fatti.

Che cos'è il bias algoritmico e da dove proviene?

La distorsione algoritmica si verifica quando un sistema tratta persone comparabili in modo diverso sulla base di un criterio protetto o di un criterio che lo sostituisce. Poiché un modello applica lo stesso schema a ogni file, un modello distorto funziona come una politica piuttosto che come un incidente.

• Dati di addestramento: un modello addestrato su decisioni passate riproduce gli schemi in esse presenti.
• Variabili: una caratteristica apparentemente neutra come il codice postale può sostituirsi all'etnia e causare discriminazioni indirette.
• Utilizzo del risultato: un punteggio che è accettabile come consiglio può essere illegale se utilizzato come unica base per respingere una domanda.
• Mancanza di monitoraggio: un modello che era bilanciato al momento del lancio tende a variare al variare dei dati.

La discriminazione diretta si avvale apertamente di un motivo tutelato. La discriminazione indiretta, in cui un criterio neutro svantaggia un gruppo tutelato, può essere giustificata solo se l'obiettivo è legittimo e i mezzi sono appropriati e necessari, e l'organizzazione deve essere in grado di provarlo.

Quando un'organizzazione è responsabile ai sensi della legge olandese?

Due rami del diritto olandese svolgono la maggior parte del lavoro. Il diritto civile si interroga se l'organizzazione abbia agito con negligenza causando un danno; il diritto in materia di parità di trattamento si interroga se il risultato abbia costituito una discriminazione vietata.

Illecito civile: impiego negligente

Ai sensi dell'articolo 6:162 del Codice Civile tedesco (BW), una parte è responsabile per un atto illecito (onrechtmatige daad) a essa imputabile che causi un danno. L'utilizzo di un sistema non testato, validato o monitorato può di per sé costituire negligenza. Il ricorrente deve provare l'atto illecito, l'attribuzione della responsabilità, il danno e il nesso di causalità.

L'acquisto del sistema da un fornitore non esonera l'organizzazione che lo implementa da tale obbligo. Quest'ultima può vantare un diritto separato nei confronti del fornitore per inadempimento (articolo 6:74 BW), ma ciò non pregiudica il diritto del richiedente respinto.

Diritto alla parità di trattamento e onere della prova

La legge generale sulla parità di trattamento (Algemene wet gelijke behandeling, AWGB), la legge sulla discriminazione in base all'età (WGBL) e la legge sulla disabilità e le malattie croniche (WGBH/CZ) vietano le discriminazioni dirette e indirette basate su motivi tutelati; in materia di lavoro, l'articolo 7:646 BW aggiunge le norme sul genere. Una volta che il ricorrente presenta fatti che suggeriscono una discriminazione, l'organizzazione deve dimostrare di non averla commessa.

Un'organizzazione che non è in grado di dimostrare quanto pesasse il suo modello, su quali dati e con quali test, non può assolvere a tale onere probatorio. Un reclamo può essere presentato anche all'Istituto olandese per i diritti umani (Collège voor de Rechten van de Mens), i cui pareri non sono vincolanti ma vengono spesso utilizzati come prove in successivi procedimenti giudiziari.

Cosa richiede il GDPR in merito alle decisioni automatizzate?

L'articolo 22 del GDPR conferisce alla persona il diritto di non essere sottoposta a una decisione basata unicamente sul trattamento automatizzato che produca effetti giuridici o analoghi significativi. Le decisioni in materia di assunzione, credito e prestazioni sociali rientrano generalmente in questa casistica.

L'intervento umano consente di prendere una decisione al di fuori dell'ambito di applicazione dell'articolo 22 solo se è significativo: si tratta di una persona dotata dell'autorità e delle informazioni necessarie per decidere diversamente, non di qualcuno che si limita a confermare ciò che viene visualizzato sullo schermo. Il principio di equità di cui all'articolo 5, paragrafo 1, lettera a), si applica in ogni caso, e l'articolo 35 richiede una valutazione d'impatto sulla protezione dei dati prima di qualsiasi trattamento ad alto rischio, come la profilazione sistematica. Ai sensi dell'articolo 83, paragrafo 5, del GDPR, le sanzioni possono raggiungere i 20 milioni di euro o il 4% del fatturato annuo mondiale, a seconda di quale dei due importi sia maggiore. Consulta la nostra panoramica sulla privacy dei dati, il GDPR, l'intelligenza artificiale e i big data.

Cosa prevede ora l'AI Act e cosa entrerà in vigore in seguito?

La legge sull'intelligenza artificiale, Regolamento (UE) 2024/1689, è entrata in vigore il 1° agosto 2024 e si applica gradualmente. Le pratiche vietate di cui all'articolo 5 si applicano dal 2 febbraio 2025; gli obblighi relativi ai sistemi di reclutamento, credito e assicurazione per le categorie ad alto rischio si applicano dal 2 dicembre 2027.

Gli obblighi relativi ai modelli di IA di uso generale e le disposizioni sanzionatorie sono in vigore dal 2 agosto 2025. Il Regolamento (UE) 2026/1744 sull'IA, denominato Digital Omnibus, in vigore dal 27 luglio 2026, ha posticipato l'applicazione del regime per i sistemi ad alto rischio: i sistemi elencati nell'allegato III, come quelli utilizzati per il reclutamento, la promozione e la cessazione del rapporto di lavoro, la valutazione del merito creditizio e del rischio assicurativo, entreranno in vigore il 2 dicembre 2027, mentre i sistemi ad alto rischio nei prodotti regolamentati (allegato I) il 2 agosto 2028. Il Digital Omnibus ha inoltre attenuato l'obbligo di alfabetizzazione digitale in materia di IA previsto dall'articolo 4, trasformandolo in un obbligo di promuovere l'alfabetizzazione digitale del personale.

Una volta applicato il regime ad alto rischio, sono richiesti dati di addestramento rappresentativi e verificati, documentazione tecnica, registrazione, trasparenza, supervisione umana e una valutazione di conformità. Chi implementa il sistema ha dei doveri specifici, come la tenuta dei registri e l'assegnazione della supervisione a personale competente. Le sanzioni possono raggiungere i 35 milioni di euro o il 7% del fatturato mondiale per le pratiche vietate e i 15 milioni di euro o il 3% per le violazioni degli obblighi relativi al regime ad alto rischio. La proposta di direttiva sulla responsabilità in materia di IA è stata ritirata, pertanto una richiesta di risarcimento danni nei Paesi Bassi rimane soggetta alla legge olandese. Per maggiori informazioni, consultare la nostra guida sugli aspetti legali dell'intelligenza artificiale e l'EU AI Act.

Cosa hanno deciso i tribunali e le autorità di regolamentazione olandesi?

Il 5 febbraio 2020, il Tribunale distrettuale dell'Aia ha stabilito che la normativa alla base di SyRI, il sistema governativo di valutazione del rischio di frode, violava l'articolo 8 della Convenzione europea dei diritti dell'uomo in quanto insufficientemente trasparente e verificabile (ECLI:NL:RBDHA:2020:865). Né il modello di rischio né gli indicatori erano stati resi pubblici, pertanto nessuno poteva verificarne gli effetti discriminatori.

Nello scandalo dei sussidi per l'infanzia (Toeslagenaffaire), l'amministrazione fiscale ha utilizzato una selezione del rischio in cui la doppia cittadinanza veniva considerata un indicatore di frode. L'Autorità olandese per la protezione dei dati ha ritenuto tale trattamento illecito e discriminatorio e ha multato l'amministrazione fiscale. La lezione per le organizzazioni private è questa: un sistema che nessuno sa spiegare non può essere difeso, e la scelta di gestirlo è l'atto in sé che viene giudicato.

Chi è responsabile: il fornitore o l'utente?

La persona lesa presenta reclamo contro l'organizzazione che ha preso la decisione, che quasi sempre è chi ha implementato il sistema. Ai sensi dell'AI Act, sia il fornitore che chi implementa il sistema hanno i propri obblighi.

Un contratto con il fornitore può definire le conseguenze finanziarie e garantire le informazioni necessarie per difendersi da un reclamo, ma non può esonerare da sanzioni amministrative o obblighi di legge. Il nostro articolo sulla responsabilità per gli errori commessi dall'intelligenza artificiale approfondisce proprio questo tema.

Quali verifiche dovrebbe effettuare un'organizzazione che utilizza l'intelligenza artificiale?

• Prima dell'implementazione, avete testato i tassi di successo nei diversi gruppi protetti e verificato le variabili indirette?
• Continuate a effettuare test anche dopo la messa in produzione e avete individuato una persona autorizzata a sospendere il sistema?
• La revisione umana è significativa laddove si applica l'articolo 22 del GDPR? E la valutazione d'impatto è stata effettuata prima della messa in funzione?
• Il consiglio di fabbrica ha il diritto di dare il proprio consenso ai sensi dell'articolo 27 della legge sui consigli di fabbrica (WOR), ad esempio per i sistemi di monitoraggio del personale?
• Il contratto con il fornitore ti garantisce l'accesso alla documentazione, ai risultati dei test, ai registri e il diritto di effettuare verifiche?
• Riusciresti a spiegare ciascuna decisione alla persona interessata in un linguaggio semplice?

Cosa dovresti verificare se sei un candidato o un dipendente interessato da una decisione?

• La decisione è stata presa senza un effettivo coinvolgimento umano? In tal caso, è possibile invocare l'articolo 22 del GDPR.
• Hai richiesto l'accesso ai tuoi dati e una spiegazione della logica sottostante (articolo 15 GDPR)?
• Esistono elementi di fatto che suggeriscono che un terreno protetto o un suo surrogato abbiano avuto un ruolo? In tal caso, l'onere della prova si sposta.
• È sufficiente un parere (oordeel) dell'Istituto olandese per i diritti umani, oppure è necessario presentare una richiesta di risarcimento danni in tribunale?

Cosa possiamo fare per voi in merito alla responsabilità derivante dai bias algoritmici?

I nostri avvocati specializzati in diritto informatico assistono le aziende sugli aspetti legali dei processi decisionali automatizzati.

• Valutiamo la tua esposizione ai sensi del diritto olandese in materia di responsabilità civile, parità di trattamento e GDPR per un sistema specifico.
• Esaminiamo la vostra valutazione d'impatto e il processo di supervisione umana ai sensi dell'articolo 22 del GDPR.
• Prepariamo la conformità alla legge sull'intelligenza artificiale (AI Act) per i sistemi ad alto rischio di reclutamento, credito e assicurazione.
• Negoziamo i contratti con i fornitori in merito a documentazione, diritti di verifica e responsabilità.
• Ci occupiamo di reclami, procedure dell'Istituto, richieste di risarcimento e indagini normative.

Sintesi

• L'organizzazione che implementa il sistema è responsabile dei risultati discriminatori, anche in presenza di un sistema acquistato dall'esterno.
• Qualora i fatti suggeriscano una discriminazione, l'organizzazione deve dimostrare di non averla commessa.
• L'articolo 22 del GDPR limita esclusivamente le decisioni automatizzate; la revisione umana deve essere reale.
• A partire dal 2 dicembre 2027, entreranno in vigore gli obblighi ad alto rischio previsti dalla legge sull'intelligenza artificiale (AI Act) in materia di reclutamento, credito e assicurazioni.
• La documentazione delle prove e del monitoraggio è fondamentale per qualsiasi sistema di difesa.

Domande frequenti