L’olanda mette fuori legge Syri, l’algoritmo per gli aiuti pubblici che schedava in segreto i cittadini

Usato per il Welfare, valutava l’affidabilità degli utenti rubando dati

Un algoritmo che incrociava dati personali e sensibili da 17 grandi basi di dati — dal fisco ai servizi sociali, dalla storia medica alle utenze elettriche e telefoniche, e così via, all’insaputa dei cittadini — per valutare se chi percepisce sussidi o altre forme di welfare era «incline a commettere frodi o abusi», assegnando a ciascun cittadino un «punteggio di rischio». Insomma, la versione digitale di un ispettore del fisco, medico del lavoro o agenzia (umana) preposta a sorvegliare il corretto accesso allo stato sociale; però basata su un algoritmo, quindi automatica, preventiva e di sapore orwelliano. Si chiama Syri — in olandese sta per «sistema indicatore di rischio» — e il ministero degli affari sociali olandese lo ha usato per anni nei quartieri più poveri e a più alta densità di migranti delle grandi città dei Paesi Bassi (e solo in quei quartieri): è stato attivo dal 2014 fino a mercoledì, quando una sentenza del tribunale dell’aja che gli addetti ai lavori già definiscono «miliare» ne ha disposto l’immediata sospensione.

A portare il governo olandese davanti al giudice è stata una coalizione di associazioni, fra cui un Comitato di giuristi per i diritti umani dei Paesi Bassi, la fondazione Privacy First, un sindacato e un’associazione di consumatori: l’uso di Syri, pure avallato dal Parlamento olandese che non si è mai espresso in senso contrario, ha fatto sollevare più di un sopracciglio sin da quando, prima di implementarlo, il governo ha diffuso la lista dei quartieri dove sarebbe entrato in funresto, 17

I database

Da qui attingeva le informazioni Syri: dal fisco ai servizi sociali, dalla storia medica alle utenze

Lo scopo

Il «sistema di indicatore di rischio» doveva prevenire i raggiri in caso di sussidio

«Vergognatevi»

Le città

Rotterdam, Eindhoven e Haarlem le città olandesi in cui è stato utilizzato l’algoritmo zione, ed erano tutti quartieri poveri di Rotterdam, Eindhoven e Haarlem. Sono stati profilati dall’algoritmo, in particolare, anche cittadini che non percepivano sussidi; bastava che vivessero nelle zone «attenzionate».

«Questa è una delle pochissime informazioni che si hanno, perché il governo è stato tenuto a renderla pubblica», spiega Jelle Klaas, uno degli avvocati del comitato Juristen voor Mensenrechten. «Per il

Manifestanti protestano a Erfurt contro il liberale Thomas Kemmerich eletto governatore della Turingia con i voti dell’ultradestra (Afp) quasi nulla è chiaro: di quali dati per ciascun cittadino disponesse il governo, come venissero incrociati, quali modelli e fattori l’algoritmo impiegasse per valutare il rischio. Non c’è stata alcuna trasparenza». Non si sa il numero preciso dei cittadini monitorati, «siamo nell’ordine delle decine di migliaia». E non è chiaro, «ma non è escluso», che venissero impiegati anche sistemi di riconoscimento facciale.

Nessun cittadino poteva sapere il proprio «punteggio di rischio» né come questo era calcolato, continua Klaas. Ma soprattutto, mentre la necessità di un governo di controllare che non vi siano abusi nell’utilizzo dello stato sociale è «comprensibile», è invece «contrario al diritto considerare i cittadini, particolarmente i più poveri, come sospettati da spiare anziché come detentori di diritti».

Non a caso il giudice ha basato la sentenza non sul Gdpr, il regolamento generale europeo sulla protezione dei dati, ma sulla Convenzione europea dei diritti umani, che all’articolo 8 sancisce il diritto individuale a una vita privata. Nel processo è intervenuto anche il relatore speciale delle Nazioni Unite per i diritti umani Philip Alston che ha fornito alla corte un parere e che ieri ha definito la sentenza «una vittoria per tutti coloro che sono preoccupati delle minacce del “welfare digitale”».

«In molti Paesi, e certamente in tutta Europa, sono attivi o allo studio sistemi simili», spiega Amos Toh, ricercatore di Human Rights Watch che si occupa di intelligenza artificiale. «Nel Regno Unito, ad esempio, sono già attivi programmi di intelligenza artificiale come questo, e anche Stati Uniti e Australia elaborano i dati per l’accesso allo stato sociale in modo ormai largamente automatico. Ma sono sistemi scarsamente trasparenti e soggetti a distorcere la realtà».

Vittoria dei legali

«La sentenza è una vittoria e una difesa per chi si preoccupa dei diritti digitali»