I Big Data non sono neutri Un piano per evitare discriminazioni e abusi

Nuove procedure per intervenire nel trattamento delle informazioni: il web è tenuto come tutti al rispetto delle norme

Dati e algoritmi di cui non sappiamo nulla potrebbero negarci l’accesso a un lavoro o a un prestito. Il crescente potere delle decisioni basate sui Big Data — in contesti governativi, commerciali e anche nelle organizzazioni non-profit — ha suscitato preoccupazioni tra accademici, attivisti, giornalisti ed esperti di diritto. Tre caratteristiche dei procedimenti algoritmici hanno reso il problema particolarmente difficile da analizzare e affrontare. I dati utilizzati possono essere imprecisi o inappropriati. La costruzione degli algoritmi può essere basata su preconcetti o incompetenza. E l’uso degli algoritmi in molti settori critici è ancora opaco. Ad esempio, potremmo non sapere se i nostri capi ci stanno giudicando secondo qualche formula segreta.

Nonostante questi problemi, la tecnologia dei Big Data continua a diffondersi. Gli algoritmi non determinano solo scelte nell’ambito dei prodotti, ma anche la reputazione personale. Il modo in cui vediamo il mondo passa attraverso il loro filtro.

Le piattaforme dominanti, da Twitter ad Apple, da Facebook a Google, dovrebbero essere obbligate ad aumentare l’alfabetizzazione in materia di new media e distinguere chiaramente il contenuto pubblicitario da quello editoriale. Facebook, ad esempio — che è molto peggio di Twitter, perché è molto filtrato dagli algoritmi e usa metodi poco chiari nel decidere come dare priorità ai messaggi — dovrebbe consentire ai suoi utenti di capire come funziona il suo filtro. Dovrebbe permetterci di vedere tutto quello che pubblicano i nostri amici, se vogliamo. Un programma che fa questo è stato realizzato per i ricercatori, che hanno visto — e la cosa non ci sorprende — che anche gli utenti esperti non hanno un’idea chiara di come funzionino gli algoritmi che trattano i contenuti di Facebook. E questo praticamente equivale a non sapere chi finanzia la campagna elettorale di un politico, o un giornale o una televisione.

Vale anche nell’ambito del sistema creditizio. Un giornalista ha scoperto che chi acquistava feltrini da mettere sotto le gambe dei mobili (in modo che sedie, divani e scrivanie non graffiassero il pavimento) veniva considerato dalle banche più degno di fiducia. Chi acquista più alcolici della media o ha una macchina di piccolo taglio può essere giudicato al contrario meno affidabile, e gli verrà quindi imposto un tasso di interesse più alto. Una società di carte di credito ha ammesso di usare i dati su chi si rivolge a servizi di consulenza matrimoniale come criterio per alzare i tassi di interesse e ridurre la disponibilità di credito.

Non c’è alcuna garanzia che i Big Data saranno utilizzati per riuscire a comprendere meglio la società. Potrebbero benissimo essere una scorciatoia per la riproduzione di vecchi pregiudizi rivestiti da una patina di scientificità che li renderebbe ancora più forti. Abbiamo bisogno di metodi interpretativi della società molto più sofisticati per cogliere la complessità di questi problemi. Questo potrebbe richiedere più giudizi individuali in contesti dove ora governano i numeri: una società finanziaria potrebbe, ad esempio, decidere di chiedere il 15% di interesse a chi ha avuto problemi di inadempienza nel passato, solo perché i modelli di dati dimostrano che questi problemi tendono a essere ricorrenti. E questo perché si basano su un processo incapace di determinare se il problema era causato da un rifiuto a pagare il debito o da un’emergenza medica in famiglia. Allo stesso modo, la polizia potrebbe decidere di controllare di più un quartiere perché nel passato aveva un tasso di criminalità del 10% superiore agli altri. E se l’inadempienza discendesse da tassi di interesse troppo alti, causati da pratiche di prestito discriminatorie? O se l’eccessivo tasso di criminalità nel quartiere riflettesse le tendenze passate a intensificare la pressione poliziesca su basi razziste?

Gli algoritmi che stanno dietro a queste valutazioni non saranno tanto «arbitri oggettivi» di opportunità e penalizzazioni, quanto modi di trasformare scelte soggettive e prevenute in punteggi apparentemente oggettivi ed equi. Le persone colpite perderanno la possibilità di essere trattate e capite individualmente, dato che i sistemi tecnici considerano le persone un mero assieme di dati. I processi algoritmici trasparenti dovranno essere permeabili a queste critiche. Garantiranno un processo tecnologico giusto — la possibilità di comprendere i dati utilizzati contro di noi e le formule che li traducono in punteggi, tassi di interesse, giudizi o stigma. Si pensi, ad esempio, a come ora il diritto all’oblio possa cambiare i risultati delle ricerche. Una volta puramente algoritmici, ora i risultati di ricerca di Google devono cambiare se un cittadino europeo riesce a metterne in dubbio la correttezza e validità. Il diritto all’oblio è un primo passo verso la trasparenza algoritmica.

In un’epoca in cui Siri di Apple, Cortana di Microsoft, Echo di Amazon e altre applicazioni mirano a essere più che semplici strumenti, dobbiamo fare in modo che incorporino i principi fondamentali della correttezza giuridica, dell’anti-discriminazione e della trasparenza. Quando Siri raccomanda un ristorante o un libro, si basa su dati autentici sulla probabilità che ci piacerà, o su qualche accordo promozionale non dichiarato? Un obiettivo fondamentale per i lavoratori qualificati di tutti i tipi è garantire che i loro valori, le loro norme e competenze si riflettano nell’impiego di software e di analisi predittive.

I sistemi algoritmici hanno bisogno di una guida professionale tanto quanto i professionisti hanno bisogno di questi sistemi: una comunità di esperti che renda la trasparenza un presupposto per ricerca, indagine e azione. Questo è fondamentalmente uno sforzo perché la tecnologia aderisca ai valori del diritto. Ora che un’informazione può rovinare la vita di una persona, è estremamente importante poter sottrarre al sistema alcuni dati. Ma anche se crediamo che nessuna informazione debba essere «cancellata» — che ogni mancanza ed errore debba rimanere per sempre in qualche archivio — potremmo comunque cercare di influenzare il trattamento dei dati. Gli algoritmi possono essere resi più trasparenti, ma solo se la legge consente a tutti noi di esaminarli e metterli in dubbio.

(

Maria Sepa)