E possono fare molti danni

I Big data? Sono sciocchi

Cathy O’Neil è alla ricerca di redenzione. Quello della scrittrice e matematica statunitense è un lungo percorso, che l’ha vista passare dall’azienda finanziaria Shaw al movimento Occupy Wall Street. Dagli alti uffici dov’è iniziata la crisi del 2008 a un movimento antisistema e critico del capitalismo avanzato, insomma: il tutto, tentando di usare la matematica come bussola, anche morale.

Il suo nuovo libro, Armi di distruzione matematica (Bompiani), è un saggio con alcuni elementi autobiografici in cui O’Neil si occupa dei Big data, ovvero l’analisi di enormi moli di informazioni con algoritmi informatici. Alla base della diffusione dei Big data in molti settori c’è la facilità con cui permettono di analizzare strabilianti database scovando tendenze, punti in comune e possibili soluzioni a problemi invisibili a occhio nudo. Tale facilità, però, nasconde alcune insidie: l’abuso di questa tecnologia può avere infatti conseguenze tragiche.

L’autrice inizia raccontando l’impatto che la pubblicità online e la cosiddetta «targetizzazione» hanno avuto sulle università americane, spinte a perfezionare sempre di più il loro modello di «iscritto ideale». Un meccanismo imposto da Google e Facebook, servizi con cui è possibile decidere a che tipo di utenti mostrare una certa pubblicità, per esempio quella per l’iscrizione a un corso di laurea. Il risultato finale è ulteriore isolamento — sociale ed etnico — scaturito proprio da questa ricerca del target ideale.

O’Neil ricorda spesso che la tecnologia è umana, quindi conserva i difetti e i pregiudizi delle persone che l’hanno progettata. L’autrice passa quindi in rassegna tutti i modelli analitici che negli Stati Uniti vengono applicati alla selezione di nuovi lavoratori nelle aziende o addirittura alla prevenzione dei crimini, e sottolinea come il razzismo e il classismo non solo sopravvivano, ma addirittura vengano riverberati da questi algoritmi. PredPol, per esempio, è un programma utilizzato dalla polizia di Reading, in Pennsylvania, in grado di calcolare «i luoghi più a rischio» della città. Quando gli agenti decidono di seguire i reati minori, vengono spinti sempre più spesso nelle zone più povere della città, dove tali eventi sono «endemici». «Questo — scrive la matematica — crea un pericoloso ciclo di feedback. Sono le operazioni di polizia stesse a fornire nuovi dati, che giustificano nuovi interventi».

Una società razzista produce software razzisti. Lo dimostrano gli esempi citati da O’Neil di servizi nati per facilitare processi di selezione presso università o aziende, divenuti presto un’altra faccia del profiling, la pratica di cui è spesso accusata la polizia americana quando cerca di colpire i quartieri più bassi, spesso a maggioranza afroamericana. Alla base di questo problema c’è l’ossessione della tecnologia per i modelli matematici, con cui un programma può decidere chi è l’utente giusto per un certo prodotto o una pubblicità online, nel caso di Google. «I modelli — nota O’Neil — mettono in evidenza le offerte speciali sul prosciutto e il Chianti, consigliano un film da non perdere su Amazon Prime oppure guidano gli utenti passo passo, con il navigatore in modalità turn-by-turn. La natura sobria e personale di questa targetizzazione impedisce ai privilegiati di capire come quegli stessi modelli vengano utilizzati per distruggere la vita di alcuni, magari solo qualche isolato più in là».

In quanto esperta di dati, O’Neil crede che tra le possibili soluzioni al problema dei Big data, ci siano i dati stessi: ne servono di più e di migliori. Spiegando come alcuni modelli siano arrivati a fare danni anche nel sistema giudiziario e penitenziario americano, l’autrice offre una possibile soluzione: «Se mai potessi lavorare come data scientist per il sistema giudiziario, scaverei in profondità per scoprire che cosa accade all’interno di quelle prigioni e come le esperienze vissute dai detenuti si ripercuotano sui loro comportamenti. Prima di tutto valuterei l’isolamento». Quello dell’isolamento è un punto interessante: un evento traumatico e personale con profondi effetti psicologici, ovvero proprio il genere di cose che un algoritmo non può capire. Eppure, tali effetti potrebbero avere enormi conseguenze sulle percentuali di recidiva, per esempio, e quindi essere preziosi per un algoritmo che voglia analizzare il comportamento degli incarcerati. È un test che mi piacerebbe condurre, ma non ho idea se siano mai stati raccolti dati al riguardo», conclude O’Neil. Il punto è proprio questo: un algoritmo queste cose non le sa, dobbiamo spiegargliele noi, fornendogli i dati giusti.