Dati, sicurezza e potere

Algoritmi, decisione e diritti nell’era preventiva

L’integrazione degli algoritmi nelle politiche di sicurezza non è un mero aggiornamento tecnico, ma una ridefinizione profonda dei confini tra potere pubblico e diritti individuali.

Se la promessa è quella di anticipare il rischio e ridurre l’incertezza, l’affidarsi a modelli predittivi sposta la questione sul piano politico: questi sistemi non descrivono la realtà, la organizzano.

Oltre la polarizzazione tra favorevoli e contrari, occorre dunque analizzare cosa accada quando la decisione pubblica diventa calcolo e il limite del potere smette di essere fissato dal diritto per scivolare in modelli opachi.

Il problema del limite

La spinta verso una prevenzione sempre più anticipatoria rischia di spostare il confine tra sicurezza e diritto. Un caso emblematico è la dichiarazione di Donald Trump del 2026: l’idea che il potere possa autolimitarsi in base alla propria “morale” anziché vincoli esterni e verificabili.

Trasposto sul piano tecnologico, questo principio diventa cruciale. Delegare la decisione pubblica a sistemi che classificano rischi e sospetti significa che il confine del lecito non è più stabilito solo dalla legge, ma da ciò che un modello considera deviante.

Nello Stato di diritto la norma è pubblica e contestabile; quando invece la soglia del controllo è inscritta in un algoritmo, la difesa si indebolisce. Il pericolo reale non è l’errore tecnico, ma lo scivolamento silenzioso da una regola giuridica esterna a un criterio interno al sistema ed è qui che la gestione dei dati smette di essere neutra e diventa una questione di potere.

L’illusione della neutralità

Il consenso verso queste tecnologie poggia sull’idea che i dati siano più oggettivi degli esseri umani. È una narrazione potente ma fragile: come scrive Cathy O’Neil, gli algoritmi sono “opinioni incorporate nella matematica”. Ogni modello implica scelte a monte su quali variabili considerare rilevanti; non esiste calcolo senza una decisione politica.

Nella sicurezza, i sistemi operano spesso tramite proxy — come il quartiere o la rete di contatti — che riflettono discriminazioni sociali pregresse senza dichiararle. Gli algoritmi non leggono il futuro, riorganizzano il passato: se i dati storici mostrano controlli concentrati su certi gruppi, il modello confermerà quei contesti come rischiosi. Si crea così una circolarità dove la sorveglianza passata giustifica quella futura.

Safiya Umoja Noble ha dimostrato come le gerarchie sociali possano essere integrate nelle categorie stesse dei sistemi, restituendo la disuguaglianza come esito tecnico “neutrale”. Anche economicamente, osserva Maximilian Kasy, un modello può essere statisticamente corretto ma consolidare disparità strutturali, poiché l’ottimizzazione del rischio non coincide con un’equa distribuzione dei costi.

L’apparente oggettività del dato non elimina la dimensione politica della decisione, la sposta solo in un ambito meno visibile. Quando la classificazione algoritmica diventa prassi, la disuguaglianza si trasforma in un risultato “normale”. È questa normalizzazione silenziosa a rendere la neutralità un’illusione pericolosa.

Dall’emergenza alla normalità

L’introduzione di tecnologie invasive è spesso giustificata dall’urgenza: terrorismo, criminalità o flussi migratori. In contesti eccezionali, l’opinione pubblica accetta restrizioni altrimenti intollerabili. Il problema, come osservato da Wendy N. Amoore e David Lyon, è che queste misure straordinarie tendono a stabilizzarsi: le infrastrutture nate per la crisi vengono raramente smantellate, venendo invece riadattate a procedure ordinarie.

La logica preventiva si estende così oltre l’evento generatore. Strumenti pensati per minacce specifiche iniziano a operare su platee ampie, abbassando la soglia d’intervento finché l’eccezione diventa modalità di governo. Anche in Europa, l’AI Act — pur regolando gli usi ad alto rischio — prevede deroghe significative per la sicurezza e la biometria in tempo reale, dimostrando quanto sia labile il confine dell’eccezionalità.

Un caso-limite è offerto dagli Stati Uniti, dove i sistemi di predictive policing e il monitoraggio dell’ICE, nati per minacce circoscritte, si sono estesi al tracciamento continuativo di interi gruppi sociali. Non è un’eccezione geografica, ma la prova di uno slittamento decisivo: dalla gestione di eventi specifici alla gestione preventiva di popolazioni.

In questa dinamica si consolida un’asimmetria strutturale tra chi definisce il rischio e chi ne viene definito. Quando l’eccezione si normalizza, la questione non è più l’efficacia della tecnologia, ma quale forma di potere essa contribuisca a stabilizzare.

Chi paga il prezzo?

La sicurezza non è un bene distribuito uniformemente. Se per una parte della popolazione la tecnologia resta una promessa astratta di protezione, per altri diventa esperienza quotidiana di controllo e classificazione. La sociologia della sorveglianza definisce questa frattura tra soggetti “affidabili” e “rischiosi”, categorie che spesso riflettono posizioni sociali anziché comportamenti individuali.

Virginia Eubanks ha dimostrato come l’automazione colpisca i più vulnerabili, trasformando la fragilità economica in un indicatore di rischio amministrativo. In questo solco, Ruha Benjamin descrive un sistema in cui la discriminazione non scompare, ma viene riorganizzata in infrastrutture tecniche difficili da contestare. Il meccanismo è lineare: una disuguaglianza preesistente viene tradotta in dato e poi in un modello che legittima ulteriori controlli. Ciò che era una questione di giustizia sociale diventa così gestione efficiente del rischio.

In questa dinamica, Kasy evidenzia uno squilibrio strutturale: a fronte di benefici diffusi e astratti — come la percezione d’ordine — i costi sono concentrati e individuali, traducendosi in sorveglianza invasiva e stigmatizzazione. Quando un individuo viene associato a un punteggio di rischio, la sua posizione giuridica cambia senza un atto pubblico esplicito: i diritti diventano variabili dipendenti da una valutazione probabilistica.

La sicurezza preventiva, dunque, non è neutra, ma redistribuisce il peso dell’incertezza sociale. Alcuni godono della protezione; altri sopportano l’onere di essere trattati come rischio potenziale. In questa redistribuzione silenziosa risiede il cuore politico della questione.

Conclusioni

Il dibattito su dati e sicurezza non è una scelta tra innovazione ed esitazione, ma una questione di ridefinizione del potere. Abbiamo visto come la delega algoritmica sposti il confine della decisione: dalla norma pubblica a modelli opachi, dall’eccezione alla stabilità, dalla neutralità alla riproduzione di disparità sociali. In ogni passaggio, la tecnologia non elimina la politica, la riorganizza.

Se il confine dell’azione smette di essere il diritto per diventare una moralità interna al sistema — o al codice di chi lo detiene — il controllo democratico svanisce. La questione dei dati non è dunque un capitolo tecnico, ma riguarda la struttura stessa dello Stato di diritto: chi definisce il rischio deve poter essere chiamato a risponderne.

Non si tratta di rifiutare la protezione, ma di esigere che ogni sistema sia subordinato a regole pubbliche e controllabili. Senza questo equilibrio, la sicurezza smette di essere una tutela per trasformarsi in un dispositivo di erosione dei confini democratici.

È su questo terreno che la discussione deve tornare a concentrarsi, non sull’efficienza promessa, ma sui limiti che siamo disposti o meno a preservare.

Approfondimenti

Qui riportiamo brevi frasi degli autori citati. Potete approfondire direttamente ai link indicati o sui libri riportati.

Donald Trump: “Yeah, there is one thing. My own morality. My own mind. It’s the only thing that can stop me.”

Isabella Murray, Michelle Stoddart. Trump says his ‘own morality’ is limit to his global power, ABC News, 08/01/2026, in https://abcnews.go.com/Politics/trump-morality-limit-global-power/story?id=129033900

Cathy O’Neil: “Our own values and desires influence our choices, from the data we choose to collect to the questions we ask. Models are opinions embedded in mathematics.”

O’Neil, Cathy. Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy. Crown, New York, 2016, p. 25. 

Safiya Umoja Noble: “Over the years, I have concentrated my research on unveiling the many ways that African American people have been contained and constrained in classification systems, from Google’s commercial search engine to library databases. […] As marketing and advertising have directly shaped the ways that marginalized people have come to be represented by digital records such as search results or social network activities, I have studied why it is that digital media platforms are resoundingly characterized as ‘neutral technologies’ in the public domain and often, unfortunately, in academia.”

Noble, Safiya Umoja, Algorithms of Oppression: How Search Engines Reinforce Racism. University Press, New York, 2018, pp. 5-6. 

Maximilian Kasy: “I contrast two different normative paradigms, the fairness paradigm and the welfare paradigm. The fairness paradigm, closely related to the notion of taste based discrimination in economics, undergirds much of the literature on algorithmic fairness. This paradigm is based on a notion of bias, which is defined as a deviation from some legitimate objective or decision-maker motive, such as profits in the case of hiring or promotion decisions. Put differently, fairness in this sense encodes the interests of capital owners (profits), rather than the interests of disadvantaged groups (e.g. racial minorities) affected by their decisions. Viewed in these terms, it appears as a

remarkable, and remarkably successful, ideological sleight of hand to substitute one for the other.”

Kasy, Maximillian, “Algorithmic Bias and Racial Inequality: A Critical Review”, Oxford Review of Economic Policy, Vol. 40, Issue 3, pp. 530–546. DOI: 10.1093/oxrep/grae031. 

David Lyon: “Fast developing technologies combined with new governmental and commercial strategies have led to the proliferation of new modes of surveillance, making surveillance expansion hard to follow, let alone analyze or regulate.”

Lyon, David, Surveillance, Power and Everyday, incluso in Kalantzis-Cope, Phillip e Gherab-Martín, Karim, Emerging Digital Spaces in Contemporary Society. Properties of Technology, Palgrave Macmillan, UK, 2010.

Louise Amoore: “[…] the withdrawal of object recognition algorithms from war does little to resist the Dexterity Network algorithm (Dex-Net, funded by Google and the US Department of Defense) that has the appearance of merely producing more accurate recognition of three-dimensional objects. […] The regimes of recognition made possible by algorithms such as Dex-Net extend the violence of war into the intimate ordinariness of bodies and objects in public space.”

Durham Book Review Response by Louise Amoore, incluso in https://durham-repository.worktribe.com/OutputFile/1610337.

European Union: “1- h. l’uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto a meno che, e nella misura in cui, tale uso sia strettamente necessario per uno degli obiettivi seguenti:

• la ricerca mirata di specifiche vittime di sottrazione, tratta di esseri umani o sfruttamento sessuale di esseri umani, nonché la ricerca di persone scomparse;
• la prevenzione di una minaccia specifica, sostanziale e imminente per la vita o l’incolumità fisica delle persone fisiche o di una minaccia reale e attuale o reale e prevedibile di un attacco terroristico;
• la localizzazione o l’identificazione di una persona sospettata di aver commesso un reato, ai fini dello svolgimento di un’indagine penale, o dell’esercizio di un’azione penale o dell’esecuzione di una sanzione penale per i reati di cui all’allegato II, punibile nello Stato membro interessato con una pena o una misura di sicurezza privativa della libertà della durata massima di almeno quattro anni.

2. L’uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto per uno qualsiasi degli obiettivi di cui al paragrafo 1, primo comma, lettera h), è applicato ai fini di cui a tale lettera, solo per confermare l’identità della persona specificamente interessata e tiene conto degli elementi seguenti:

le conseguenze dell’uso del sistema per i diritti e le libertà di tutte le persone interessate, in particolare la gravità, la probabilità e l’entità di tali conseguenze.”

la natura della situazione che dà luogo al possibile uso, in particolare la gravità, la probabilità e l’entità del danno che sarebbe causato in caso di mancato uso del sistema;

European Union (2024).  Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio, 13 giugno 2024, Articolo 5 Pratiche di IA vietate, paragrafo 1 lettera h e paragrafo 2 lettere a e b, in Future of Life Institute The Act Texts, in https://artificialintelligenceact.eu/the-act/.

Virginia Eubanks: “Eubanks asserts that ‘our ethical evolution still lags behind our technological revolutions’ and the ‘digital revolution has warped to fit the shape’ of what is still an ‘inequitable world’ because society has failed to address the ‘crucial challenges’ of ‘dismantling racism and ending poverty.”

Gordon, Faith,  Book Review. Virginia Eubanks (2018) Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, Law, Technology and Humans, Vol. 1 , Issue 2019, in https://lthj.qut.edu.au/article/view/1386.

Benjamin Ruha: Longworth, Jackson Book Review Benjamin Ruha

“The book opens by establishing a broad foundation for understanding technology, race, and what happens when they collide […] With this eye to the intertwined nature of race and technology, she defines her central idea of the ‘New Jim Code’ as « the employment of new technologies that reflect and reproduce existing inequities but that are promoted and perceived as more objective or progressive than the discriminatory systems of a previous era»”

(2019) Race After Technology: Abolitionist Tools for the New Jim Code, Science & Technology Studies, Vol 34, Issue 2, pp. 92-94, https://www.researchgate.net/publication/351607959_Benjamin_Ruha_2019_Race_After_Technology_Abolitionist_Tools_for_the_New_Jim_Code_Medford_Polity_Press_172_pages_eISBN_9781509526437.

A cura di Alessandro Valente.