L’INTELLIGENZA ARTIFICIALE E GLI APPALTI PUBBLICI. CENNI.

Sommario: 1. Gli elementi di diritto positivo. – 2. Le prime decisioni della giurisprudenza amministrativa. – 2.1. Decisioni che riguardano procedure che a loro volta hanno avuto ad oggetto – in tutto o in parte – sistemi d’intelligenza artificiale. - 2.2 Decisioni in cui i sistemi d’intelligenza artificiale vengono indirettamente in rilievo. - 2.3 Decisioni che si sono occupate di algoritmi o comunque di sistema d’intelligenza artificiale nell’ambito di procedure di appalto. - 2.4 Decisioni anche non comprese in uno dei sottoinsiemi di cui sopra, ma che hanno trattato la definizione di algoritmo e/o d’intelligenza artificiale. - 3. Come classifichiamo i sistemi d’intelligenza artificiale che si occupano di appalti pubblici ai sensi dell’art. 30 del Codice. - 4. Alcune considerazioni conclusive. - 4.1 Il problema della black box. - 4.2 Dubbi sull’attuale legittimo impiego di sistemi dell’intelligenza artificiale ai sensi dell’art. 30 del Codice. – 4.3. Alcune osservazioni finali.

 

1. Gli elementi di diritto positivo

A seguito della pubblicazione sulla Gazzetta Ufficiale dell’UE del Regolamento del Parlamento Europeo e del Consiglio del 13 giugno 2024, n. 1689, che stabilisce regole armonizzate sull'intelligenza artificiale, finalmente si riscontra nel nostro ordinamento una definizione d’intelligenza artificiale più propriamente declinata come sistema di intelligenza artificiale.

Leggiamo, infatti, all’art. 3, par. 1, n. 1) del citato Regolamento che una IA è “un sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali”[1].

L’art. 30 del d.lgs. 31 marzo 2023, n. 36, a propria volta, stabilisce che le Stazioni appaltanti[2]:

• ove possibile, automatizzano le proprie attività nel rispetto delle norme vigenti;
• nell’ambito della predetta automazione possono impiegare, tra le varie innovazioni tecnologiche, anche l’intelligenza artificiale.

Nel fare impiego di processi automatizzati le Amministrazioni sono tenute a:

1. assicurare la disponibilità del codice sorgente[3], della relativa documentazione nonché di ogni altro elemento utile a comprenderne le logiche di funzionamento;
2. introdurre negli atti di indizione delle gare per l’individuazione degli operatori economici che forniscono i mezzi tecnici necessari per porre in essere processi automatizzati “clausole volte ad assicurare le prestazioni di assistenza e manutenzione necessarie alla correzione degli errori e degli effetti indesiderati derivanti dall’automazione” (art. 30, comma 2, lett. b)[4].

Se il processo automatizzato è di natura decisionale[5] sono poi prescritte ulteriori garanzie (comma 3):

1. diritto[6] di conoscere da parte degli operatori economici interessati che tutto o parte il procedimento che li riguarda prevede che siano esperiti processi decisionali automatizzati (diritto alla conoscenza dell’impiego di processi decisionali automatizzati ossia procedure che prescindono - nel loro usuale o preponderante funzionamento - dall’intervento in corso di esecuzione di uno o più esseri umani, fatto salvo il diritto di cui alla successiva lett. c);
2. diritto di ricevere informazioni significative sulla logica utilizzata nell’ambito dei precitati processi decisionali (comprensibilità del processo decisionale automatizzato);
3. il diritto che, pur in costanza di un processo decisionale automatizzato, sia sempre assicurata la presenza di un contributo umano capace di controllare, validare ovvero smentire la decisione automatizzata (non esclusività della decisione algoritmica)[7];
4. il diritto che il procedimento automatizzato sia realizzato in modo da garantire, tramite misure tecniche e organizzative adeguate, effetti discriminatori nei confronti degli operatori economici (non discriminazione algoritmica)[8].

 

2.  Le prime decisioni della giurisprudenza amministrativa

Nell’ambito di uno studio innanzitutto quantitativo delle decisioni del Giudice amministrativo che si sono occupate dell’argomento[9] possiamo innanzitutto suddividere - arbitrariamente - le stesse nei quattro riportati sottoinsiemi per il miglior intelletto del tema in trattazione.

 

2.1. Decisioni che riguardano procedure che a loro volta hanno avuto ad oggetto – in tutto o in parte – sistemi d’intelligenza artificiale

Sono il numero largamente più ampio di tutte quelle rilevate; si tratta delle decisioni in cui l’oggetto delle questioni trattate è in tutto o in parte, anche minima, un sistema d’intelligenza artificiale.

Si può vedere, peraltro, una rapida crescita di queste decisioni nell’ambito di procedure ad evidenza pubblica, e ciò, pur senza pretesa di esaustività né di assoluta esattezza, si ritiene che comunque rappresenti una tendenza obiettivamente esistente e sulla quale sia opportuno riflettere[10]:

anno 2017: n. 1;

anno 2021: n. 3

anno 2022: n. 3[11];

anno 2023: n. 7[12];

anno 2024: 7;

anno 2025: 8 (dato al 22.04.2025 e in proiezione proporzionale sull’intero anno nel grafico)[13].

 

2.2 Decisioni in cui i sistemi d’intelligenza artificiale vengono indirettamente in rilievo

Si tratta di decisioni in cui i sistemi d’intelligenza artificiale assumono un qualche rilievo, seppure indiretto, nel processo istruttorio e/o decisionale dell’Amministrazione.

In un caso nell’ambito di un procedimento di verifica dell’anomalia dell’offerta è stato ritenuto ragionevole che la riduzione dei costi sia stata, almeno in parte, imputata dall’operatore economico all’impiego di sistemi d’intelligenza artificiale, impiego che avrebbe consentito di ridurre unità di personale e tempi di espletamento di attività[14].

Altrettanto interessante è un altro caso in cui nell’ambito di una gara per la sistemazione e il ripristino di un torrente nella quale si discuteva della legittimità di un provvedimento di esclusione di un concorrente per unicità del centro decisionale. La difesa dell’operatore economico escluso ha sostenuto che nell’offerta tecnica “sarebbe normale (che) vi siano taluni episodi di ripetitività ed analogia” con altro concorrente e ciò per il largo ricorso a sistemi d’intelligenza artificiale che possono dare luogo a offerte tecniche tra loro “del tutto sovrapponibili”[15]. In tale occasione il Giudice ha rigettato queste argomentazioni difensive ritenendo che il ricorrente non avesse assolto adeguatamente all’onere probatorio atteso che “gli indizi sono sì gravi, precisi e concordanti da far ritenere un molto probabile se non sicuro «coordinamento tra le offerte»”.

Recentemente, infine, la difesa di un concorrente si è lamentata della circostanza che il modello d’intelligenza artificiale utilizzato dall’aggiudicatario non avrebbe offerto adeguate garanzie di affidabilità e per dimostrare la fondatezza della propria tesi difensiva ha presentato in giudizio alcune risposte palesemente errate che detto modello di IA avrebbe generato. Sennonché, secondo il TAR Lazio l’aggiudicataria ha fatto un uso dell’intelligenza artificiale diverso dall’utilizzo del modello generale descritto dalla parte ricorrente, “a ben vedere mirato e specifico, che ne prevede l’impiego solo come ulteriore strumento di supporto matematico/statistico e di elaborazione di dati, migliorando l’efficienza e la qualità dei servizi offerti”[16], quindi l’argomentazione di parte ricorrente è stata ritenuta infondata.

 

2.3 Decisioni che si sono occupate di algoritmi o comunque di sistema d’intelligenza artificiale nell’ambito di procedure di appalto

Al momento non sono state riscontrate decisioni che ricadono nella categoria rubricata.

 

2.4 Decisioni anche non comprese in uno dei sottoinsiemi di cui sopra, ma che hanno trattato la definizione di algoritmo e/o d’intelligenza artificiale

Una delle prime analisi che è stata compiuta dalla giurisprudenza è la distinzione tra algoritmo e intelligenza artificiale.

La definizione di algoritmo è nota. Per riprendere e limitarci all’estratto della definizione del Vocabolario Treccani online costituisce un algoritmo “qualunque schema o procedimento matematico di calcolo; più precisamente, un procedimento di calcolo esplicito e descrivibile con un numero finito di regole che conduce al risultato dopo un numero finito di operazioni, cioè di applicazioni delle regole”.

Si è posto, quindi, il problema in cosa il sistema d’intelligenza artificiale si discosti da questa definizione: “Non v’è dubbio che la nozione comune e generale di algoritmo riporti alla mente «semplicemente una sequenza finita di istruzioni, ben definite e non ambigue, così da poter essere eseguite meccanicamente e tali da produrre un determinato risultato» (questa la definizione fornite in prime cure). Nondimeno si osserva che la nozione, quando è applicata a sistemi tecnologici, è ineludibilmente collegata al concetto di automazione ossia a sistemi di azione e controllo idonei a ridurre l’intervento umano. Il grado e la frequenza dell’intervento umano dipendono dalla complessità e dall’accuratezza dell’algoritmo che la macchina è chiamata a processare. Cosa diversa è l’intelligenza artificiale. In questo caso l’algoritmo contempla meccanismi di machine learning e crea un sistema che non si limita solo ad applicare le regole software e i parametri preimpostati (come fa invece l’algoritmo «tradizionale») ma, al contrario, elabora costantemente nuovi criteri di inferenza tra dati e assume decisioni efficienti sulla base di tali elaborazioni, secondo un processo di apprendimento automatico”[17].

Già prima la giurisprudenza ha affermato che: “Non deve infatti confondersi la nozione di «algoritmo» con quella di «intelligenza artificiale», riconducibile invece allo studio di «agenti intelligenti», vale a dire allo studio di sistemi che percepiscono ciò che li circonda e intraprendono azioni che massimizzano la probabilità di ottenere con successo gli obiettivi prefissati. È possibile allora comprendere che esistono anche algoritmi di intelligenza artificiale, vale a dire algoritmi, tecniche computazionali, soluzioni che siano in grado di replicare il comportamento umano: sono tali, ad esempio, quelli che interagiscono con l’ambiente circostante o con le persone, che apprendono dall’esperienza (machine learning), che elaborano il linguaggio naturale oppure che riconoscono volti e movimenti”[18].

Appare interessante evocare un ancora precedente pronunciamento assunto dal Consiglio di Stato risalente al 2019 scaturito nell’ambito di un procedimento selettivo concorsuale, il quale, invero, appare straordinariamente attuale, sebbene non menzioni sistemi d’intelligenza artificiale, bensì (meri) sistemi algoritmici: “L’utilizzo di procedure «robotizzate» non può, tuttavia, essere motivo di elusione dei princìpi che conformano il nostro ordinamento e che regolano lo svolgersi dell’attività amministrativa. Difatti, la regola tecnica che governa ciascun algoritmo resta pur sempre una regola amministrativa generale, costruita dall’uomo e non dalla macchina, per essere poi (solo) applicata da quest’ultima, anche se ciò avviene in via esclusiva. Questa regola algoritmica, quindi:

- possiede una piena valenza giuridica e amministrativa, anche se viene declinata in forma matematica, e come tale, come si è detto, deve soggiacere ai principi generali dell’attività amministrativa, quali quelli di pubblicità e trasparenza (art. 1 l. 241/90), di ragionevolezza, di proporzionalità, etc.;

- non può lasciare spazi applicativi discrezionali (di cui l’elaboratore elettronico è privo), ma deve prevedere con ragionevolezza una soluzione definita per tutti i casi possibili, anche i più improbabili (e ciò la rende in parte diversa da molte regole amministrative generali); la discrezionalità amministrativa, se senz’altro non può essere demandata al software, è quindi da rintracciarsi al momento dell’elaborazione dello strumento digitale;

- vede sempre la necessità che sia l’amministrazione a compiere un ruolo ex ante di mediazione e composizione di interessi, anche per mezzo di costanti test, aggiornamenti e modalità di perfezionamento dell’algoritmo (soprattutto nel caso di apprendimento progressivo e di deep learning);

- deve contemplare la possibilità che – come è stato autorevolmente affermato – sia il giudice a «dover svolgere, per la prima volta sul piano ‘umano’, valutazioni e accertamenti fatti direttamente in via automatica», con la conseguenza che la decisione robotizzata “impone al giudice di valutare la correttezza del processo automatizzato in tutte le sue componenti”.

In definitiva, dunque, l’algoritmo, ossia il software, deve essere considerato a tutti gli effetti come un «atto amministrativo informatico».”[19].

E sempre nel 2019 il medesimo Consiglio di Stato ha ulteriormente acclarato che sussistono quantomeno “due aspetti preminenti, quali elementi di minima garanzia per ogni ipotesi di utilizzo di algoritmi in sede decisoria pubblica: a) la piena conoscibilità a monte del modulo utilizzato e dei criteri applicati; b) l’imputabilità della decisione all’organo titolare del potere, il quale deve poter svolgere la necessaria verifica di logicità e legittimità della scelta e degli esiti affidati all’algoritmo”[20].

Con riferimento alla necessità che la regola tecnica sia conoscibile e comprensibile ha, infatti, chiarito la medesima decisione che “il meccanismo attraverso il quale si concretizza la decisione robotizzata (ovvero l’algoritmo) debba essere «conoscibile», secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico.

Tale conoscibilità dell’algoritmo deve essere garantita in tutti gli aspetti: dai suoi autori al procedimento usato per la sua elaborazione, al meccanismo di decisione, comprensivo delle priorità assegnate nella procedura valutativa e decisionale e dei dati selezionati come rilevanti. Ciò al fine di poter verificare che i criteri, i presupposti e gli esiti del procedimento robotizzato siano conformi alle prescrizioni e alle finalità stabilite dalla legge o dalla stessa amministrazione a monte di tale procedimento e affinché siano chiare – e conseguentemente sindacabili – le modalità e le regole in base alle quali esso è stato impostato. In proposito, va ribadito che, la «caratterizzazione multidisciplinare» dell’algoritmo (costruzione che certo non richiede solo competenze giuridiche, ma tecniche, informatiche, statistiche, amministrative) non esime dalla necessità che la «formula tecnica», che di fatto rappresenta l’algoritmo, sia corredata da spiegazioni che la traducano nella «regola giuridica» ad essa sottesa e che la rendano leggibile e comprensibile. Con le già individuate conseguenze in termini di conoscenza e di sindacabilità (cfr. punto 8.3 della motivazione della sentenza 2270 cit.). In senso contrario non può assumere rilievo l’invocata riservatezza delle imprese produttrici dei meccanismi informatici utilizzati i quali, ponendo al servizio del potere autoritativo tali strumenti, all’evidenza ne accettano le relative conseguenze in termini di necessaria trasparenza”.

Con riferimento, invece, al diritto alla motivazione ex art. 3 l. n. 241/1990 - ancora - il Consiglio di Stato ha chiarito che: “Sul versante della verifica degli esiti e della relativa imputabilità, deve essere garantita la verifica a valle, in termini di logicità e di correttezza degli esiti. Ciò a garanzia dell’imputabilità della scelta al titolare del potere autoritativo, individuato in base al principio di legalità, nonché della verifica circa la conseguente individuazione del soggetto responsabile, sia nell’interesse della stessa p.a. che dei soggetti coinvolti ed incisi dall’azione amministrativa affidata all’algoritmo […]. Il principio in esame è formulato in maniera generale e, perciò, applicabile sia a decisioni prese da soggetti privati che da soggetti pubblici, anche se, nel caso in cui la decisione sia presa da una p.a., la norma del Regolamento costituisce diretta applicazione specifica dell’art. 42 della Carta Europea dei Diritti Fondamentali («Right to a good administration»), laddove afferma che quando la Pubblica Amministrazione intende adottare una decisione che può avere effetti avversi su di una persona, essa ha l’obbligo di sentirla prima di agire, di consentirle l’accesso ai suoi archivi e documenti, ed, infine, ha l’obbligo di “dare le ragioni della propria decisione”. Tale diritto alla conoscenza dell’esistenza di decisioni che ci riguardino prese da algoritmi e, correlativamente, come dovere da parte di chi tratta i dati in maniera automatizzata, di porre l’interessato a conoscenza, va accompagnato da meccanismi in grado di decifrarne la logica. In tale ottica, il principio di conoscibilità si completa con il principio di comprensibilità, ovverosia la possibilità, per riprendere l’espressione del Regolamento, di ricevere «informazioni significative sulla logica utilizzata»”[21].

E ancora tale sentenza evidenzia l’esistenza di due ulteriori principi:

- “l’altro principio del diritto europeo rilevante in materia (ma di rilievo anche globale in quanto ad esempio utilizzato nella nota decisione Loomis vs. Wisconsin), è definibile come il principio di non esclusività della decisione algoritmica.

Nel caso in cui una decisione automatizzata «produca effetti giuridici che riguardano o che incidano significativamente su una persona», questa ha diritto a che tale decisione non sia basata unicamente su tale processo automatizzato (art. 22 Reg.). In proposito, deve comunque esistere nel processo decisionale un contributo umano capace di controllare, validare ovvero smentire la decisione automatica. In ambito matematico ed informativo il modello viene definito come HITL (human in the loop), in cui, per produrre il suo risultato è necessario che la macchina interagisca con l’essere umano”;

- in ultimo luogo “dal considerando n. 71 del Regolamento 679/2016 il diritto europeo trae un ulteriore principio fondamentale, di non discriminazione algoritmica”.

 

3. Come classifichiamo i sistemi d’intelligenza artificiale che si occupano di appalti pubblici ai sensi dell’art. 30 del Codice

Innanzitutto corre l’obbligo di evidenziare che escono dal campo di applicazione dell’AI ACT i sistemi di IA (art. 2, par. 3):

• concernenti settori che non rientrano nell'ambito di applicazione del diritto dell'Unione inclusi la sicurezza nazionale, indipendentemente dal tipo di entità incaricata dagli Stati membri di svolgere compiti in relazione a tali competenze;
• se e nella misura in cui sono immessi sul mercato, messi in servizio o utilizzati con o senza modifiche esclusivamente per scopi militari, di difesa o di sicurezza nazionale, indipendentemente dal tipo di entità che svolge tali attività;
• che non sono immessi sul mercato o messi in servizio nell'Unione, qualora l'output sia utilizzato nell'Unione esclusivamente per scopi militari, di difesa o di sicurezza nazionale, indipendentemente dal tipo di entità che svolge tali attività.

Premesso ciò, com’è noto, l’AI ACT distingue i sistemi d’intelligenza artificiale in tipologie a secondo della loro rischiosità per la persona umana e per la nostra società.

Troviamo, innanzitutto, i sistemi IA vietati ossia con rischio inaccettabile (art. 4) e diremmo che si possa escludere che tra essi possano ricadere IA procedurali ex art. 30 del Codice.

Così ad analoga conclusione occorre addivenire anche avuto riguardo ai sistemi IA di alto rischio di cui all’Allegato III dell’AI ACT.

Quindi i sistemi IA utilizzabili nell’ambito di modelli procedimentali ex art. 30 del Codice dei contratti dovrebbero essere classificati a basso rischio.

 

4. Alcune considerazioni conclusive

4.1 Il problema della black box

Se cerchiamo di mettere insieme la definizione d’intelligenza artificiale dell’AI ACT, le previsioni dell’art. 30 del Codice dei Contratti e la succitata elaborazione giurisprudenziale troviamo sicuramente diversi elementi di contatto, ma anche alcuni problemi di difficile se non di impossibile soluzione allo stato dell’attuale sviluppo tecnologico.

Per evitare il rischio di redigere enunciazioni di principi privi di una sottostante ricaduta applicativa, si ritiene importante osservare come il nodo gordiano dell’impiego degli attuali sistemi di IA nell’ambito delle procedure dei procedimenti correlati all’affidamento di contratti pubblici, attenga al problema della cosiddetta «black box» ossia della difficoltà se non dell’impossibilità di comprendere perché a determinati input seguano determinati output[22].

Prendiamo alcuni passaggi di testi tecnici che si sono occupati di questo problema senza alcuna pretesa di esaustività attesa l’enorme bibliografia che si sta sviluppando su questo fondamentale aspetto tecnico:

• “A black box AI is an AI system whose internal workings are a mystery to its users. Users can see the system’s inputs and outputs, but they can’t see what happens within the AI tool to produce those outputs. […] Many of the most advanced machine learning models available today, including large language models such as OpenAI’s ChatGPT and Meta’s Llama, are black box AIs. These artificial intelligence models are trained on massive data sets through complex deep learning processes, and even their own creators do not fully understand how they work.”[23];
• è possibile suddividere i sistemi di IA in: “Strong Black Boxes: Strong black boxes are AI with decision-making processes that are entirely opaque to humans. There is no way to determine (a) how the AI arrived at a decision or prediction, (b) what information is outcome determinative to the AI, or (c) to obtain a ranking of the variables processed by the AI in the order of their importance. Importantly, this form of black box cannot even be analyzed ex post by reverse engineering the AI’s outputs” e in “Weak Black Boxes: The decision-making process of a weak black box are also opaque to humans. However, unlike the strong black box, weak black boxes can be reverse engineered or probed to determine a loose ranking of the importance of the variables the AI takes into account. This in turn may allow a limited and imprecise ability to predict how the model will make its decisions. As explained further infra in Parts III and IV, weak black boxes may not entirely cause intent and causation tests to cease to function, though they still pose serious challenges for both legal doctrines”[24].

Peraltro a livello tecnico si è già da tempo pensato di dotare i sistemi di IA di un tool che consenta di esplicare in linguaggio umano il proprio processo decisionale, ma ci pare di arguire che i risultati non siano ancora soddisfacenti “the challenges associated with explaing black-box models, i.e. observable models with unknow transfer function, have motivated researchers to develop differente post-hoc interpretation ad explanation facilities. Furthermore, the process of incorporating explanations within the framework of AI model sometimes can be more difficult […] a post-hoc tool can be viewed ad a black-box that explains another black-box”[25].

Si legge, altesì, in Dottrina che: “There is need to develop alogorithms and techniques to interpret the inner workings of black box AI models. This include techniques such as feature importance analysis, saliency maps, and attention mechanisms that highlight the most influential factors in the decision making process. […] Rule extraction techniques aim to extract human-redable rules from the black box models”[26].

Si parla di avere come obiettivo quantomeno una grey box: “An indispensable task for any AI […] is: creation of an Explainable Artificial Intelligence (XAI/Explainable AI: also explainable Artificial Intelligence). This refers to the attempt to make Black Box «Artificial Intelligence» […] to avoid and at least create a Grey Box «Artificial intelligence» (Grey Box AI). It is intended to enable at least partial traceability of results and decisions. A White Box «Artificial Intelligence (White Box AI) is not pursued. It would be a utopian goal to convey complete trasparency to users and those affected by AI systems»”[27].

Ci fermiamo qua almeno ai fini del presente scritto.

 

4.2 Dubbi sull’attuale legittimo impiego di sistemi dell’intelligenza artificiale ai sensi dell’art. 30 del Codice

Dunque esistono almeno tre ordini di problemi che rendono ad oggi non utilizzabili sistemi d’intelligenza negli appalti pubblici[28] e, più in generale, almeno così si crede, nell’ambito dei procedimenti amministrativi:

1. problema epistemologico[29]: attualmente i sistemi d’intelligenza artificiale non sono in grado di palesare il proprio funzionamento interno ad un operatore. Sono appunto intrinsecamente sistemi oscuri. Pertanto, l’esatto meccanismo che correla l’input dall’output è inconoscibile per gli umani o meglio non è ricostruibile a posteriori da qualsiasi entità (umana e non). L’assenza della possibilità di una conoscenza intima del processo decisionale rende per principio inaccettabile l’impiego di detti sistemi di IA in qualsiasi procedimento decisionale, quantomeno connesso all’esercizio di poteri pubblicistici. Sul piano privatistico, invece, l’impiego di sistemi di IA tende a trasformare sostanzialmente in aleatorio qualsiasi processo decisionale[30]. Si badi che non è un problema di difficoltà di esplicazione, bensì di impossibilità vera e propria e ciò né a priori né a posteriori[31];
2. problema filosofico: anche ammesso che fosse consentito parcellizzare a unità fondamentale ogni singola operazione compiuta al sistema d’intelligenza artificiale[32] rendendo il processo decisionale assolutamente trasparente e ripercorribile a contrario, nulla garantisce che il percorso così tracciato e descritto sia in qualche modo comprensibile per l’essere umano. Decisioni correlate a percentuali di ricorsività di pattern su modelli di apprendimento, associazioni fondate sulla ricorrenza di determinati schemi, ecc… potrebbero risultare presumibilmente del tutto prive di significato per l’operatore umano o meglio non fornire alcun elemento che consenta di accostare il modo di funzionamento del sistema di IA con quello proprio del pensiero umano. In altre parole, la trasparenza del meccanismo di funzionamento del sistema di IA, quand’anche non fosse un obiettivo utopistico, rischierebbe comunque di non consentire alcun accostamento al pensiero umano. Di fatto l’esplicabilità sarebbe formale non sostanziale, impendendo a priori all’umano di partecipare (cognitivamente parlando) al processo decisionale precedentemente percorso dal sistema informatico;
3. problema giuridico: quand’anche l’operatore umano riuscisse a estrapolare e poi a comprendere il meccanismo risultante mediante una cosiddetta «White box» occorrerebbe controllare che il meccanismo decisionale/istruttorio operato dal sistema di IA sia effettivamente conforme al modello giuridico che avrebbe dovuto essere utilizzato e, in primis, ai principi del procedimento amministrativo della l. n. 241/1990. In altre parole l’esplicabilità è semplicemente un primo passo equiparabile, mutatis mutandis, alla capacità naturale di un essere umano. Infatti, la semplicemente circostanza che un processo sia esplicabile non rende minimamente conto della circostanza che sia, altresì, conforme al modello normativo prescritto.

Dal tortuoso triplice percorso ermeneutico di cui sopra traspare come l’esplicabilità non sia tanto una garanzia, quanto un prerequisito minimo e indispensabile per l’adottabilità di qualsivoglia sistema informatico (intelligente o pseudo tale).

In altre parole l’utilizzazione di sistemi d’intelligenza artificiale - a parere di chi scrive - nell’ambito di un procedimento amministrativo rischia di rendere quest’ultimo ex se illegittimo poiché, per riprendere i principi esposti dall’art. 30 del Codice a raffrontarli con le informazioni di natura tecnica:

1. il funzionamento dei sistemi d’intelligenza artificiale è ad oggi intrinsecamente non conoscibile, salvo che per conoscibilità non s’intenda semplicemente conoscere che il sistema di AI utilizza un sistema di machine learning o uno di deep learning[33] o altra spiegazione tecnica di tipo analogo che, tuttavia, non fornisce alcuna spiegazione sul «ragionamento» sottostante utilizzato dal sistema di AI[34];
2. l’inaccessibilità alla conoscenza del percorso cognitivo posto in essere dal sistema di IA rende pressoché impossibile attingere al secondo dei precitati princìpi ossia quello di non esclusività algoritmica. Infatti, l’operatore umano dovrebbe espletare ogniqualvolta interamente e da capo il procedimento semplicemente per concludere se il risultato del sistema di IA sia (inesplicabilmente) conforme o meno a quello da egli compiuto[35];
3. inoltre, non è possibile neppure verificare, se non eventualmente a posteriori, se il sistema di IA ponga in essere discriminazioni algoritmiche perché è preclusa la conoscenza nel dettaglio del suo funzionamento. Peraltro non si comprende esattamente cosa s’intenda con questa prescrizione. Facciamo un esempio: mettiamo che esistano due indirizzi giurisprudenziali tra loro confliggenti su un dato problema, di cui uno leggermente preponderante rispetto all’altro. Se l’IA segue l’uno piuttosto che l’altro, a fronte della circostanza che non ci sarà consentito sapere perché abbia compiuto detta scelta, come sappiamo che non abbia posto in essere un comportamento discriminatorio? Meglio ancora com’è possibile inferire un output discriminatorio se non a livello statistico date le premesse di cui ai punti I) e II)?

 

4.3 Alcune osservazioni finali

Se parliamo di sistemi di IA che impiegano Large Language Model - LLM e non di applicazioni altamente specialistiche peraltro in alcuni casi già rodate da anni che fanno uso di reti neurali e di sistemi di apprendimento automatico, la sensazione è che ci si trovi innanzi ad una tecnologia oggi ancora immatura, presumibilmente utilizzabile per attività di svago o di divertimento, ma che comporta rilevanti rischi ove impiegata in attività che abbiano una diretta rilevanza giuridica.

Si tratta, inoltre, di una tecnologia il cui perimetro si fatica a disegnare con precisione, come dimostra l’unica definizione attualmente in diritto positivo adottata dal AI ACT che, pertanto, si sovrappone in larga parte a quella comune a software di tipo «tradizionale».

Forse ci si trova innanzi ad una sorta di «wunderkammer» fatta per stupire amici e conoscenti, ma che dopo la prima meraviglia lascia più di qualche dubbio sulla sua concreta affidabilità e ripetibilità.

Perfino nell’ambito di una mera attività di ricerca giurisprudenziale operata da un sistema di IA generativa occorre porsi problemi sull’attendibilità dei risultati atteso che non è dato esplorarne la logica sottostante[36].

Dubbi ancora più consistenti insistono su sistemi AI a programmazione LLM con capacità predittiva, perché è usualmente ancora più arduo predire il futuro che sondare il passato[37].

Pertanto, è presumibile che si porrà il problema dell’apparente contrasto di disposizioni perché, da un lato, l’art. 30 consente l’impiego dell’IA nell’ambito delle procedure di appalto, dall’altro, tuttavia, il medesimo articolo richiede che la decisione assunta in via automatizzata garantisca il parametro della comprensibilità dello strumento tecnologico impiegato.

Ad oggi, in conclusione, algoritmo e sistemi di IA non appaiono appartenere alla medesima famiglia oppure se i secondi sono parenti dei primi, l’intrinseca inesplicabilità dei sistemi di IA rende il legame genetico tra i due insiemi tanto labile da renderlo irrintracciabile, sicché un algoritmo il cui iter logico sia impossibile da ripercorrere a ritroso espone il fianco a concreti dubbi sulla sua applicabilità in ambito giuridico.