Le garanzie di conoscibilità degli algoritmi e l’esigenza di assicurare un controllo umano del procedimento amministrativo (c.d. human in the loop). (Nota a Tar Campania, Sez. III, 14 novembre 2022, n. 7003)
di Martina Sforna
Sommario: 1. Premessa. – 2. La vicenda processuale. – 3. Human in the loop: il controllo umano del procedimento in funzione di garanzia. – 4. Conoscenza e comprensibilità degli algoritmi. – 5. Cenni conclusivi sul ruolo della giurisprudenza in tema di decisioni algoritmiche.
1. Premessa
La pronuncia in commento si inserisce nell’ambito della tematica, già da alcuni anni affrontata in seno alla giurisprudenza amministrativa[1], dell’ammissibilità e dei limiti del ricorso alla c.d. decisione algoritmica all’interno dei procedimenti amministrativi[2]. In particolare, tale sentenza, non mettendo seriamente in discussione la possibilità di impiegare algoritmi al fine di operare scelte amministrative, insiste sull’esigenza di assicurare un controllo umano del procedimento in funzione di garanzia per il privato. Il Collegio, al proposito, si riferisce, espressamente, al concetto del c.d. human in the loop, ovverosia all’esigenza che l’uomo sia mantenuto all’interno dei processi decisionali intrapresi da algoritmi e ulteriori tecnologie di intelligenza artificiale (IA)[3]. Il Collegio si sofferma, altresì, sulle esigenze di conoscibilità e trasparenza che, con riferimento all’utilizzazione di algoritmi da parte delle Amministrazioni, devono apparire rafforzate, in modo che sia garantita la «piena conoscibilità della regola espressa in un linguaggio differente da quello giuridico»[4].
2. La vicenda processuale
La vicenda origina dal ricorso presentato da un soggetto, dichiaratosi titolare di una azienda agricola e proprietario di una vasta area agricola in zona classificata montana in Provincia di Salerno, per l’annullamento delle note con cui AGEA aveva rielaborato le sue domande di pagamento relative agli anni 2018 e 2019 per la Misura 13.1.1 “Indennità compensativa zone montane” del PSR Campania 2014-2020, accertando l’indebita percezione di determinati importi. Si trattava, nella specie, di una indennità che, sulla base dell’applicazione della Direttiva 75/268/CEE, era volta a compensare i costi aggiuntivi e, in generale, gli svantaggi derivanti dalla localizzazione delle attività agricole in territori classificati montani.
Il ricorrente lamentava l’applicazione, da parte di AGEA, di un nuovo algoritmo di calcolo degli importi delle riduzioni e delle sanzioni. In particolare, rappresentava che, dopo essere risultato beneficiario di tale indennità compensativa per gli anni 2018 e 2019 sulla base dell’applicazione di un algoritmo disciplinato dai bandi attuativi della predetta misura, era risultato destinatario di due note di AGEA che, facendo applicazione di un nuovo algoritmo di calcolo, avevano riscontrato degli importi versati in eccesso.
Nello specifico, il ricorrente censurava i provvedimenti impugnati perché viziati secondo plurimi profili. Invero, l’Amministrazione si era limitata a esternare il risultato della procedura di ricalcolo senza, però, menzionare quale fosse il nuovo algoritmo utilizzato, con il relativo funzionamento. In tal modo aveva, quindi, violato l’obbligo di motivazione, nonché impedito al ricorrente di fornire elementi utili per evitare il ricalcolo in sede di contraddittorio procedimentale. Il ricorrente lamentava, inoltre, la violazione della lex specialis, in quanto la rideterminazione degli importi si sarebbe tradotta in una modifica ex post delle regole contenute nel bando attuativo, nonché la violazione dell’art. 21 quinquies L. 241/1990, risolvendosi i provvedimenti impugnati in revoche implicite delle precedenti determinazioni.
Il Tribunale Amministrativo ha, quindi, accolto il ricorso ritenendolo fondato quanto alle censure inerenti il vizio di violazione delle garanzie partecipative e il difetto di motivazione delle note di AGEA. Invero, il Collegio ha rilevato come l’Amministrazione abbia giustificato il ricalcolo degli importi dovuti sulla base di un «generico e indeterminato riferimento alla normativa vigente, alle indicazioni della Commissione Europea e all’utilizzo di una differente modalità di calcolo degli importi delle riduzioni e delle sanzioni che avrebbero condotto alla applicazione del nuovo algoritmo».
Nel dettaglio, quanto alla carenza di motivazione, il Tribunale ha rilevato come essa appaia duplice in considerazione della particolare natura di provvedimenti di secondo grado degli atti impugnati. Infatti, da un lato l’Amministrazione non ha esplicitato quali fonti normative avessero legittimato tale esercizio del potere con effetti retroattivi. Dall’altro lato, il Collegio ha evidenziato come le note di AGEA «non contengono alcun tipo di riferimento all’algoritmo utilizzato, che viene semplicemente menzionato come il “nuovo algoritmo”, in questo modo venendo meno tanto all’obbligo di indicare quale sia stato il meccanismo informatico di decisione impiegato (c.d. conoscibilità), quanto all’obbligo di spiegare il suo funzionamento in termini comprensibili per l’utente non dotato di competenze tecniche (c.d. comprensibilità). Tutto ciò con il risultato di una frustrazione anche delle correlate garanzie processuali che declinano sul versante del diritto di azione e difesa in giudizio di cui all’art. 24 Cost. […]».
Per questi motivi, il Tribunale Amministrativo Regionale della Campania ha disposto l’annullamento delle note di AGEA impugnate.
3. Human in the loop: il controllo umano del procedimento in funzione di garanzia
Il Collegio, nella pronuncia che qui si commenta, dopo aver rilevato che, in generale, l’utilizzo di algoritmi nell’ambito dei procedimenti amministrativi risponde a esigenze di semplificazione nonché di buona amministrazione[5], sottolinea l’esistenza di una opposta esigenza. Si tratta della necessità di assicurare un controllo umano del procedimento, in funzione di garanzia (c.d. human in the loop - HITL). Questa espressione, sorta nel settore matematico e informatico, è utilizzata per indicare quei modelli caratterizzati dalla necessità che, al fine di ottenere il risultato finale, la macchina interagisca con l’essere umano. Applicato all’ambito del procedimento amministrativo, dunque, il rispetto di tale principio implica, come affermato dal Collegio stesso, che «il funzionario possa in qualsiasi momento intervenire per compiere interlocuzioni con il privato, per verificare a monte l’esattezza dei dati da elaborare, mantenendo il costante controllo del procedimento».
Il principio in questione, inoltre, implica la necessaria riferibilità del provvedimento amministrativo a un soggetto umano[6]. Del resto, si potrebbe affermare che tale esigenza antropomorfica permei la stessa struttura del procedimento amministrativo ai sensi della L. n. 241/1990. Invero, l’art. 5 di tale Legge, nel disciplinare i compiti e le funzioni del responsabile del procedimento, lo individua nelle persona di un dirigente o di altro dipendente addetto all’unità organizzativa[7]. Invero, l’istituzione della figura del responsabile del procedimento risponde proprio alle esigenze di «personalizzare la funzione amministrativa» nonché di «individuare un punto di riferimento del cittadino all’interno dell’organizzazione»[8]. Ciò è confermato dagli stessi schemi di legge elaborati dalla Commissione Nigro, nell’ambito dei quali si sottolineava come fosse necessario abbandonare l’allora «attuale condizione di “spersonalizzazione” e “anonimato” dell’operare amministrativo e […] invece creare le condizioni per l’individuazione delle responsabilità personali esterne e interne»[9].
Proprio con riferimento alla garanzia dell’individuazione del responsabile del procedimento, il Collegio rileva che essa non può mai essere sacrificata, neppure quando l’Amministrazione decida di ricorrere all’utilizzo di algoritmi, non solo in funzione integrativa e servente della decisione umana, ma anche in funzione parzialmente decisionale.
Ciò appare, del resto, coerente con le precedenti pronunce del Consiglio di Stato in tema di decisione algoritmiche, alcune delle quali già, espressamente, riferitesi al concetto del c.d. human in the loop. In particolare, con la pronuncia n. 881/2020, i giudici di Palazzo Spada, avevano affermato che «deve comunque esistere nel processo decisionale un contributo umano capace di controllare, validare ovvero smentire la decisione automatica. In ambito matematico ed informatico il modello viene definito come HITL (human in the loop), in cui, per produrre il suo risultato è necessario che la macchina interagisca con l’essere umano»[10].
In quella pronuncia, il Consiglio di Stato aveva, inoltre, richiamato l’art. 22, par. 1 del Regolamento europeo per la protezione dei dati personali 2016/679 (GDPR)[11], il quale consacra il principio della non esclusività della decisione algoritmica. In altri termini, tale norma stabilisce che le persone hanno diritto a non essere destinatarie di decisioni incidenti nella propria sfera giuridica che siano completamente automatizzate e, cioè, prive di qualsivoglia coinvolgimento umano. Invero, «occorre sempre l’individuazione di un centro di imputazione e di responsabilità, che sia in grado di verificare la legittimità e la logicità della decisione dettata dall’algoritmo»[12]. Non è stato, invece, richiamato il paragrafo successivo dell’art. 22, il quale contiene tre ampie eccezioni al principio, con la conseguenza che a livello nazionale «i giudici hanno imposto una tutela maggiore di quella europea»[13].
Tale principio è, evidentemente, strettamente connesso al concetto del c.d. human in the loop. Invero, al fine di assicurare la non esclusività della decisione algoritmica, il funzionario dell’Amministrazione deve, anzitutto, essere mantenuto all’interno del processo decisionale, nonché essere in grado di controllare il sistema utilizzato, potendo intervenire in qualsiasi momento (c.d. human in command[14]).
Al proposito, però, in dottrina si è messo in evidenza un aspetto problematico. Infatti, se a controllare i sistemi di IA deve essere il funzionario pubblico, appare necessario che lo stesso abbia delle adeguate competenze matematiche e informatiche[15]. Invero, «tendenzialmente, solo se l’umano è in grado di comprendere il modo in cui il sistema di IA decide (e può avere fiducia in esso solo se ne comprende il funzionamento), può operare un controllo effettivo sulla macchina e, nel caso, revocarle la delega e correggerne gli output»[16]. Ecco, che appare, allora, opportuno che all’interno delle Pubbliche Amministrazioni, venga promosso lo sviluppo di competenze informatiche e matematiche. Altrimenti, infatti, l’estromissione del soggetto umano dai procedimenti automatizzati apparirebbe, decisamente, favorita.
4. Conoscenza e comprensibilità degli algoritmi
Tra le garanzie che devono essere sempre assicurate al cittadino di fronte all’utilizzo di algoritmi e sistemi di intelligenza artificiale in funzione decisoria, il Collegio, conformemente alle precedenti e già citate pronunce del Consiglio di Stato sul tema[17], include anche il rispetto del principio di trasparenza, il quale trova un immediato corollario nell’obbligo di motivazione di cui all’art. 3 L. 241/1990. In particolare, il principio di trasparenza necessita di essere declinato nella duplice veste di conoscenza o conoscibilità dell’algoritmo, nonché di comprensibilità dello stesso.
Tale conoscibilità dell’algoritmo, secondo il Collegio, deve essere garantita con riferimento a tutti gli aspetti che lo riguardano, quali il procedimento utilizzato per la sua elaborazione, l’identità dei suoi autori, il meccanismo di funzionamento e i criteri dallo stesso applicati. Ciò posto, siccome è evidente che per conoscere questi aspetti non sono sufficienti delle competenze giuridiche, è necessario che la formula tecnica che descrive l’algoritmo sia resa, non solo conoscibile, ma anche comprensibile per il privato. Ciò in ossequio, anzitutto, al diritto a una buona amministrazione di cui all’art. 41 della Convenzione Edu, nonché agli articoli 13 e 14 del GDPR, i quali, in maniera generale, individuano tutte le informazioni che devono essere fornite all’interessato da parte del titolare del trattamento dei suoi dati, a prescindere che sia un soggetto pubblico e privato. Solo in tal modo, infatti, può essere garantita, da un lato, la concreta possibilità di partecipazione del privato al procedimento e, dall’altro un pieno sindacato del giudice amministrativo in ossequio ai canoni dell’effettività della tutela giurisdizionale ex art. 24 Cost. Al proposito, è stato rilevato in dottrina come ciò comporti «l’evidente peculiarità che l’esigenza di trasparenza – sino ad oggi riferita all’attività e all’organizzazione –, viene ad essere estesa anche ad alcuni mezzi tecnici adoperati dalle pa»[18].
Anche con riferimento alla conoscibilità, dunque, la pronuncia si pone in linea con i precedenti arresti del Consiglio di Stato. Invero, dapprima con la sentenza n. 2270/2019 e, in seguito, con la n. 881/2020 giudici di Palazzo Spada hanno elaborato un preciso statuto della legalità algoritmica[19]. In particolare, con il primo dei due citati arresti, si era affermato come «il meccanismo attraverso il quale si concretizza la decisione robotizzata (ovvero l’algoritmo) deve essere “conoscibile”, secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico».
Con la seconda pronuncia, poi, si è rilevato come il principio di conoscibilità, «per cui ognuno ha diritto a conoscere l’esistenza di processi decisionali automatizzati che lo riguardino e in questo caso a ricevere informazioni significative sulla logica utilizzata», sia ricavabile in termini generali anche dal diritto sovranazionale. In particolare, l’art. 41 Cedu, che sancisce il diritto a una buona amministrazione, stabilisce l’obbligo per l’amministrazione di fornire le ragioni alla base delle proprie decisioni.
Da ultimo, si segnala come, anche con riferimento alla conoscibilità dell’algoritmo, come per l’esigenza di dominabilità del procedimento da parte di un soggetto umano, si è, però, evidenziato in dottrina come molto spesso, «la pubblica amministrazione che utilizza macchine intelligenti per la propria attività, quasi mai, al pari dei comuni cittadini, è nelle condizioni di conoscere nel profondo il meccanismo algoritmico, cioè la logica sottesa all’algoritmo e la sua base di conoscenza»[20]. Tale questione non viene affrontata nella pronuncia in analisi, come, del resto, non è stato fatto dalle precedenti sentenze amministrative sul tema. Ciò nonostante, si ritiene come essa, evidentemente, si rifletta sul procedimento amministrativo e, cioè, sull’impossibilità di rendere effettivamente conoscibile il meccanismo attraverso i quali si perviene alla decisione.
Inoltre, al proposito, è stato parte della dottrina ha messo in luce come la conoscibilità dell’algoritmo non sia sempre un sufficiente strumento di tutela con riferimento ai sistemi di intelligenza artificiale. Infatti, «nell’intelligenza artificiale è proprio la logica ad essere strutturalmente non conoscibile. Ignota per definizione»[21]. In questo senso, il nucleo decisionale di alcune tipologie di intelligenza artificiale viene definito quale black box[22], proprio a evidenziarne l’impenetrabilità e l’imperscrutabilità.
5. Cenni conclusivi sul ruolo della giurisprudenza in tema di decisioni algoritmiche
In conclusione, si può senz’altro constatare come la giurisprudenza non metta ormai seriamente in discussione la possibilità per la Pubblica Amministrazione di avvalersi di algoritmi che diano luogo a procedimenti decisionali automatizzati. Anzi, la sentenza in commento – come, del resto, le altre richiamate – rileva, come l’utilizzo di algoritmi possa condurre a una maggiore velocità, efficienza e, in astratto, anche in imparzialità del procedimento amministrativo. Ciò, del resto, appare coerente anche con le intenzioni del legislatore, il quale, per tramite del c.d. Decreto semplificazioni n. 76/2020, ha modificato l’art. 3-bis della L. n. 241/1990, stabilendo che «le amministrazioni pubbliche agiscono mediante strumenti informatici e telematici»[23].
Allo stesso tempo, però, si deve rilevare come, al di fuori di tale disposizione, il legislatore non sia intervenuto, espressamente, nella regolamentazione dell’utilizzo di algoritmi nelle fasi decisorie, e non meramente strumentali, dei procedimenti amministrativi[24]. Invero, anche l’art. 50-ter del D.lgs. n. 82/2005 (Codice dell’Amministrazione Digitale – CAD), il quale prescrive l’istituzione di una Piattaforma digitale nazionale dati, si riferisce all’utilizzo delle tecnologie soltanto in chiave di interconnessione tra amministrazioni.
Ecco, dunque, che, in questo ambito, il ruolo della giurisprudenza si rivela fondamentale nella fissazione delle garanzie che devono circondare l’utilizzo di algoritmi e sistemi di intelligenza artificiale da parte della Pubblica Amministrazione. È, infatti, essenziale che, anche di fronte a modalità innovative di esercizio del potere pubblico, il cittadino debba continuare a disporre delle garanzie di partecipazione, motivazione, trasparenza ed effettività della tutela proprie del procedimento amministrativo. Ciò, in quanto l’incentivato processo di informatizzazione e digitalizzazione delle amministrazioni non può, in nessun caso, tradursi nella violazione dei generali canoni della legalità amministrativa.
Tra questi, assumono rilevanza decisiva le garanzia di “umanità” del procedimento amministrativo e di conoscibilità e comprensibilità della regola algoritmica. Come, infatti, ribadito più e più volte dalla giurisprudenza, è fondamentale che venga salvaguardato il concetto del c.d. human in the loop e cioè la riferibilità della decisione amministrativa a un soggetto umano che possa esercitare funzioni di controllo e intervento.
Sarà, dunque, rimesso al giudice stabilire, caso per caso, se l’utilizzo di un determinato algoritmo sia governabile dall’amministrazione e, soprattutto, se sia in concreto possibile comprendere l’iter logico seguito dalla macchina per l’elaborazione della decisione finale, al fine di stabilirne la compatibilità con i principi generali del diritto amministrativo.
[1]Cons. St. Sez. VI, 8 aprile 2019, n. 2270; Cons. St., Sez. VI, 13 dicembre 2019, nn. 8472 – 8473 – 8474; Cons. St., sez. VI, 4 febbraio 2020, n. 881; Cons. St., Sez. VI, 8 settembre 2022, n. 6236; Cons. St., sez. III, 25 novembre 2021, n. 7891;
[2] Per le questioni definitorie in tema di algoritmi e intelligenza artificiale si rinvia a C. Filicetti, Sulla definizione di algoritmo (nota a Consiglio di Stato, Sezione Terza, 25 novembre 2021, n. 7891), in www.giustiziainsieme.it, 8 febbraio 2023.
[3] Per approfondimenti sul concetto del c.d. human in the loop, anche in chiave etica, si veda P. Benanti, Human in the loop, cit.161. Si veda anche, M. Tampieri, L’intelligenza artificiale e le sue evoluzioni. Prospettive civilistiche, Milano, 2022, 331.
[4] Sul punto, il Collegio cita espressamente Cons. St., Sez. VI, n. 2270/2019.
[5] Tra i vantaggi per l’Amministrazione si è soliti ricomprendere quello dell’efficienza, della celerità, nonché dell’oggettività o neutralità. Sul punto cfr. C. Napoli, Algoritmi, intelligenza artificiale e formazione della volontà pubblica: la decisione amministrativa e quella giudiziaria, Riv. it. cost., 2020, 3, 318 ss.
[6] Al proposito è stato affermato che «sarebbe sempre implicato nei discorsi del diritto amministrativo qualcosa che potremmo chiamare, prendendo in prestito l’espressione contenuta nel Libro bianco AGID, un principio antropomorfico, a denotare che il conferimento di potere decisionale a un certo apparato implichi la riferibilità a un atto intenzionale umano se non diversamente stabilito» (Così, S. Civitarese Matteucci, Umano troppo umano. Decisioni amministrative automatizzate e principio di legalità, in Dir. pub., 1, 2019, 22).
[7] G. Berti, La responsabilità pubblica, Padova, 1994, 305, al proposito, si riferì al responsabile del procedimento come al «funzionario designato a dare una sembianza fisica all’istruttoria amministrativa».
[8] F. Patroni Griffi, La l. 7 agosto 1990 n. 241 a due anni dall’entrata in vigore. Termini e responsabile del procedimento; partecipazione procedimentale, in Foro it., 1993, vol. 116, III, 70. Sulla figura del responsabile del procedimento si vedano anche G. Navarra, S. Russo, Il responsabile del procedimento amministrativo nella pubblica amministrazione, Rimini, 1998, 176; F.C. Rampulla, I principi generali della L. 241/1990 e s.m. ed il responsabile del procedimento, in Foro amm., 2008, 2, 641 ss.; R. Ursi, Il responsabile del procedimento “rivisitato”, in Dir. amm., 2021, 2, 365 ss.
[9] Le parole, riportate in G. Sciullo, Il responsabile del procedimento. In ricordo di Giorgio Pastori, in Dir. pubbl., 2019, 3, 863, sono tratte dalla Relazione introduttiva al XXXII Convegno di Varenna del 1986 e dedicato a “La disciplina generale del procedimento amministrativo – Contributi e iniziative legislative in corso” in cui vennero illustrati gli schemi di legge elaborati dalla Commissione Nigro.
[10] Cons. St., sez. VI, 4 febbraio 2020, n. 881.
[11] In particolare, l’art. 22, par. 1 afferma che: «L’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona». È doveroso, però, sottolineare come lo stesso articolo contenga, al paragrafo successivo, tre eccezioni all’applicazione di tale principio, di ampia portata. Si tratta dei casi in cui la decisione sia necessaria per la conclusione o l’esecuzione di un contratto, quando essa sia autorizzata dal diritto dell’Unione o dello Stato membro, ovvero si basi sul consenso esplicito dell’interessato.
[12] Cons. St., sez. VI, 4 febbraio 2020, n. 881.
[13] B. Marchetti, The algorithmic administrative decision and the human in the loop, in BioLaw Journal, 2021, 2, 13.
[14] Al proposito il parere del Comitato economico e sociale europeo su L’intelligenza artificiale – Le ricadute dell’intelligenza artificiale sul mercato unico (digitale), sulla produzione, sul consumo, sull’occupazione e sulla società, 2017/C, al punto 1.6 «raccomanda di adottare, nei confronti dell’IA, l’approccio “human-in-command”, con la condizione essenziale che l’IA sia sviluppata in maniera responsabile, sicura e utile, e che la macchina rimanga macchina e l’uomo ne mantenga il controllo in ogni momento».
[15] Cfr. B. Marchetti, The algorithmic administrative decision and the human in the loop, cit., 17 che afferma come tali competenze servano a evitare «la cattura dell’umano da parte della macchina (c.d. effetto aggancio)».
[16] B. Marchetti, The algorithmic administrative decision and the human in the loop, cit., 18.
[17] Supra, nota n. 1.
[18] A.G. Orofino, L’attuazione del principio di trasparenza nello sviluppo dell’amministrazione elettronica, in Judicium. Il processo civile in Italia e in Europa, disponibile al seguente link https://www.judicium.it/wp-content/uploads/2020/10/Orofino.pdf.
[19] Nello specifico, con la sentenza n. 881/2020, il Consiglio di Stato ha individuato i principi fondamentali della c.d. legalità algoritmica. Si tratta del principio di conoscibilità e comprensibilità dell’algoritmo, del principio di non esclusività della decisione algoritmica e di quello della non discriminazione algoritmica. Sul tema si veda G. Marchianò, La legalità algoritmica nella giurisprudenza amministrativa, in Il diritto dell’economia, 2020, 3, 229-258.
[20] G. Pesce, Il giudice amministrativo e la decisione robotizzata, in www.judicium.it, 15 giugno 2020.
[21] M. Corradino, Intelligenza artificiale e pubblica amministrazione: sfide concrete e prospettive future, in www.giustizia-amministrativa.it, 2021.
[22] Il problema non si pone per tutti gli algoritmi, ma sono per quelli che si avvalgono di meccanismi di machine learning, cfr. C. Silvano, Prospettive di regolazione della decisione amministrativa algoritmica: un’analisi comparata, in Riv. it. dir. pubbl. com., 2022, 265 ss. Sul tema delle black box, si veda F. Pasquale, The Black box society, The Secret Algorithms That Control Money and Information, Londra, 2015, 144 ss.
[23] Nella versione precedente, l’articolo configurava questa come una semplice possibilità per le Amministrazioni.
[24] Al proposito è stato affermato che «a fronte della diffusione di testi ricognitivi non vincolanti, il quadro delle norme vigenti sull’utilizzo dei software di intelligenza artificiale nel settore giuspubblicistico appare scarno e lacunoso». Così, V. Neri, Diritto amministrativo e intelligenza artificiale: un amore possibile, in Urb. e appalti, 2021, 5, 587.