Nel post del 9 Febbraio vi ho proposto il testo integrale dell'Allegato IV.
Ora provo a far emergere alcuni passaggi chiave, trascurando i passaggi più ovvi e sottolineando anche alcune "disordinate ridondanze", che di certo non aiutano la comprensione del lettore.
Nell'Allegato IV ci sono 9 articoli.
- IV.1 - Riguarda il "primo livello" di documentazione da associare al sistema AI ad alto rischio che vogliamo integrare nel nostro processo/servizio/prodotto
- IV.2 - Riguarda un "secondo livello" di documentazione, molto più dettagliato.
- IV.3 - Riguarda la documentazione delle attività di monitoring inerenti al sistema AI, anche in relazione a quanto stabilito dall'Articolo 14 (di cui ancora non abbiamo parlato).
- IV.4 - Riguarda la documentazione delle metriche di performance del sistema di AI.
- IV.5 - Riguarda la documentazione del sistema di gestione dei rischi associato al sistema AI.
- IV.6 - Riguarda la documentazione delle modifiche implementate dal fornitore del sistema AI durante il suo ciclo di vita.
- IV.7 - Riguarda l'elenco delle norme armonizzate applicate in tutto o in parte i cui riferimenti sono stati pubblicati nella Gazzetta ufficiale dell'Unione europea; se non sono state applicate tali norme armonizzate, una descrizione dettagliata delle soluzioni adottate per soddisfare i requisiti di cui al capitolo III, sezione 2, compreso un elenco di altre norme e specifiche tecniche pertinenti applicate.
- IV.8 - Riguarda la copia (che immagino vada inteso come allegato) della dichiarazione di conformità UE indicata nell'artcolo 47.
- IV.9 - Riguarda una descrizione dettagliata per valutare le prestazioni del sistema di IA nella fase successiva all'immissione sul mercato, in conformità all'articolo 72, compreso il piano di monitoraggio 72.3.
AVETE CAPITO BENE?
Allora, proviamo a procedere con quel sano senso di pragmatismo che mi è congeniale.
LA ROBA FACILE (quella che si capisce ed è abbastanza semplice da fare)
Direi sicuramente l'articolo IV.1 (anche se il IV.1.g ed il IV.1.h sono inerenti allo stesso concetto e mi sembra che qui il legislatore sia incorso in un'inutile ridondanza che potrà essere emendata in futuro).
Anche gli articoli IV.5, IV.6, IV.7 e IV.8 sono abbastanza chiari rispetto al COSA DEVO FARE e si possono indirizzare abbastanza agevolmente, a patto di disporre di processi e metodologie collaudati.
LA ROBA DIFFICILE (che si capisce poco o che può essere affrontata con grandi difficoltà)
Calma e gesso, e procediamo punto per punto.
IV.2
Iniziamo con il IV.2.a ed il IV.2.b, citando il testo originale integrale:
- (a) the methods and steps performed for the development of the AI system, including, where relevant, recourse to pre-trained systems or tools provided by third parties and how those were used, integrated or modified by the provider;
- (b) the design specifications of the system, namely the general logic of the AI system and of the algorithms; the key design choices including the rationale and assumptions made, including with regard to persons or groups of persons in respect of who, the system is intended to be used; the main classification choices; what the system is designed to optimise for, and the relevance of the different parameters; the description of the expected output and output quality of the system; the decisions about any possible trade-off made regarding the technical solutions adopted to comply with the requirements set out in Chapter III, Section 2;
Stiamo scherzando vero?
Cioè se io voglio integrare nel mio prodotto un sistema AI ad alto rischio, il fornitore a cui mi rivolgo mi deve fornire informazioni che, sostanzialmente, sono informazioni DI PROGETTAZIONE del sistema AI? Quindi il fornitore deve investire per produrre un sistema AI e poi deve rivelare al mondo TUTTI I DETTAGLI di progettazione del sistema?
Allora, questi 2 articoli significano solo una cosa: che il sistema AI che voglio integrare DEVE ESSERE un sistema Open Source. Perchè, in caso contrario, mi risulta molto difficile immaginare di poter applicare le suddette prescrizioni.
Se qualcuno non è d'accordo, accetto obiezioni.
Peraltro c'è un passaggio specifico molto "criptico": the decisions about any possible trade-off made regarding the technical solutions adopted to comply with the requirements set out in Chapter III, Section 2;
Cosa si intende per "any possible trade-off"? A me non è chiaro. Ma andiamo avanti.
Per quanto riguarda IV.2.c e IV.2.d:
- (c) the description of the system architecture explaining how software components build on or feed into each other and integrate into the overall processing; the computational resources used to develop, train, test and validate the AI system;
- (d) where relevant, the data requirements in terms of datasheets describing the training methodologies and techniques and the training data sets used, including a general description of these data sets, information about their provenance, scope and main characteristics; how the data was obtained and selected; labelling procedures (e.g. for supervised learning), data cleaning methodologies (e.g. outliers detection);
..siamo in un ambito più gestibile, perchè se parliamo dell'architettura generale del sistema, dei dati usati per il training, della loro provenienza e delle metodologie di training e data cleaning, siamo dentro un perimetro metodologico che va documentato e tale richiesta è da ritenersi del tutto logica.
L'unico punto realmente "oscuro" si racchiude in una parolina apparentemente innocua: "test"!
the computational resources used to develop, train, test and validate the AI system;
Ad oggi, non esistono metodologie standardizzate e tanto meno "scientifiche" per il test di un sistema AI.
Questo dato è ben noto a tutti coloro che almeno una volta nella vita hanno progettato un chatbot basato sulla AI generativa.
In ogni punto dell'AI Act in cui troverete delle prescrizioni relative "al test del sistema AI", sappiate che state per aprire il vaso di Pandora.
Se dovessi fare una richiesta pressante a coloro che scriveranno gli standard armonizzati a sostegno dell'AI Act, direi che questo punto dovrebbe essere in cima alla lista.
Nessun sistema AI, e sottolineo NESSUNO, può essere testato con i criteri che applichiamo oggi al test dei prodotti software. E questo accade per 2 motivi banali:
- Il comportamento di un sistema AI (di QUALSIASI sistema AI) dipende dai dati che gli vengono forniti in ingresso, e la dipendenza è NON DETERMINISTICA.
- Un sistema AI può imparare e quindi, a distanza di tempo, lo stesso input può produrre risultati diversi.
Rispolverando i miei studi di Ingegneria, il punto 1 potrebbe essere riformulato dicendo che la funzione di trasferimento di un sistema AI è variabile e la sua variabilità è non nota. Mentre il punto 2 è una caratteristica intrinseca e molto desiderabile di un sistema AI.
Ad oggi, nell'ambito del gruppo degli standard dell'area ISO 42000, il cui capostipite è lo standard 42001, è in via di sviluppo uno standard specifico per il test dei sistemi AI-based. Ma ad oggi, testare un sistema AI è un'attività empirica, che si basa su alcune best practice; tuttavia, non disponiamo ancora di nessuno standard.
A mio avviso, anche il IV.2.e (legato agli articoli 13 e 14, di cui parleremo nei prossimi giorni) è associabile all'attività di test del sistema, quando esplicitamente viene indicato:
including an assessment of the technical measures needed to facilitate the interpretation of the outputs of AI systems
Ma è l'articolo IV.2.g che è quello ESPLICITAMENTE dedicato all'attività di test:
- (g) the validation and testing procedures used, including information about the validation and testing data used and their main characteristics; metrics used to measure accuracy, robustness and compliance with other relevant requirements set out in Chapter III, Section 2, as well as potentially discriminatory impacts; test logs and all test reports dated and signed by the responsible persons, including with regard to pre-determined changes as referred to under point (f);
Come vedete, anche questo articolo non è nemmeno lontanamente risolutivo rispetto all'esigenza di un'azienda nel determinare il COME DEVO FARLO, ma indica solo il COSA DEVO FARE.
Peraltro, anche in modo abbastanza ridondante e confuso, visto che l'argometno "test" viene declinato in maniera diretta o indiretta attraverso IV.2.c, IV.2.d, IV.2.e, e soprattutto IV.2.g.
Infine, il IV.2.f che richiama i contenuti del IV.7 (anche qui, caro legislatore, siamo certi che non si potesse fare uno sforzo di maggiore chiarezza?):
- (f) where applicable, a detailed description of pre-determined changes to the AI system and its performance, together with all the relevant information related to the technical solutions adopted to ensure continuous compliance of the AI system with the relevant requirements set out in Chapter III, Section 2;
Un articolo che inizia con un cauto where applicable mette già in conto che certe prescrizioni non siano applicabili. Poi, vorrei essere rassicurato sul significato di questa frase:
to ensure continuous compliance of the AI system with the relevant requirements set out in Chapter III, Section 2;
Abbiamo detto che i sistemi AI, per loro natura, possono variare il proprio comportamento nel tempo, perchè sono "sistemi che imparano".
Quindi, posso forse garantire che il mio sistema abbia certe caratteristiche ORA ma faccio fatica a immaginare come poter esprimere la stessa garanzia nel futuro. Infatti, per questo motivo esiste l'attività di risk management, monitoring e controllo in fase di produzione, e armonizzazione (IV.3, IV.5, IV.6, e IV.7).
Quindi perchè puntualizzare ancora questo elemento nel IV.2.f, salvo poi premettere un where applicable?
Come vi avevo scritto nel post del 9 Febbraio, l'Allegato IV non aveva risolto i miei dubbi che erano stati sollevati dalla lettura dell'Art. 11.
E spero di avervi mostrato in questo post quanto meno i punti meno chiari del IV.2, che è una delle sezioni chiave dell'Allegato IV.
Il viaggio nell'AI Act non è finito, alla prossima tappa.
Leggi questo articolo...
