Andiamo avanti nell'analisi dell'Allegato IV dell'AI Act.
Ricordiamo che l'Art. 11 è uno degli articoli fondamentali dell'AI Act per quanto riguarda la documentazione tecnica che deve essere redatta per accompagnare un prodotto che integra un sistema AI ad alto rischio, ma l'Art. 11 è, di fatto, un articolo "contenitore" che rimanda all'Allegato IV.
Nel post precedente abbiamo parlato del IV.2, una delle sezioni più critiche dell'Allegato IV.
Ora fissiamo l'attenzione sul IV.3.
IV.3
Detailed information about the monitoring, functioning and control of the AI system, in particular with regard to: its capabilities and limitations in performance, including the degrees of accuracy for specific persons or groups of persons on which the system is intended to be used and the overall expected level of accuracy in relation to its intended purpose; the foreseeable unintended outcomes and sources of risks to health and safety, fundamental rights and discrimination in view of the intended purpose of the AI system; the human oversight measures needed in accordance with Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of AI systems by the deployers; specifications on input data, as appropriate
E' una prescrizione molto impegnativa.
Proviamo a tirare fuori "il succo".
Detailed information about the monitoring, functioning and control of the AI system
Di quale "livello di dettaglio" stiamo parlando?
Facciamo un esempio e parliamo di una soluzione basata sul Machine Learning: cosa dobbiamo dettagliare?
I dati che diamo in pasto al motore di ML? O "la struttura dei dati"? A volte i dati si acquistano da aziende che li raccolgono e li compongono nei modi più opportuni per determinati usi. Nei contratti d'acquisto dei dati ci sono anche dei vincoli di riservatezza rispetto alla loro divulgazione.
Quindi, il "livello di dettaglio" dovrebbe intendersi come il livello "intrinsecamente consentito" dai contratti di fornitura dei dati... O NO?
Oppure, oltre ai dati, dobbiamo documentare anche gli strumenti (ad esempio, le API) che utilizziamo per accedere ai dati?
Oppure dobbiamo documentare in che modo li persistiamo nel sistema che dovrà utilizzarli?
E se i dati sono acquisiti in tempo reale, attraverso un flusso continuo, da sistemi esterni?
E in tutto questo, dovremo eventualmente tener conto di ciò che prescrive il Data Act?
Vedete quante domande, solo inerentemente AD UN SINGOLO ASPETTO (i dati in ingresso) di una particolare soluzione di AI, il ML?
...for specific persons or groups of persons on which the system is intended to be used and the overall expected level of accuracy in relation to its intended purpose...
Qui invece la risposta è semplice: lo standard ISO 26514 ci fornisce i principi di Audience & Task Analysis (clause 6.2), che possiamo utilizzare a supporto di questa attività.
...the foreseeable unintended outcomes and sources of risks to health and safety, fundamental rights and discrimination in view of the intended purpose of the AI system
Questo passaggio suona abbastanza simile al concetto di "rischio ragionevolmente prevedibile" per un sistema di AI (già ben noto, ad esempio, nella vecchia Direttiva Macchine). Ma anche qui, come va declinato il concetto di "intended purpose"?
Posso definire la "finalità prevista", ma posso assicurare che si mantenga tale per tutto il ciclo di vita del prodotto che ospita il sistema AI?
Immaginiamo una rete stradale, gestita da un sistema di semafori programmabili ed intelligenti, che possono auto-modificare la programmazione semaforica in base ai dati di traffico, con un sistema AI integrato che prende decisioni autonome "imparando" dai dati di traffico.
In questo caso, se la descrizione della "finalità prevista" dovesse includere (perchè devo fornire informazioni "dettagliate"... ricordate il primo capoverso?) anche la descrizione dei piani semaforici, è evidente che tali informazioni sarebbero valide SOLO ALL'INIZIO della messa in produzione del sistema.
Nel "day-by-day", i piani semaforici potrebbero cambiare.
A quel punto che facciamo? Alleghiamo alla documentazione, giorno per giorno, i piani semaforici via via aggiornati dall'AI? E' una soluzione ragionevole? In base alla prescrizione dell'Art. 72.2, sembrerebbe proprio questa la soluzione.
72.2
The post-market monitoring system shall actively and systematically collect, document and analyse relevant data which may be provided by deployers or which may be collected through other sources on the performance of high-risk AI systems ...
Come vedete, ogni passaggio necessita di attente valutazioni.
...the human oversight measures needed in accordance with Article 14, including the technical measures put in place to facilitate the interpretation of the outputs of AI systems by the deployers; specifications on input data, as appropriate
E qui un altro passaggio fondamentale: le misure di supervisione umana, in accordo all'Art. 14.
Il concetto generale è abbastanza "gassoso": l'attività di supervisione umana è sicuramente necessaria ma occorrono criteri più "solidi" per poter disegnare questa attività. Nella stessa prescrizione è presente un'indicazione più precisa: including the technical measures put in place to facilitate the interpretation of the outputs of AI systems by the deployers
Quindi si presuppone che vi siano "misure tecniche" in grado di "visualizzare" l'output del sistema AI e che possa abilitare "opportune azioni di controllo"? Questo è di fatto quanto definito proprio nell'Art. 14.
Come vedete, la complessità di questo IV.3 non è di molto inferiore al IV.2.
Pezzo per pezzo, cerchiamo di capire tutte gli aspetti che devono essere indirizzati per i nostri scopi.
Ma ribadisco: chi si sta occupando di definire gli standard armonizzati, deve fare un lavoro ENORME per dare la ricetta del COME vanno indirizzati tutti questi vincoli.
Nessun commento:
Posta un commento