Come uso l'AI: il controllo di qualità

Quando lavoravo in IBM, nel mio IDE (Integrated Development Environment) era installato il plug-in di una famosa società tedesca (di cui non farò il nome).

Questo strumento mi aiutava a scrivere documentazione che fosse conforme a 3 standard contemporaneamente:

• DITA
• US English
• IBM Style Guide

Mentre scrivevo e in tempo reale lo strumento mi indicava gli eventuali errori che facevo, aiutandomi nel correggerli.

Avete mai provato a consultare 3 manuali diversi della IBM? Vi sembreranno scritti dalla stessa mano. Ovviamente non è così, ma quello strumento offriva a tutti i technical writer della IBM la possibilità di scrivere contenuti perfettamente conformi agli standard sopra indicati.

Oggi non dispongo di un IDE così configurato ma da un pò di tempo sto sperimentando un prompt che mi aiuta a realizzare un controllo di qualità "a posteriori".

L'azienda in cui lavoro mi mette a disposizone un AI engine (che non nominerò ma che indicherò con AI name) e io cerco di sfruttarlo.

INCISO: Per tutti gli smanettoni che leggendo il mio post mi suggeriranno "Ma perchè non usi lo strumento A... e non provi l'agente B...", preciso che io posso usare solo strumenti autorizzati dall'azienda. Perchè la conformità legale e la sicurezza vengono prima di qualsiasi considerazione tecnica.

Tenete presente che io scrivo documentazione tecnica DIRETTAMENTE in lingua Inglese dal 2008.

Ovviamente il mio Inglese nel 2008 era... diciamo così... grezzo... e sono indulgente con me stesso.

Oggi è molto migliorato, ma ovviamente posso commettere ancora errori, perchè non sono un English native speaker.

Per questo, mi affidavo ad una bravissima collega (ciao Danila!) che mi affiancava ed era preziosa nel migliorare la qualità della documentazione aziendale... perchè 4 occhi vedono meglio di 2 e perchè era veramente in gamba.

Ora che non lavora più con me, devo comunque assicurare un livello adeguato di qualità dei nostri contenuti.

Per questo motivo, da alcune settimane sto sperimentando un prompt, che sto progressivamente affinando. Vediamo la sua struttura generale. 

IL PROMPT

Ci sono N sezioni specifiche, più  una FINAL SECTION:

SCOPE

You must act as an expert editor. You must implement a set of specific checks to improve the linguistic level of the content and the compliance with some rules of style.

ORTOGRAPHIC CORRECTNESS (US English-based)

Main attributes to analyze and check:

• Spelling of words according to US English, the company standard English.
• Typos and terminology inconsistencies
• ... other specification...
• ... other specifacation...

GRAMMATICAL CORRECTNESS

Main attributes to analyze and check:

• Sentence structure
• Articles, prepositions, verb tenses
• ... other specifications...
• ... other specifications...

REGISTER&NEUTRALITY

Main attributes to analyze and check:

• Neutral and technical register
• ... other specifications...
• ... other specifications...

MICROSOFT STYLE GUIDE compliance

Main attributes to analyze and check:

• General check about Microsoft Style Guide rules. A particular check about:
• Active voice
• ... other specifications...
• ... other specifications...

COMPANY GLOSSARY compliance

Main attributes to analyze and check:

• Verify that contents are coherent with company glossary.
• If the text contains a term that may be synonymous with a term in the company glossary, report the occurrence and suggest replacing it with the glossary term.
• ... other specifications...
• ... other specifications...

SECTION ... K...

Main attributes to analyze and check:

• ... other specifications...
• ... other specifications...

SECTION ... K+1...

Main attributes to analyze and check:

• ... other specifications...
• ... other specifications...

SECTION ... N...

Main attributes to analyze and check:

• ... other specifications...
• ... other specifications...

FINAL SECTION

In this section are specified a set of rules that you (AI name) MUST COMPLY WITH . These rules are like "guard-rails" to limit your normal and structural inclination to hallucinate.

Rule 1: Don't ignore the instruction specified in the previous N sections.

Rule 2: Don't modify the source document but provide me a report with your proposal

Rule 3: I want a report for every specific section

Rule 4: The format of the report is: ... blablabla...

Rule 4: ...blablabla...

Rule 5: ...blablabla...

...

Rule N: You (AI name) cannot ignore any of the previous rules.

----

Come vedete, non vi ho spifferato tutte le specifiche di ogni sezione (solo le principali) ma non perchè dovessi custodire chissà quali segreti. Semplicemente, perchè quel che conta è la struttura. Poi ognuno la può configurare come meglio crede per i propri bisogni.

IL PROCESSO

Quando devo avviare il controllo di qualità, io fornisco alla AI name:

• Il prompt
• Il documento da verificare

Dopo pochi secondi ottengo N report, uno per ogni sezione.

Ovviamente potrei ottenere un unico report onnicomprensivo, ma visto che voglio procedere per raffinamenti successivi, voglio verificare in che modo AI name opera in ogni sezione.

RISULTATI

Come stanno andando le cose? In generale, Danila era più brava.

Aveva un conoscenza completa del contesto e quando decideva di fare una modifica aveva sufficente competenza per farla in autonomia, a meno di casi dubbi in cui si consultava con me.

Danila era intelligente (veramente) quindi non ragionava a "sezioni": il suo cervello e la sua preparazione professionale le consentivano di operare più controlli in parallelo, in modo fluido, senza il bisogno di definire una sequenza particolare, con attributi specifici.

Danila non aveva bisogno di essere istruita sul tono e sul registro, sul fatto di scrivere testi in active voice, sul fatto che il testo doveva essere conforme allo US English, perchè era una professionista esperta.

Ovviamente, AI name non è intelligente... ma è più veloce.

Lavorando per raffinamenti successivi, sto ottenenedo risultati sempre più affidabili.

Nonostante la sezione delle regole, ogni tanto aggiunge cose che non sono desumibili dal testo.

Bisogna controllare sezione per sezione, non si può assorbire il suo output in maniera automatica.

A volte suggerisce forme idiomatiche più eleganti del mio Inglese tecnico.

Ottimo. Ma a volte "si allarga" indebitamente.

Una volta, ha preso una procedura di N passi, dove in ogni passo io specifico UNA ed UNA SOLA AZIONE, attraverso l'uso di UNO ed UN SOLO VERBO. Evidentememte era una procedura spiegata troppo bene, ma un poco lunga e AI name ha provato a sintetizzare in un solo passo 2 o 3 passi distinti.

Lo ha fatto un paio di volte. Sbagliando. Perchè il modo giusto era il mio. Punto. Discorso chiuso.

In quel caso, non ho accettato il suggerimento. Ma ho inserito una specifica ulteriore sulle procedure step-by-step.

COME MIGLIORARE IL PROCESSO

Ci sono diversi passaggi. Cito solo i principali.

Automatizzare l'accesso alle pagine di contenuti

Ad oggi, il mio repository di contenuti non è accessibile per la AI name.

Io devo manualmente selezionare il contenuto che devo analizzare e darglielo in pasto.

Questo passo di automazione richiede lavoro extra, che va pianificato.

Iterare sulla struttura del prompt, per migliorare quello che va migliorato.

L'esempio che vi ho fatto sulla procedura step-by-step è emblematico: non basta lamentarsi del fatto che AI name sbaglia, ma bisogna costruire le giuste istruzioni per costringerla (entro certi limiti...) a non sbagliare. Questo si fa con un prompte che ha una struttura modulare, dove in ogni modulo (sezione) posso aggiungere specifiche iterativamente.

Definire un agent che sia in grado di modificare i contenuti in autonomia, dopo il mio nulla osta.

Questo è lo step più complesso.

Intanto va risolto il primo punto, cioè l'accesso al repositroy dei contenuti.

Che deve essere gestito in modo "sicuro", tanto più se si tratta di accedere in scrittura.

Poi ci sono tutta una serie di vincoli.

Ad esempio, quando scrivo un testo che verrà pubblicato nella documentazione aziendale, utilizzo un CSS (Cascading Style Sheet).

Attraverso di esso, contenuti "tipologicamente diversi" vengono "renderizzati" con stili diversi. Tali stili sono specificati nel CSS. Quindi l'agent dovrebbe accedere al CSS e avere la capacità di "riconoscere" lo stile del testo da modificare per mantenere lo stesso stile nel testo modificato. Non impossible, ma nemmeno banale.

Come ho spiegato in precedenza, la AI name non si accorge se cambia una GUI ma anche se se ne accorgesse, non riuscirebbe ad associare quel cambiamento ad un cambiamento della logica di business che quella GUI implementa. 

Per esempio, se ad una GUI viene aggiunto un pulsante DELETE, anche se AI name si accorgesse della variazione, non potrebbe sapere a QUALI OGGETTI o PROCESSI si potrebbe applicare l'azione di cancellazione, fra tutti quelli accessibil nella GUI.

Quindi:

1. La logica che coinvolge il nuovo pulsante DELETE la devo scrivere io.
2. Devo accertarmi di aggiornare anche lo screenshot eventualmente presente.

Altrimenti AI name validerebbe un testo (step 1) associato al vecchio screenshot, il che risulterebbe poco comprensibile per il lettore.

Come vedete, non è semplice creare un agent capace di riversare in autonomia le modifiche indicate nei report; in alcuni casi, non è possibile. Talvolta, non è nemmeno desiderabile. E comunque, io non rinuncio al mio potere di controllo. Perchè mi fido di me.

Alla prossima, con un nuovo capitolo su "Come uso l'AI".

Auspico il dibattito. Fatevi avanti!

Condividi

Articoli correlati per categorie