Carissime colleghe, carissimi colleghi,
è con vero piacere riproporvi quanto appreso durante le mie attività formative in merito alla valutazione. Quello che ho qui riportato è una sintesi che però non trascura l'importanza dei Cicli di Policy per l'attività di valutazione, da me considerato un elemento teorico, metodologico ed operativo, imprescindibile per qualsiasi attività del policy maker. Ovviamente, resto a disposizione per eventuali richieste di informazioni e approfondimenti. Buona lettura.
Pietro Perrucci
1. Aspetti generali
L’attività di valutazione consiste nel giudicare se e come sono stati conseguiti gli obiettivi di una qualsiasi attività di Policy Making, nonché nel definire le modalità con cui sono stati raggiunti. Di conseguenza, oggetto della valutazione finisce per essere anche la strategia, il disegno, il Quadro Logico, il piano generale dell’intervento, attraverso il quale si è inteso provvedere alla soddisfazione di un bisogno, alla soluzione di un problema, all’analisi di una questione, alla realizzazione di un intervento.
Un’attività di valutazione coinvolge una pluralità di soggetti, che possono variare da caso a caso. Per linee generali, si può dire che i soggetti che sono coinvolti in una attività di valutazione sono i seguenti: un committente dell’attività di valutazione (in genere un ente della Pubblica Amministrazione), un valutatore indipendente (o il policy maker), gli stakeholders, rappresentanze sociali o cittadini interessati in qualche modo all’attività di valutazione.
In generale, i riferimenti culturali che debbono essere ritenuti imprescindibili rispetto ad una qualsiasi attività che un policy maker debba svolgere sono quelli della Partecipazione, Governance, Informazione Conoscenza Comunicazione, Metodo. La valutazione, in quanto attività tra le più tipiche del policy maker, deve anch’essa basarsi sui medesimi riferimenti culturali.
Oggetto della valutazione è una politica, un piano, un programma, un progetto, una legge, un’attività di cooperazione, un’attività organizzativa, l’erogazione di un servizio, una qualsiasi attività lavorativo-professionale.
Per questo, ai fini della valutazione, è altresì importante definire in che ambito e quale problematica si sta valutando. Sulla base dei miei studi, vi sarebbero almeno 6 "macrotipi" di "ambito/problematica", che sono: Società/sociale, Economia/economico, Ambiente/ambientale, Territorio/territoriale, Politica/politico, Istituzione/istituzionale. All’interno di ogni macrotipo di ambito/problematica è possibile individuare dei sottotipi di ambito/problematica (ad esempio, nell’ambito economico possiamo affrontare una tematica inerente il mercato, la domanda, l’offerta, l’organizzazione aziendale, ecc…).
Gli obiettivi della valutazione sono di tre tipi: quelli specifici, ovvero quelli che sono definiti espressamente dalla una politica, un piano, un programma, un progetto, o da qualsiasi altro oggetto di un processo di valutazione, il conseguimento dei quali è valutabile attraverso quegli effetti diretti ed immediati sulla problematica; quelli operativi, il conseguimento dei quali è valutabile attraverso le realizzazioni quantitative di beni e servizi creati; e quelli globali, il conseguimento dei quali è valutabile attraverso la misurazione degli impatti a lungo termine sull’ambito in cui si opera e, eventualmente, anche su altri ambiti connessi.
Si considerano inputs tutte quelle risorse, mezzi, strumenti e fattori, che vengono impiegati ed utilizzati al fine di conseguire gli obiettivi e risultati.
Nell’ambito della metodologia proposta per la valutazione si è soliti analizzare tre tipi di risultati: outputs, ovvero le realizzazioni di beni e servizi prodotti (utili per valutare gli obiettivi operativi); outcomes/results, effetti ed esiti diretti ed immediati (utili per valutare gli obiettivi specifici); impact, la durata nel tempo dei risultati (utili per valutare gli obiettivi globali/generali).
I principali criteri di valutazione sono: Attinenza/Pertinenza/Rilevanza, Efficienza, Efficacia, Utilità/Sostenibilità, Coerenza Interna e Coerenza Esterna.
2. Organizzazione e rigore metodolgico
Per portare avanti una buona attività di valutazione occorrono senz’altro due elementi fondamentali: Organizzazione e Rigore metodologico.
Organizzare una valutazione significa soprattutto:
a) inquadrare l’attività di valutazione
Per intraprendere una qualsiasi attività di valutazione una volta definite tutte quelle indicazioni di ordine generale (definizione di attività di valutazione, soggetti, riferimenti culturali, l’oggetto, l’ambito/problematica, obiettivi, inputs, risultati e criteri di valutazione dei medesimi), è necessario inquadrare tutta l’attività negli appositi Cicli di Policy.
b) definire il Ciclo di Policy Making e il Ciclo di Policy Analysis
Secondo quello che è un approccio ormai classico nell’attività di un policy maker, una buona attività valutativa dovrebbe prevedere la sua collocazione nell’ambito di almeno due cicli di policy. Di questi cicli, uno dove essere il ciclo di policy making e l’altro deve essere il corrispondente ciclo di policy analysis. Per esempio, se il ciclo di policy making prevede le fasi di 1.Agenda, 2.Formulazione, 3.Adozione, 4.Implementazione, 5.Valutazione e 6.Adattamento, il ciclo di policy analysis dovrebbe prevedere "in parallelo" altrettante fasi, che possono essere 1.Strutturazione del problema, 2.Previsione, 3.Raccomandazione, 4.Monitoraggio, 5.Giudizio e 6.Adattamento.
c) attività fondamentali
Sono costituite tutte da una serie di operazioni che sono fondamentali per l’attuazione del piano generale dell’intervento e quindi anche per l’attività di valutazione. Si tratta di una serie di attività fondamentali che riguardano la partecipazione degli stakeholders e dei cittadini all’intervento, la creazione di una base comune di conoscenza, fare informazione e comunicazione.
Per rigore metodologico si vuole far riferimento a:
a) unicità del quadro operativo
Unicità del quadro operativo significa arrivare ad elaborare e condividere un unico Quadro Logico, in base al quale si definisce il piano dell’intervento (o degli interventi), nonché la sua articolazione in fasi operative.
b) monitoraggio del piano generale dell’intervento
La realizzazione di un intervento presuppone una costante attività di monitoraggio, così articolato: 1) la creazione di un sistema di rilevazione dei dati e la predisposizione a monte di opportuni indicatori; 2) l’esecuzione operativa del monitoraggio del piano in tutti i suoi aspetti procedurali, fisici e finanziari; 3) interpretazione dei report di monitoraggio per fare informazione, comunicazione ed arricchimento di quella base comune di conoscenza.
c) allineamento dei cicli
Mantenere costantemente allineati i cicli di policy making con quello di policy analysis ed il ciclo della valutazione, con quello del piano, programma, progetto, politica, ecc…, e con quello del monitoraggio, si rileva essere essenziale per gestire con efficienza la realizzazione di un intervento e per il coordinamento dell’attività di valutazione con quella delle altre attività ad essa connesse.
d) flessibilità
Nella realizzazione di un intervento, accade spesso che le condizioni di partenza, ovvero quelle che hanno portato alla elaborazione di un piano, possano cambiare durante l’attuazione dell’intervento stesso; pertanto, poter eseguire continuamente le analisi e gli approfondimenti dei dati che emergono dal monitoraggio significa capire se e come cambiano queste condizioni di partenza, offrendo così al policy maker la possibilità di intervenire in ogni momento nella rielaborazione delle fasi dell’intervento, nel rivedere le strategie per conseguire gli obiettivi prefissati, nella possibilità di ricorrere ad alternative e quindi nel poter riorientare e/o rielaborare in ogni momento gli stessi cicli di policy. Quindi, rigore metodologico non come rigida osservanza del piano prestabilito degli interventi, ma come sua possibilità di poterlo continuamente modificarlo, per adattarlo a nuove e mutate condizioni.
3. Ciclo di valutazione
Altro aspetto che occorre tener presente in un’attività di valutazione è la definizione e l’articolazione dell’attività valutativa (o del processo di valutazione). Per far questo, ci si deve orientare attraverso un numero elevato di variabili, difficili da considerare o da prevedere tutte a priori. Per questo un policy maker, prim’ancora di essere un buon valutatore, deve essere un ottimo metodologo, cioè deve saper disegnare, costruire, progettare, pianificare, programmare, l’attività di valutazione. Per aiutarsi in questo, è possibile prevedere per linee generali (e certamente non esaustive) quali potrebbero essere le variabili o i fattori che condizionano la stesura di un processo di valutazione:
- il mandato e la tipologia di valutazione da eseguire (ex-ante, on-going, ex-post);
- lo stabilire come significato comune e condiviso che cosa si intende per valutazione;
- l’individuazione dei soggetti coinvolti;
- la verifica delle competenze, ruoli, capacità, saperi, expertice e titoli, dei soggetti coinvolti;
- il definire in ogni suo aspetto l’oggetto della valutazione (politica, programma, progetto);
- la fissazione del livello della valutazione (overall o in-depth)
- il definire i cicli di Policy Making e di Policy Analysis in cui collocare la valutazione;
- il definire l’ambito/problematica in cui si opera, ovvero effettuare l’attività di scoping;
- il fissare obiettivi, inputs, indicatori, modalità e criteri di valutazione dei risultati;
- l’organizzare l’attività di monitoraggio procedurale, fisico e finanziario;
- lo stabilire le fonti e le modalità di acquisizione dei dati;
- l’individuare le modalità e gli strumenti di elaborazione dei dati;
- lo scegliere gli strumenti (tools) e le tecniche con cui informare giudizi valutativi;
- il predisporre strumenti di Informazione, Comunicazione e diffusione della Conoscenza;
- operare il cambiamento, l’adattamento, l’adeguamento in base all’esito della valutazione.
Inoltre, così come elencate, queste attività del valutatore possono essere anche considerate le fasi più importanti del processo di valutazione, quindi, nel mentre si individuano le variabili ed i fattori che incidono su un processo di valutazione, è possibile nello stesso momento articolare l’attività di valutazione, così come ho fatto in questa sede.
Pietro Perrucci
