UNA AVALUACIÓ HOLÍSTICA DELS ACOMPANYAMENTS DE MENTORIA
Alba López Martínez i Víctor González Núñez, Tècnica de mentoria i Coordinador de l’Eix d’Acompanyament.
La mentoria socioeducativa ha emergit com una eina poderosa, però fins a l’actualitat el seu impacte ha estat poc avaluat i contrastat pels diferents projectes que la duen a terme.
Com vam argumentar al primer Congrés de la Xarxa Iberoamericana de Mentoria (RIME), l’avaluació té un paper fonamental per a així analitzar l’impacte real i no basar-se en conclusions i intuïcions poc empíriques (González Núñez, 2023)[1]. També durant el congrés, vam poder reflexionar sobre la importància d’avaluar els processos no sols per a mesurar l’impacte, sinó per afegir valor i així cada vegada oferir als participants una versió millorada (López Martínez, 2023)[2].
D’altra banda, Rhodes també posa l’accent en la importància d’aprofundir en els efectes de la mentoria en l’àmbit social, una àrea que no ha estat abordada detalladament i que constitueix una escletxa de coneixement. Es requereixen més recerques i marcs teòrics amplis i interdisciplinaris que puguin guiar les accions de les organitzacions que implementen programes de mentoria social (Rhodes et al., 2006).
És per això que des del projecte de Mentoria Zing, hem creat un instrument que ens permet analitzar i avaluar l’impacte que tenen les relacions de mentoria, tant en els i les joves com en les persones mentores. Aquesta eina ens proporciona l‘IQA (per les seves sigles en català, Índex de Qualitat dels Acompanyaments), resultat quantitatiu obtingut mitjançant la suma i ponderació de diversos indicadors derivats d’avaluacions realitzades durant tot el curs a la parella de mentoria.
Els indicadors compostos, una pràctica avaluativa habitual en els principals organismes de governança internacional
L’agregat de diverses variables amb l’objectiu d’obtenir-ne una és el que es coneix com a un indicador compost, i és considerat una bona pràctica avaluativa quan es busca obtenir una representació simplificada que resumeixi un concepte multidimensional en un d’unidimensional. [3]
Aquesta recollida de dades s’emmarca en la tipologia d’avaluació quantitativa, que ens mostra en nombres i gràfiques allò que és observable, connectant l’observació empírica i l’expressió matemàtica derivada d’haver realitzat en tot moment preguntes específiques i quantificables, tot plegat emmarcat en el paradigma racionalista.
Un dels exemples més coneguts en l’ús d’indicadors compostos és l’IPM[4] (Índex de Pobresa Multidimensional), per part de l’Organització de les Nacions Unides, o l’IDG[5] (Índex de la Desigualtat de Gènere), per part de l’EIGE, l’Institut Europeu per la Igualtat de Gènere. En el cas de l’IPM són 9 els indicadors agregats, mentre que en l’IDG en són fins a 31.
Creiem pertinent fer aquest aclariment, així com especificar que en projectes d’intervenció amb persones, com és el cas dels projectes de mentoria socioeducativa, és imprescindible tenir en compte i donar un alt valor a la investigació qualitativa. Tal com diu Cotán (2016)[6], aquesta tipologia té “gran importància degut a l’experiència subjectiva dels individus en la construcció del món social, entenent la realitat com quelcom múltiple i divergent”. Les investigacions qualitatives busquen, per tant, una comprensió el més profunda possible, mentre les quantitatives en cerquen l’exactitud.
Fet aquest breu apunt, i entesa la vital importància que la profunditat i, per tant, les avaluacions qualitatives tenen en intervencions d’aquesta tipologia, podem endinsar-nos en explicar i entendre l’Índex de Qualitat d’Acompanyaments, el recull de dades quantitatives que ens permetran disposar d’una imatge força acurada del que ha passat en el si d’una relació de mentoria.
Entenent primer de tot que estem simplificant les dades que tenim, i abans de veure quines potencialitats té això, és clau tenir present que aquesta agregació de dades a d’estar conceptualment sostinguda en base a un model subjacent.
Un cop analitzats tots aquests elements vinculats al model, disposem d’una manera clara de la informació que desitjarem extreure i voldrem mesurar per comprovar que els objectius determinats s’assoleixen i en quin grau ho fan. En aquest punt dissenyem els indicadors corresponents per a tal verificació i en triem els que considerem tenen una major rellevància per a tal anàlisi.
En el cas del projecte de Mentoria del Programa ZING, l’equip tècnic decideix que són 25 els indicadors clau que ens permeten aproximar-nos a saber quina ha estat la qualitat de l’acompanyament en el marc d’una relació. Tot i poder prioritzar-los, considerem que l’agregat d’aquestes 25 variables contribuirà a la formulació i anàlisi d’intervencions futures, així com a la seva avaluació i comunicació.
Tanmateix, aquest tipus d’indicadors compostos faciliten:
a) La interpretació dels escenaris per part dels decision-makers (els coordinadors o dissenyadors d’aquestes intervencions).
b) a seva justificació davant actuals o futurs finançadors (públics o privats) creant una narrativa accessible que ens ajudi a explicar el que fem.
c) La comparació entre diferents projectes (amb l’ànim de poder transferir quines bones pràctiques fa o un altre si hi establim inferències causals).
d) L’evolució d’un mateix projecte any a any per així determinar quins elements de millora hi poden haver, i finalment per poder establir paràmetres que permetin preveure la millor qualitat d’un acompanyament segons certes accions que es desenvolupin en el seu interior.
Aquesta eina també té els seus riscos, que podem agrupar en dos:
- La manca de cura metodològica en el recull de les dades.
- La falta d’informació en les mateixes.
El primer punt ens porta a parlar de les fonts a través de les quals obtenim les dades, on considerem que el marge de millora és existent. Aquestes fonts són quatre:
- Aspectes objectivables, tals com el nombre de trobades, la realització de les Reunions de Valoració Trimestrals o l’assistència a les Activitats Culturals Grupals.
- L’avaluació del o de la jove en l’impacte que la mentoria ha tingut en ell/a.
- L’avaluació de la persona mentora en l’impacte que la mentoria ha tingut en ella mateixa i en la persona mentorada.
- L’avaluació de la tècnica de referència de l’impacte que ha tingut la mentoria en els integrants de la parella.
Tot i que sigui una pràctica comú en l’avaluació de projectes de mentoria socioeducativa, així com en l’àmbit social en general, l’autoavaluació és una eina que ens presenta certes limitacions, principalment el biaix que poden tenir els interessats (en aquest cas la persona mentorada i la mentora) a l’hora d’avaluar l’impacte que ha tingut en elles l’acompanyament . En aquest sentit, des de la Fundació Nous Cims estem desenvolupant l’Eina d’Avaluació de Competències, conjuntament amb la Coordinadora de Mentoria Social, la consultora especialitzada en l’ocupabilitat per competències EySkills i sis entitats de mentoria social. L’EAC ens ha de permetre disposar de comportaments observables que el màxim d’agents possibles (tutor educatiu, persona mentora, tècnica de mentoria, família, jove) puguin avaluar, i deixin així el menor marge possible a la interpretació subjectiva de les dades; quelcom que és d’especial rellevància quan volem determinar l’impacte que l’acció ha tingut en el desenvolupament de les competències transversals.
Mentre que en el segon punt podem parlar de la importància de la validesa de les dades. A nivell individual de cada acompanyament, que la jove i mentora hagin respost habitualment als qüestionaris de seguiment, així com a l’avaluació de final de curs, serà essencial per poder determinar que les dades finals són rellevants i pertinents. Mentre que a nivell general, disposar d’un elevat nombre de respostes, sobretot en la citada avaluació final, és el que ens permetrà poder donar validesa a les dades que ens puguin sortir, i treure conclusions i anàlisi de les mateixes sense caure en generalitzacions o malinterpretacions.
L’eina: IQA
El IQA va sorgir de la necessitat de fer un balanç més quantitatiu de les relacions de mentoria i per això durant el curs 21/22, l’equip va crear la primera versió de l’eina. En l’actualitat, continuem fent millores anuals que ens permeten arribar a obtenir resultats vius i dinàmics, que afavoreixen el seguiment tècnic i aporten major informació de l’evolució d’aquestes relacions per així també poder fer incís en la millora.
Com podem veure a la Figura 1, l’eina consta de 25 indicadors extrets de diverses avaluacions realitzades durant tot el curs, podent-lo emmarcar en cinc blocs.
El primer bloc consta de les dades “dures”, on les puntuacions s’extreuen de diversos factors; el tancament, on s’avalua el temps que ha estat viva la relació, el nombre de trobades que han dut a terme durant el curs, les activitats culturals a les quals han assistit i el nombre de reunions trimestrals que s’han realitzat amb la tècnica de referència.
El segon bloc extreu les puntuacions de les avaluacions realitzades per el o la jove durant diversos moments del curs; avaluació continua mensual, l’avaluació final de curs, les notes extretes de la graella d’observació competencial i els resultats acadèmics. D’altra banda, comptem amb el tercer bloc, que es nodreix de les puntuacions que du a terme la persona mentora durant tot el curs en els següents moments: avaluació continua cada cop que es troba amb la persona mentora, l’avaluació final i les, formacions.
El quart i cinquè bloc van dirigits a obtenir la informació més qualitativa de la relació, extreta de la percepció que tenen tant la tècnica de referència, com les educadores o agents educatius. Aquesta nota, entre d’altres, ha estat i és motiu de debat en l’equip, com també altres aspectes tals com si el moment d’iniciar la relació hauria de ser un factor a tenir en compte o si les parelles que repeteixen haurien de tenir diferents ponderacions.
Per aquest motiu ja s’està treballant en la tercera actualització de l’eina, on tots aquests temes juntament amb altres millores s’han de tenir en compte i portar-les a debat, com per exemple l’impacte que té la mentoria en l’enfortiment de la cohesió social i com mesurar-ho.
Reptes i conclusions parcials sobre l’IQA
En l’estat actual de desenvolupament primari de l’índex, i a banda de la constant revisió dels indicadors que en formen part, trobem dos principals reptes per tal de seguir afinant i millorant la fiabilitat de l’eina a l’hora de concloure’n aspectes:
- El primer és l’ús que en podem fer de les dades extretes, i aquí ens podem referir a dos aspectes: per un costat la possibilitat de disposar d’un IQA actualitzat en viu durant el transcurs de la relació de mentoria podria ser una eina que d’una manera molt ràpida i visible doni informació a l’equip tècnic que fa el seguiment sobre el que està passant (o no passant) en el si d’una relació de mentoria. Aquest punt podria suposar un avenç important en la intervenció qualitativa de les tècniques, que hipotèticament es traslladaria en una major qualitat dels acompanyaments; així com en una més eficient gestió dels recursos disponibles en poder disposar molt àgilment de la instantània de cada relació no només un cop s’acaba la mentoria al mes de juliol. I, per un altre costat, el creuament de les dades agregades en l’IQA amb altres variables com l’edat, el gènere, la tipologia d’estudis, etc. per tal de treure conclusions sobre el perfil de joves o mentores per a qui aquest tipus d’intervenció té un major impacte.
- El segon és l’establiment de grups control, en l’àmbit més extens del concepte que permeti comparar les dades finals amb altres dades rellevants. Aquest podria derivar des de la comparació entre diferents cursos acadèmics dins d’un mateix projecte o la comparació amb altres projectes de mentoria que el puguin fer servir per a detectar bones pràctiques i així transferir coneixement de valor.
En conclusió, considerem que l’Índex de Qualitat dels Acompanyaments és una eina amb alt valor a l’hora d’avaluar el desenvolupament global d’un projecte de mentoria en el marc d’un curs acadèmic. Així mateix, és una eina amb potencial a l’hora de poder analitzar a un nivell micro allò que ha passat en una relació de mentoria, i poder treure conclusions sobre determinats patrons de bona conducta o de perfils amb potencial de major impacte.
Creiem a més que el possible desenvolupament de l’IQA passa per la validació dels seus continguts, per part d’Entitats paraigües tals com la Coordinadora de Mentoria Social, que permetin valorar la seva possible transferència i adaptació a d’altres projectes.
Finalment, i tot i les prometedores conclusions que un índex com l’IQA pot oferir als projectes que l’implementin, remarquem la necessarietat d’aprofundir i donar valor a l’avaluació qualitativa, a entrar en profunditat a entendre l’impacte en les persones participants en una relació de mentoria.
Refèrencies
[1] González Núñez, V. (2023). Evaluar su impacto, una de las claves del futuro de la mentoría socioeducativa. RIME, 1º Congreso Iberoamericano para una educación de calidad: Mentoría y Desarrollo Competencial. Barcelona. https://www.nouscims.com/evaluar-su-impacto-una-de-las-claves-del-futuro-de-la-mentoria-socioeducativa/
[2] López Martínez, A. (2023). La experiencia del programa de mentoria ZING en la adquisición de competencias educativas y laborales. RIME, 1º Congreso Iberoamericano para una educación de calidad: Mentoría y Desarrollo Competencial. Barcelona. https://www.nouscims.com/la-experiencia-del-programa-de-mentoria-zing-en-la-adquisicion-de-competencias-educativas-y-laborales/
[3] Schuschny, H, y Soto, A (2009). Guía metodológica para el diseño de indicadores compuestos de desarrollo sostenible. CEPAL-ONU. Santiago de Chile. https://repositorio.cepal.org/server/api/core/bitstreams/a627f68b-9902-4fa2-a516-912a903ecf22/content
[4] Acción Contra el Hambre (2022). Índice de pobreza, ¿qué es y cómo se calcula?. https://www.accioncontraelhambre.org/es/indice-pobreza-que-es
[5] Institut d’Estadística de Catalunya (2022). Índex d’Igualtat de Gènere. https://www.idescat.cat/pub/?id=iig&lang=es&m=m
[6] Cotán Fernández, A. (2016). El sentido de la investigación cualitativa. Universidad Isabel. Burgos. https://www.ceuandalucia.es/escuelaabierta/pdf/articulos_ea19/EA19-sentido.pdf