UNA EVALUACIÓN HOLÍSTICA DE LOS ACOMPAÑAMIENTOS DE MENTORÍA
Alba López Martínez y Víctor González Núñez, Técnica de mentoría y Coordinador del eje de acompañamiento.
La mentoría socioeducativa ha emergido como una herramienta poderosa, pero hasta la actualidad su impacto ha sido poco evaluado y contrastado por los diferentes proyectos que la llevan a cabo.
Cómo argumentamos en el primer Congreso de la Red Iberoamericana de Mentoría (RIME), la evaluación tiene un papel fundamental para así analizar el impacto real y no basarse en conclusiones e intuiciones poco empíricas (González Núñez, 2023)[1]. También durante el congreso, pudimos reflexionar sobre la importancia de evaluar los procesos no solo para medir el impacto, sino para añadir valor y así cada vez ofrecer a los participantes una versión mejorada (López Martínez, 2023)[2].
Por otro lado, Rhodes también hace hincapié en la importancia de profundizar en los efectos de la mentoría en el ámbito social, una área que no ha sido abordada en detalle y que constituye una rendija de conocimiento. Se requieren más investigaciones y marcos teóricos amplios e interdisciplinarios que puedan guiar las acciones de las organizaciones que implementan programas de mentoría social (Rhodes et al., 2006).
Es por eso que desde el proyecto de Mentoría Zing, hemos creado un instrumento que nos permite analizar y evaluar el impacto que tienen las relaciones de mentoría, tanto en los y las jóvenes como en las personas mentoras. Esta herramienta nos proporciona el IQA (por sus siglas en catalán, Índex de Qualitat dels Acompanyaments), resultado cuantitativo obtenido mediante la suma y ponderación de varios indicadores derivados de evaluaciones realizadas durante todo el curso a la pareja de mentoría.
Los indicadores compuestos, una práctica evaluativa habitual en los principales organismos de gobernanza internacional
El agregado de varias variables con el objetivo de obtener una es lo que se conoce como un indicador compuesto, y es considerado una buena práctica evaluativa cuando se busca obtener una representación simplificada que resuma un concepto multidimensional en uno unidimensional. [3]
Esta recogida de datos se enmarca en la tipología de evaluación cuantitativa, que nos muestra en números y gráficas aquello que es observable, conectando la observación empírica y la expresión matemática derivada de haber realizado en todo momento preguntas específicas y cuantificables, todo ello enmarcado en el paradigma racionalista.
Uno de los ejemplos más conocidos en el uso de indicadores compuestos es el IPM[4] (Índice de Pobreza Multidimensional), por parte de la Organización de las Naciones Unidas, o el IDG[5] (Índice de la Desigualdad de género), por parte de la EIGE, el Instituto Europeo por la Igualdad de género. En el caso del IPM son 9 los indicadores agregados, mientras que en el IDG son hasta 31.
Creemos pertinente hacer esta aclaración, así como especificar que en proyectos de intervención con personas, como es el caso de los proyectos de mentoría socioeducativa, es imprescindible tener en cuenta y dar un alto valor a la investigación cualitativa. Tal como dice Cotán (2016)[6], esta tipología tiene “gran importancia debido a la experiencia subjetiva de los individuos en la construcción del mundo social, entendiendo la realidad como algo múltiple y divergente”. Las investigaciones cualitativas buscan, por lo tanto, una comprensión lo más profunda posible, mientras las cuantitativas buscan la exactitud.
Hecho este breve apunte, y entendiendo la vital importancia que la profundidad y, por lo tanto, las evaluaciones cualitativas tienen en intervenciones de esta tipología, podemos adentrarnos a explicar y entender el Índice de Calidad de Acompañamientos, la compilación de datos cuantitativos que nos permitirán disponer de una imagen bastante cuidadosa de lo que ha pasado en el seno de una relación de mentoría.
Entendiendo antes que nada que estamos simplificando los datos que tenemos, y antes de ver qué potencialidades tiene esto, es clave tener presente que esta agregación de datos a de estar conceptualmente sostenida en base a un modelo subyacente.
Una vez analizados todos estos elementos vinculados al modelo, disponemos de una manera clara de la información que desearemos extraer y querremos mesurar para comprobar que los objetivos determinados se logran y en qué grado lo hacen. En este punto diseñamos los indicadores correspondientes para tal verificación y elegimos los que consideramos tienen una mayor relevancia para tal análisis.
En el caso del proyecto de Mentoría del Programa ZING, el equipo técnico decide que son 25 los indicadores clave que nos permiten aproximarnos a saber qué ha sido la calidad del acompañamiento en el marco de una relación. A pesar de poder priorizarlos, consideramos que el agregado de estas 25 variables contribuirá a la formulación y análisis de intervenciones futuras, así como a su evaluación y comunicación.
Aun así, este tipo de indicadores compuestos facilitan:
a) La interpretación de los escenarios por parte de los decision-makers (los coordinadores o diseñadores de estas intervenciones).
b) su justificación ante actuales o futuros financiadores (públicos o privados) creando una narrativa accesible que nos ayude a explicar lo que hacemos.
c) La comparación entre diferentes proyectos (con el ánimo de poder transferir qué buenas prácticas hace u otro si establecemos inferencias causales).
d) La evolución de un mismo proyecte año a año para así determinar qué elementos de mejora pueden haber, y finalmente para poder establecer parámetros que permitan prever la mejor calidad de un acompañamiento según ciertas acciones que se desarrollen en su interior.
Esta herramienta también tiene sus riesgos, que podemos agrupar en dos:
- La carencia de cuidado metodológico en la compilación de los datos.
- La falta de información en las mismas.
El primer punto nos lleva a hablar de las fuentes a través de las cuales obtenemos los datos, donde consideramos que el margen de mejora es existente. Estas fuentes son cuatro:
- Aspectos objetivables, tales como el número de encuentros, la realización de las Reuniones de Valoración Trimestrales o la asistencia a las Actividades Culturales Grupales.
- La evaluación del o de la joven en el impacto que la mentoría ha tenido en él/ella.
- La evaluación de la persona mentoriza en el impacto que la mentoría ha tenido en ella misma y en la persona mentorizada.
- La evaluación de la técnica de referencia del impacto que ha tenido la mentoría en los integrantes de la pareja.
A pesar de que sea una práctica común en la evaluación de proyectos de mentoría socioeducativa, así como en el ámbito social en general, la autoevaluación es una herramienta que nos presenta ciertas limitaciones, principalmente el sesgo que pueden tener los interesados (en este caso la persona mentorizada y la mentora) a la hora de evaluar el impacto que ha tenido en ellas el acompañamiento. En este sentido, desde la Fundación Nous Cims estamos desarrollando la Herramienta de Evaluación de Competencias, conjuntamente con la Coordinadora de Mentoría Social, la consultora especializada en la empleabilidad por competencias EySkills y seis entidades de mentoría social. El EAC nos tiene que permitir disponer de comportamientos observables que el máximo de agentes posibles (tutor educativo, persona mentora, técnica de mentoría, familia, joven) puedan evaluar, y dejen así el menor margen posible a la interpretación subjetiva de los datos; algo que es de especial relevancia cuando queremos determinar el impacto que la acción ha tenido en el desarrollo de las competencias transversales.
Mientras que en el segundo punto podemos hablar de la importancia de la validez de los datos. A nivel individual de cada acompañamiento, que la joven y mentora hayan respondido habitualmente a los cuestionarios de seguimiento, así como a la evaluación de final de curso, será esencial para poder determinar que los datos finales son relevantes y pertinentes. Mientras que a nivel general, disponer de un elevado número de respuestas, sobre todo en la citada evaluación final, es el que nos permitirá poder dar validez a los datos que nos puedan salir, y sacar conclusiones y análisis de las mismas sin caer en generalizaciones o malinterpretacions.
La herramienta: IQA
El IQA surgió de la necesidad de hacer un balance más cuantitativo de las relaciones de mentoría y por eso durante el curso 21/22, el equipo creó la primera versión de la herramienta. En la actualidad, continuamos haciendo mejoras anuales que nos permiten llegar a obtener resultados vivos y dinámicos, que favorecen el seguimiento técnico y aportan mayor información de la evolución de estas relaciones para así también poder hacer inciso en la mejora.
Cómo podemos ver a la Figura 1, la herramienta consta de 25 indicadores extraídos de varias evaluaciones realizadas durante todo el curso, pudiéndolo enmarcar en cinco bloques.
El primer bloque consta de los datos “duros”, donde las puntuaciones se extraen de varios factores; el cierre, donde se evalúa el tiempo que ha estado viva la relación, el número de encuentros que han llevado a cabo durante el curso, las actividades culturales a las cuales han asistido y el número de reuniones trimestrales que se han realizado con la técnica de referencia.
El segundo bloque extrae las puntuaciones de las evaluaciones realizadas por el o la joven durante varios momentos del curso; evaluación continua mensual, la evaluación final de curso, las notas extraídas de la parrilla de observación competencial y los resultados académicos. Por otro lado, contamos con el tercer bloque, que se nutre de las puntuaciones que lleva a cabo la persona mentoriza durante todo el curso en los siguientes momentos: evaluación continúa cada vez que se encuentra con la persona mentoriza, la evaluación final y las, formaciones.
El cuarto y quinto bloque van dirigidos a obtener la información más cualitativa de la relación, extraída de la percepción que tienen tanto la técnica de referencia, como las educadoras o agentes educativos. Esta nota, entre otros, ha estado y es motivo de debate en el equipo, como también otros aspectos tales como si el momento de iniciar la relación tendría que ser un factor a tener en cuenta o si las parejas que repiten tendrían que tener diferentes ponderaciones.
Por este motivo ya se está trabajando en la tercera actualización de la herramienta, donde todos estos temas junto con otras mejoras se tienen que tener en cuenta y llevarlas a debate, como por ejemplo el impacto que tiene la mentoría en el fortalecimiento de la cohesión social y como medirlo.
Retos y conclusiones parciales sobre el IQA
En el estado actual de desarrollo primario del índice, y además de la constante revisión de los indicadores que forman parte, encontramos dos principales retos para seguir afinando y mejorando la fiabilidad de la herramienta en la hora de concluir aspectos:
- El primero es el uso que podemos hacer de los datos extraídos, y aquí nos podemos referir a dos aspectos: por un lado la posibilidad de disponer de un IQA actualizado en vivo durante el transcurso de la relación de mentoría podría ser una herramienta que de una manera muy rápida y visible dé información al equipo técnico que hace el seguimiento sobre lo que está pasando (o no pasando) en el seno de una relación de mentoría. Este punto podría suponer un adelanto importante en la intervención cualitativa de las técnicas, que hipotéticamente se trasladaría en una mayor calidad de los acompañamientos; así como en una más eficiente gestión de los recursos disponibles en poder disponer muy ágilmente de la instantánea de cada relación no solo una vez se acaba la mentoría en el mes de julio. Y, por otro lado, el cruce de los datos agregados en el IQA con otras variables como la edad, el género, la tipología de estudios, etc. para sacar conclusiones sobre el perfil de jóvenes o mentoras para quienes este tipo de intervención tiene un mayor impacto.
- El segundo es el establecimiento de grupos control, en el ámbito más extenso del concepto que permita comparar los datos finales con otros datos relevantes. Este podría derivar desde la comparación entre diferentes cursos académicos dentro de un mismo proyecto o la comparación con otros proyectos de mentoría que lo puedan usar para detectar buenas prácticas y así transferir conocimiento de valor.
En conclusión, consideramos que el Índice de Calidad de los Acompañamientos es una herramienta con alto valor a la hora de evaluar el desarrollo global de un proyecto de mentoría en el marco de un curso académico. Así mismo, es una herramienta con potencial a la hora de poder analizar a un nivel micro aquello que ha pasado en una relación de mentoría, y poder sacar conclusiones sobre determinados patrones de buena conducta o de perfiles con potencial de mayor impacto.
Creemos además que el posible desarrollo del IQA pasa por la validación de sus contenidos, por parte de Entidades paraguas tales como la Coordinadora de Mentoría Social, que permitan valorar su posible transferencia y adaptación a otros proyectos.
Finalmente, a pesar de las prometedoras conclusiones que un índice como el IQA puede ofrecer a los proyectos que lo implementen, remarcamos la necesariedad de profundizar y dar valor a la evaluación cualitativa, a entrar en profundidad a entender el impacto en las persones participantes en una relación de mentoría.
Referencias
[1] González Núñez, V. (2023). Evaluar su impacto, una de las claves del futuro de la mentoría socioeducativa. RIME, 1º Congreso Iberoamericano para una educación de calidad: Mentoría y Desarrollo Competencial. Barcelona. https://www.nouscims.com/evaluar-su-impacto-una-de-las-claves-del-futuro-de-la-mentoria-socioeducativa/
[2] López Martínez, A. (2023). La experiencia del programa de mentoria ZING en la adquisición de competencias educativas y laborales. RIME, 1º Congreso Iberoamericano para una educación de calidad: Mentoría y Desarrollo Competencial. Barcelona. https://www.nouscims.com/la-experiencia-del-programa-de-mentoria-zing-en-la-adquisicion-de-competencias-educativas-y-laborales/
[3] Schuschny, H, y Soto, A (2009). Guía metodológica para el diseño de indicadores compuestos de desarrollo sostenible. CEPAL-ONU. Santiago de Chile. https://repositorio.cepal.org/server/api/core/bitstreams/a627f68b-9902-4fa2-a516-912a903ecf22/content
[4] Acción Contra el Hambre (2022). Índice de pobreza, ¿qué es y cómo se calcula?. https://www.accioncontraelhambre.org/es/indice-pobreza-que-es
[5] Institut d’Estadística de Catalunya (2022). Índex d’Igualtat de Gènere. https://www.idescat.cat/pub/?id=iig&lang=es&m=m
[6] Cotán Fernández, A. (2016). El sentido de la investigación cualitativa. Universidad Isabel. Burgos. https://www.ceuandalucia.es/escuelaabierta/pdf/articulos_ea19/EA19-sentido.pdf