Han participado en la elaboración de esta obra:
EDITORES Y AUTORES:
Ruiz-Corbella, Marta. Universidad Nacional de Educación a Distancia (UNED)
García-Gutiérrez, Juan. Universidad Nacional de Educación a Distancia (UNED)
OTROS AUTORES:
Aramburuzabala, Pilar. Universidad Autónoma de Madrid
Arco-Tirado, José L. Universidad de Granada
Belando Montoro, María R. Universidad Complutense de Madrid
Camilli, Cecilia. Universidad Complutense de Madrid
Del Pozo, Araceli. Universidad Complutense de Madrid
Fernández-Martín, Francisco D. Universidad de Granada
Folgueiras, Pilar. Universitat de Barcelona
Fuentes, Juan Luis. Universidad Complutense de Madrid
Galán, Arturo. Universidad Nacional de Educación a Distancia (UNED)
García, Mercedes. Universidad Complutense de Madrid
García Laso, Ana. Universidad Politécnica de Madrid
García-Romero, David. Universitat Autònoma de Barcelona
Gezuraga, Monike. Universidad del País Vasco
Hernández Escolano, Carme. Universitat Pompeu Fabra
Hervás-Torres, Miriam. Universidad de Granada
Ierullo, Martin. Centro Latinoamericano de Aprendizaje y Servicio Solidario (CLAYSS)
Lalueza, José Luis. Universitat Autònoma de Barcelona
López de Arana, Elena. Universidad del País Vasco
Lorenzo Moledo, Mar. Universidade de Santiago de Compostela
Manjarrés, Ángeles. Universidad Nacional de Educación a Distancia (UNED)
Martín, Domingo A. Universidad Politécnica de Madrid
Martín, Xus. Universitat de Barcelona
Martínez-Lozano, Virginia. Universidad Pablo de Olavide
Puig, Josep M.a Universitat de Barcelona
Rubio, Laura. Universitat de Barcelona
Tapia, María Nieves. Centro Latinoamericano de Aprendizaje y Servicio Solidario (CLAYSS)
© NARCEA, S. A. DE EDICIONES, 2019
Paseo Imperial, 53-55. 28005 Madrid. España
www.narceaediciones.es
Imagen de cubierta: IngImage
ISBN papel: 978-84-277-2531-7
ISBN ePdf: 978-84-277-2532-4
ISBN ePub: 978-84-277-2533-1
Todos los derechos reservados
Queda prohibida, salvo excepción prevista en la ley, cualquier forma de reproducción, distribución, comunicación pública y transformación de esta obra sin contar con autorización de los titulares de propiedad intelectual. La infracción de los derechos mencionados puede ser constitutiva de delito contra la propiedad intelectual (arts. 270 y sgts. Código Penal). El Centro Español de Derechos Reprográficos (www.cedro.org) vela por el respeto de los citados derechos.
Sobre enlaces a páginas web
Este libro puede incluir enlaces a sitios web gestionados por terceros y ajenos a NARCEA, S.A. DE EDICIONES que se incluyen solo con finalidad informativa. Las referencias se proporcionan en el estado en que se encuentran en el momento de la consulta de los autores, sin garantías ni responsabilidad alguna, expresas o implícitas, sobre la información que se proporcione en ellas.
Índice
PRESENTACIÓN. Marta Ruiz-Corbella y Juan García-Gutiérrez
1. ¿Es posible evaluar los resultados de proyectos de Aprendizaje-Servicio? Las evidencias como clave del éxito. Cecilia Camilli, Mercedes García y Arturo Galán
La evaluación del ApS, un reto educativo lleno de interrogantes. Ejemplos de indicadores para valorar el impacto del ApS en la universidad. Conclusiones.
2. Cómo abordar la evaluación en los proyectos de Aprendizaje- Servicio. Pilar Aramburuzabala, Monike Gezuraga y Elena López de Arana
Qué evaluar. Quién debe evaluar. Cuándo evaluar. Cómo evaluar. Los retos de la evaluación. Conclusiones.
3. Impacto del Aprendizaje-Servicio desde la perspectiva de la innovación educativa. Domingo A. Martín, Carme Hernández Escolano y Ana García Laso
Evaluar el impacto de la innovación educativa a través de la transferencia social. Casos prácticos: evaluar el impacto del ApS a través de proyectos de innovación. Conclusiones.
4. La evaluaciónex-ante de un programa, proyecto o acción de Aprendizaje-Servicio. Francisco D. Fernández-Martín, José L. Arco-Tirado y Miriam Hervás-Torres
Principales elementos y características del diseño y planificación de programas. Aplicación y evaluación de programas. Conclusiones.
5. Criterios e indicadores de calidad para evaluar proyectos de Aprendizaje-Servicio. Mar Lorenzo Moledo y María R. Belando Montoro
La evaluación de los proyectos de ApS: momentos, stakeholders e indicadores. Conclusión.
6. La evaluación participativa y autogestionada en el Aprendizaje-Servicio. Pilar Folgueiras
Evaluación participativa y autogestionada. La participación: un aspecto clave en los proyectos de ApS y en el modelo de evaluación planteado. La evaluación de la participación por parte de las instituciones. Conclusión.
7. La evaluación por competencias en los proyectos de AprendizajeServicio. Marta Ruiz-Corbella y Ángeles Manjarrés
Función de la evaluación en los proyectos de ApS. Las competencias curriculares en los proyectos de ApS. Herramientas de evaluación de competencias en los programas de ApS. La necesaria complementariedad en toda propuesta de evaluación.
8. Promoción de la competencia ética y el compromiso cívico y su evaluación en los proyectos de Aprendizaje-Servicio. Juan García-Gutiérrez, Juan Luis Fuentes y Araceli del Pozo
La universidad cívica: educación del carácter y ApS. La competencia ética y el compromiso cívico en la educación superior. Dificultades para evaluar los aprendizajes ético-cívicos. Instrumentos para evaluar las competencias ético-cívicas en los proyectos de ApS. Conclusión.
9. Evaluar para mejorar: el uso de las rúbricas. Laura Rubio, Xus Martín y Josep Ma Puig
Evaluar proyectos de ApS: algunas decisiones previas. Algunas propuestas de evaluación de proyectos de ApS. Los dinamismos clave en un proyecto de ApS. Una rúbrica para autoevaluar y mejorar los proyectos de ApS. Conclusiones.
10. Los Diarios de Campo en la evaluación del Aprendizaje-Servicio. David García-Romero, Virginia Martínez-Lozano y José Luis Lalueza
Contextualización: dos experiencias de evaluación formativa en ApS. El diario de campo como herramienta de la actividad. Feedback: evaluación, formación y diálogo. Rúbrica para el feedback en los diarios de campo. Conclusiones.
11. La evaluación en los procesos de institucionalización del Aprendizaje-Servicio. María Nieves Tapia y Martin Ierullo
Concepto de institucionalización del Aprendizaje-Servicio en las instituciones educativas. El caso de los “programas de apoyo” de CLAYSS en Argentina y Uruguay. Modelos de evaluación institucional asociados a premios y concursos nacionales e internacionales. Conclusiones.
REFERENCIAS BIBLIOGRÁFICAS
Presentación
A lo largo de las primeras décadas de este siglo xxi, la universidad española ha estado acometiendo una radical transformación, que aún continúa. Identificamos el inicio de este cambio en la puesta en marcha del Espacio Europeo de Educación Superior, referencia mencionada en múltiples ocasiones, aunque no fue el punto de partida. Como todo proceso de renovación su origen hay que buscarlo mucho más atrás. Se deriva de múltiples causas que convergen reclamando nuevos modos de actuar, de participar, de intervenir, de producir, en suma, de entender la realidad.
En este complejo proceso de demanda de cambio en las instituciones universitarias surge con fuerza la exigencia, entre otras propuestas, de incorporar la innovación en la actividad docente; de atender, como señalaba hace años Zabalza (2003), tres condiciones en toda actividad docente: apertura, actualización y mejora. Apertura en el sentido de saber adaptarse al nuevo contexto, a los nuevos recursos, de ser flexible, de acoger la diversidad. Actualización en cuanto a que es capaz de ponerse al día, no solo con los avances en todos los campos del conocimiento y en los recursos metodológicos que facilitan los procesos de enseñanza aprendizaje, sino con lo que se ha venido trabajando y estudiando hasta ahora. Toda innovación, para ser sostenible, debe estar bien anclada en su trayectoria pasada. Y mejora en tanto que se incorporan en el proceso de enseñanza aprendizaje no solo de una asignatura, sino en la formación que debe transmitir toda titulación. No resulta algo puntual, sino que debe enmarcarse en esa realidad formativa. En definitiva, genera un proceso de cambio fundamentado, viable, sostenible y práctico.
En consecuencia, se hace evidente que las aulas universitarias debían no solo transmitir el contenido de las diferentes asignaturas que impartían, sino, fundamentalmente, enseñar a acceder a esos conocimientos, analizarlos, criticarlos, transformarlos, comunicarlos, de tal modo que cada estudiante, en su futuro como profesional y ciudadano, fuera capaz de continuar accediendo, comprendiendo, transformando y aportando un conocimiento que evoluciona constantemente.
Esta nueva percepción del proceso de enseñanza-aprendizaje demandó acciones innovadoras en el diseño de la propia enseñanza, en la incorporación de diferentes metodologías, de recursos y modo de evaluación. A partir de esta idea, la revolución en las instituciones universitarias estaba servida, por lo que, desde ese momento, las propuestas y experiencias innovadoras han sido una constante en la vida universitaria. Prueba de ello es, por ejemplo, la significativa producción científica en torno a ella. Valgan como ejemplos, una búsqueda boleana en DIALNET, a partir de los descriptores “innovación docente” and “universidad”, que recoge más de 2.500 referencias; o las convocatorias de numerosas reuniones científicas en las que la innovación docente es su eje; o el impulso en todas las universidades españolas de los grupos de innovación docente.
Y al revisar la literatura científica de estos últimos años comprobamos que la metodología del Aprendizaje-Servicio (ApS) se instala, poco a poco, en las instituciones universitarias españolas a través de experiencias innovadoras en áreas de conocimiento de lo más diversas (Ingenierías, Farmacia, Derecho, Educación, etc.) con el objetivo de acercar la teoría a la práctica a la vez que la práctica a la teoría, facilitando que el estudiante sea capaz de “(…) poner en juego lo aprehendido en su formación académica con las experiencias que tendrá en determinado puesto de trabajo” (Ferrán-Zubillaga y Guinot-Viciano, 2012, p. 188). Más aún, continúan estas autoras, los proyectos de ApS se realizan con la voluntad de implicar a la comunidad en cada una de las titulaciones universitarias en un claro compromiso, entre ambas partes, de desarrollo humano y social en el que la corresponsabilidad y la reciprocidad se muestran como elementos imprescindibles en el proceso hacia el cambio social.
No es objeto de este libro analizar los resultados de todas estas iniciativas y producción científica, pero sí enmarcar el contexto en el que irrumpe una singular propuesta metodológica con una clara dimensión innovadora: el Aprendizaje-Servicio.
Todos conocemos la implicación de la Unión Europea en el desarrollo de la educación superior apostando por una universidad más cercana e integradora de la realidad en la que se asienta. En uno de sus últimos documentos, destaca que la educación superior debe dejar de ser esa torre de marfil alejada de la sociedad, para convertirse en comunidad de aprendizaje con conciencia cívica conectada con su comunidad (COM, 2017). Este planteamiento ratifica también la pertinencia de la irrupción de la metodología del ApS en las instituciones universitarias, que se define como (Puig, Battle, Bosch y Palos, 2007, p. 20): “aquella propuesta educativa que combina procesos de aprendizaje y de servicio a la comunidad en un solo proyecto bien articulado en el que los participantes se forman al trabajar sobre necesidades reales del entorno con el objetivo de mejorarlo.
Metodología que lleva implementándose desde hace más de 50 años en universidades norteamericanas y latinoamericanas, mientras que en nuestro país se incorporó apenas hace 20 años. A pesar del escaso tiempo que ha transcurrido desde la implementación de esta metodología en la universidad, los resultados son sumamente alentadores. La interacción teoría-práctica en contextos reales es un logro indudable al posibilitar experiencias en las que demuestran ser capaces de unirlas, de interactuar en contextos reales. La implicación de los estudiantes es una exigencia, con lo que se fortalecen sus aprendizajes tanto de competencias específicas como transversales de su titulación, al hacer realidad un aprendizaje centrado en ellos. Y todo ello conlleva la participación de la sociedad, transformándose en comunidades de aprendizaje con conciencia cívica.
Pero en todo este proceso hay un punto al que todavía no le hemos dado la atención que exige. En la producción científica sobre ApS encontramos referencias a su diseño, a experiencias desarrolladas con esta metodología, al análisis de resultados de los aprendizajes de los estudiantes…, pero escasos estudios y reflexión sobre la fase de la evaluación, clave en todo diseño metodológico.
Con el objetivo de iniciar esta línea de investigación, reunimos en este libro a un grupo de profesores universitarios expertos en ApS, de doce universidades del estado español, junto con la experiencia del Centro Latinoamericano de Aprendizaje-Servicio Solidario, de Argentina, referente indudable en el diseño e implementación de esta metodología.
La evaluación es, sin duda, un tema complejo. Evaluar aprendizajes de contenidos, de destrezas, pero también de competencias éticas y cívicas. Plantear el tipo de resultados que esperamos: capacidad de resolver problemas, atender situaciones, implicación activa en la comunidad. Ahora, ¿cómo podemos evaluar los resultados del ApS? ¿Cómo evaluar el aprendizaje pretendido en nuestros estudiantes? ¿Cómo valorar su impacto social? Tal como indican Camilli, García y Galán en el primer capítulo, estamos ante una potente herramienta para orientar el aprendizaje, detectar los puntos fuertes y débiles de nuestros proyectos y programas y corregir los fallos o errores que encontremos en el proceso y en los resultados, tomando decisiones para el cambio y la mejora. Si queremos verificar la eficacia, la eficiencia y la funcionalidad de cualquier programa educativo, es necesario que sea evaluado. La evaluación es una fase transversal (no solo una más) a todo proyecto y proceso educativo.
Esta cuestión no la debemos obviar. Con este objetivo a lo largo de los once capítulos que componen esta obra se revisan y exponen los criterios básicos que debe atender tanto el proceso de evaluación de los aprendizajes, como los proyectos, programas y acciones educativas. Tratar los criterios e indicadores, la heteroevaluación y la autoevaluación, la evaluación participativa y autogestionada, la evaluación ex-ante, los recursos para evaluar (como las rúbricas o los diarios de campo), la evaluación en los procesos de institucionalización; todo ello, sin olvidar la evaluación de las competencias transversales presentes en estos aprendizajes.
Con esta perspectiva, el primer capítulo, ¿Es posible evaluar los resultados de proyectos de ApS? Las evidencias como clave del éxito, aborda los elementos esenciales que deben estar presentes en todo proceso de evaluación y, en concreto, en los diseños de ApS. Destacar los procesos de evaluación en los que deben estar involucrados los diferentes actores que intervienen en cada propuesta de ApS, sin olvidar la evidencia del impacto que aún está sin abordar suficientemente. Sin duda, el diseño de la evaluación se convierte, de esta forma, en una referencia clave para todos los participantes en este tipo de proyectos.
El segundo capítulo, Cómo abordar la evaluación en los proyectos de ApS, realiza un recorrido que pretende acercar aquellos elementos clave en cualquier proceso de evaluación y, en concreto, en relación a los recursos que facilitan la evaluación del ApS capaces de responder a las preguntas clave: ¿para qué se evalúa?, ¿qué se evalúa?, ¿quién evalúa?, ¿cuándo se evalúa?, y ¿cómo se evalúa? Sin olvidar la diversidad de agentes implicados en el diseño de estos proyectos, por lo que es necesario crear tiempos y espacios de debate y reflexión con todas las personas participantes. Es de vital importancia que la evaluación del ApS se base en la capacidad de reflexión de sus participantes.
El impacto del Aprendizaje-Servicio desde la perspectiva de la innovación educativa, tercer capítulo, aborda la integración del ApS como estrategia de fomento de la innovación que traspasa el entorno académico y provoca cambios en las propias instituciones educativas y aquellas entidades a las que ofrece servicio. Por lo tanto, el análisis de su impacto va más allá de la evaluación del aprendizaje, más allá del rendimiento y las calificaciones obtenidas; incluye también, y sobre todo, la capacidad de generar cambio en el entorno. En definitiva, permitir el aprendizaje social y colaborativo, posibilitar el desarrollo de competencias tanto técnicas como sociales, e implicar un aprendizaje a lo largo de la vida al introducir la realidad en el aula y sacar el aula a la realidad.
El cuarto capítulo, La evaluación ex-ante de un programa, proyecto o acción de ApS, parte de que el éxito de un programa de intervención en cualquier ámbito de práctica profesional viene determinado por la pertinencia y suficiencia de su diseño y planificación, la fidelidad de su implementación y, especialmente, por la sistematicidad y rigor científico de las medidas de evaluación que incorpore. En consecuencia, la principal aportación que la evaluación de programas puede realizar sobre un proyecto o acción de ApS en su fase de diseño y planificación (ex-ante), es dotarlo de aquellos elementos y características que establecen los estándares internacionales de calidad en evaluación de programas, que posteriormente permitan realizar, una vez implementado, los distintos tipos de evaluaciones posibles a través de investigaciones evaluadoras potentes.
Criterios e indicadores de calidad para evaluar proyectos de ApS, como quinto capítulo, se apoya en los resultados de una investigación para validar un modelo de institucionalización de la metodología del ApS en la universidad española, en la que se sugiere la necesaria formación de los docentes, junto con la instauración de una cultura de la evaluación entre el profesorado, los estudiantes y los partners. Se comprueba que este tipo de programas en la educación superior optimiza el rendimiento académico y mejora las competencias sociales y destrezas cívicas de los estudiantes, a la vez que permite que la institución pueda desarrollar su tercera misión, vinculada a la innovación, el emprendimiento y la responsabilidad social.
La evaluación participativa y autogestionada en el Aprendizaje Servicio, capítulo sexto, ofrece algunas ideas sobre el papel de las instituciones comunitarias en la evaluación de competencias del estudiante en proyectos de ApS. Y aporta el modelo de evaluación participativa y autogestionado como vía para esta acción, en la que esta no se entiende como un instrumento de control impuesto de arriba abajo, sino como un proceso de diálogo y colaboración que promueve aprendizajes y capacidades en todos los participantes.
El capítulo 7, La evaluación por competencias en los proyectos de ApS, presenta el estado de la cuestión de la evaluación del aprendizaje de competencias curriculares en los proyectos de ApS, e identifica aquellos criterios e instrumentos fiables que avalen una evaluación de calidad. Explican la función que cumple la evaluación en los proyectos de ApS, y destacan la vinculación de estos proyectos a los objetivos curriculares y a la categorización de las competencias involucradas, tanto específicas como genéricas. Finalmente, presentan las herramientas de evaluación destacadas en la literatura sobre ApS.
La promoción de la competencia ética y el compromiso cívico y su evaluación en los proyectos de ApS, capítulo octavo de este libro, comprueba cómo la arquitectura pedagógica actual afirma la centralidad del aprendizaje del estudiante y el desarrollo de competencias, entre las que deben estar las competencias éticas y cívicas. Resulta evidente que no existe un método perfecto, ni tampoco un instrumento definitivo para evaluar los aprendizajes y la experiencia ético-cívica, lo que no debe motivar la renuncia a su evaluación. Por tanto, es preciso reflexionar acerca de cómo promover los aprendizajes éticos y cívicos en la educación superior desde una metodología adecuada y coherente en nuestras instituciones universitarias.
El capítulo 9, Evaluar para mejorar: el uso de rúbricas, aborda un instrumento específico para la evaluación, la rúbrica, su sentido y potencialidad al incorporar la autoevaluación de los proyectos de ApS. Cómo hacer un buen uso de la rúbrica y cuáles son los elementos clave que la configuran es su objetivo. Además de su valor evaluativo, la rúbrica demuestra también otras potencialidades en el ámbito de la formación y en el diseño de nuevas propuestas de ApS. A la vez que resulta relativamente sencillo convertirla en una pauta de trabajo en el diseño y planificación de nuevos proyectos. De esta manera se destaca el valor didáctico y práctico de la rúbrica, más allá de su utilización como instrumento para evaluar este tipo de proyectos.
Otro instrumento de evaluación son los diarios de campo, tema que se desarrolla en el siguiente capítulo, Los diarios de campo en la evaluación del ApS, que explican el uso de estos como herramienta de evaluación a partir de dos experiencias concretas de ApS. Se trata de un instrumento útil precisamente por su versatilidad y por la flexibilidad en su estructura y uso. Ahora bien, resulta válido únicamente si logra ser catalizador del proceso de reflexión en acción, al facilitar la revisión de la propia acción en relación a objetivos. Y ello es útil tanto porque facilita al aprendiz organizar su actividad dirigida a metas conscientes, como porque permite revisar si la acción desarrollada se encamina a los fines deseados. Además, en su función dialógica, el diario de campo permite trascender la función meramente académica, implicando al profesorado en procesos de transformación social a través de su actividad docente.
Por último, el capítulo La evaluación en los procesos de institucionalización del ApS entiende la relevancia del proceso de evaluación en los proyectos de ApS en tanto que se configura como un proceso transversal que atraviesa las distintas fases y dimensiones de dichos proyectos. Entre estas, este capítulo se centra en la necesaria institucionalización de estos proyectos y en sus características básicas. Para ello desarrollan un modelo de evaluación orientado a acompañar los procesos de institucionalización, desarrollado por CLAYSS en Latinoamérica. A la vez que analizan algunos modelos de evaluación de los procesos de institucionalización asociados a premios y concursos nacionales que se reconocen como buenas prácticas de ApS.
Un amplio abanico de propuestas, de reflexiones y de experiencias que aportan un contenido de gran riqueza para el desarrollo de proyectos de ApS en nuestras universidades. Ahora bien, tal como indican Lorenzo Moledo y Belando Montoro en su capítulo, también somos conscientes de que habrá que esperar unos años para que los diseños y los métodos de evaluación se consoliden y se extiendan a todo tipo de proyectos relacionados con el ApS y, al mismo tiempo, permitir el desarrollo de investigaciones longitudinales que nos proporcionen datos fiables y contrastables en torno a elementos esenciales de su impacto. Este será nuestro reto.
1
¿Es posible evaluar los resultados de proyectos de Aprendizaje-Servicio? Las evidencias como clave del éxito
La evaluación educativa es una potente herramienta para orientar el aprendizaje, detectar los puntos fuertes y débiles de nuestros proyectos y programas, y corregir los fallos o errores que encontremos en el proceso y en los resultados, tomando decisiones para el cambio y la mejora. Si queremos verificar la eficacia, la eficiencia y la funcionalidad de cualquier programa educativo, es necesario que sea evaluado. La evaluación es una fase transversal a todo proyecto y proceso educativo.
En este sentido, la evaluación se convierte en un elemento clave para obtener evidencias del éxito de un proyecto educativo. Para ello es fundamental plantear claramente, desde el inicio, qué esperamos conseguir y para qué (objetivos y metas), a corto, medio y largo plazo. Si queremos convencer a la comunidad académica y a la sociedad de que un proyecto educativo es capaz de transformar a la persona, a la institución y a la propia sociedad a la que sirve, debemos ser capaces de aportar información objetiva del cumplimiento de sus metas. Para ello es imprescindible, en primer lugar, definir con máxima claridad los objetivos del proyecto y los resultados esperados, tan operativamente como sea posible. A partir de ahí, debemos concebir y planificar una evaluación adecuada y auténtica, lo que implica utilizar una metodología de evaluación (diseño, fuentes, instrumentos) que se adapte a la naturaleza del objeto evaluado.
Lo más importante de la evaluación, en este planteamiento, es que nos ayude a verificar con objetividad si se han conseguido los fines y las mejoras pretendidas en los proyectos; por ello, plantear los criterios de evaluación y el uso de instrumentos de evaluación adecuados, ayudará a comprender las razones que nos llevan al éxito y a orientar la superación de las dificultades o errores que se cometan.
La evaluación de proyectos y programas es un proceso sistemático y complejo que puede abordarse desde distintas perspectivas o modelos más o menos clásicos (Stake, Stufflebean, Patton, Trochim, modelos CIPP, modelos de calidad tipo normas ISO o EFQM…). Dicha complejidad ya es elevada cuando tratamos con variables relativamente fáciles de objetivar y cuantificar, como en los programas dirigidos a mejorar el rendimiento académico, la motivación o las aptitudes. Pero cuando nos enfrentamos con proyectos que abordan aspectos mucho más intangibles, como sucede en los proyectos de ApS, la complejidad y las dificultades se multiplican exponencialmente.
Nos encontramos con dos dificultades añadidas especialmente relevantes. Por una parte, la medida de estos productos educativos no cognitivos, como puede ser la ciudadanía, la tolerancia; actitudes como el respeto a otras culturas, el trabajo en equipo, la solidaridad, etc. Estas dificultades atañen a los instrumentos de medida y evaluación, a las fuentes de recogida de información y al contexto en el que se recoge la información. Por otra parte, el tiempo necesario para verificar que el proyecto ha dado frutos. Este tipo de aprendizajes con frecuencia se manifiestan a lo largo de la vida de los sujetos que han participado en los mismos, por lo que es difícil obtener evidencias a corto plazo, tras la finalización del proyecto. Igualmente, la transferencia de estos aprendizajes consecuencia del servicio prestado, es difícil de evaluar, más aún teniendo en cuenta los diversos contextos potenciales donde tales aprendizajes podrían manifestarse.
En todo caso, los proyectos de ApS pretender responder a grandes metas educativas, metas sin duda valiosas y que van más allá de aprendizajes académicos y competencias profesionales. Estos proyectos tienen un objetivo profundo y difícilmente cuantificable como proceso transformador personal y social. A pesar de las evidentes dificultades, debemos afrontar el reto de mostrar evidencias de las bondades de los programas de ApS para demostrar a las instituciones universitarias y a la sociedad que merece la pena invertir tiempo y dinero en esta línea. Ello pasa por tener claro qué queremos, cómo lo haremos y con qué herramientas lo evaluaremos. Este capítulo pretende mostrar un primer acercamiento y una revisión de esta cuestión en el marco universitario.
LA EVALUACIÓN DEL ApS, UN RETO EDUCATIVO LLENO DE INTERROGANTES
El primer paso en el planteamiento de la evaluación es comprender la naturaleza y las características del objeto evaluado. En este sentido, es necesario tomar conciencia de la relevancia, oportunidad y proyección del Aprendizaje-Servicio en la Universidad, es decir, ¿por qué el ApS en la Universidad? Para responder, utilizaremos dos ámbitos íntimamente relacionados: el reconocimiento en la institución universitaria y el valor a través de los resultados esperados y encontrados.
Reconocimiento del Aprendizaje Servicio (ApS) en el marco de la Responsabilidad Social Universitaria
“Las universidades (…) favorecerán prácticas de responsabilidad social y ciudadana que combinen aprendizajes académicos en las diferentes titulaciones con prestación de servicio en la comunidad orientado a la mejora de la calidad de vida y la inclusión social”1.
La Red Universitaria de Aprendizaje-Servicio, ApS(U), se creó en el año 2010 con la finalidad de fortalecer la colaboración y el intercambio de experiencias de ApS, difundir los proyectos basados en esta metodología, promover la innovación, la investigación y la formación, y apoyar los procesos de institucionalización del ApS en las universidades españolas. Es una red que reúne al profesorado de más de 40 universidades de España y, desde su creación, se han celebrado 7 congresos de Aprendizaje-Servicio Universitario.
Pero el reconocimiento institucional llega unos años después, el 29 de mayo de 2015, cuando el Comité Ejecutivo y el Plenario de la Comisión de Sostenibilidad (grupo CADEP) de la Conferencia de Rectores de las Universidades Españolas aprueba un documento técnico titulado Institucionalización del Aprendizaje-Servicio como estrategia docente dentro del marco de la Responsabilidad Social Universitaria para la promoción de la Sostenibilidad en la Universidad.
Algunas universidades españolas han incluido el ApS en sus propuestas formativas más allá de proyectos específicos liderados por equipos universitarios; entre otras, las universidades de Barcelona, Rovira y Virgili, Santiago de Compostela, País Vasco, Valencia o Cádiz a través del alumnado. Un paso más en esta propuesta de institucionalización es la firma del convenio entre el Ayuntamiento de Madrid, las universidades públicas madrileñas y las universidades con sede en Madrid, la UNED y la Universidad Internacional Menéndez Pelayo, con el objetivo de poner en conexión a los universitarios con la ciudad, combinando el aprendizaje de sus competencias específicas con los servicios a la comunidad en la que se ubican para mejorar la calidad de vida y la inclusión social y, no menos importante, fomentar la cultura participativa, solidaria y de compromiso cívico.
Por otra parte, en esta contextualización del reconocimiento del ApS no podemos dejar de mencionar el Premio de Aprendizaje-Servicio, organizado por Educo, Edebé y la Red Española de Aprendizaje-Servicio y apoyados por diversas empresas y entidades sociales2. Se convoca anualmente desde 2015 para centros de Educación Infantil-Primaria, Secundaria-Bachillerato y Formación Profesional, y entidades sociales que desarrollen prácticas de ApS para reconocer el compromiso en el fomento de la ciudadanía activa y las acciones solidarias destinadas a mejorar la calidad de vida de la comunidad.
En definitiva, en la actualidad, el reconocimiento y la institucionalización del ApS, como metodología docente diseñada para que los estudiantes realicen aprendizajes curriculares mientras dan respuesta a necesidades reales de la comunidad y de colectivos en riesgo de exclusión, avala el desarrollo de proyectos universitarios basados en el Aprendizaje-Servicio como fomento de la ciudadanía activa.
El consenso conseguido en 2015 para definir los objetivos de desarrollo sostenible (ODS)3 (figura 1.1) nos ayudan a centrar los problemas reales de las sociedades y, en consecuencia, dirigir los proyectos de ApS, concebidos como proyectos orientados a dar respuesta a estas necesidades reales de la sociedad.
Figura 1.1. Objetivos de Desarrollo Sostenible (Agenda 2030).
Fuente: Naciones Unidas, 2015.
Para ello, se plantea una metodología docente diseñada para que los estudiantes realicen aprendizajes curriculares mientras dan respuesta a necesidades de la comunidad/sociedad, particularmente:
• Concienciar en temas sociales y ambientales.
• Generar compromiso y responsabilidad social.
• Desarrollar competencias del currículo académico.
El valor del ApS en la Educación Superior ¿Qué efectos se han encontrado? ¿Qué evaluar?
Desde el punto de vista de la investigación, se han observado efectos suficientemente relevantes en la aplicación del ApS que permiten suponer que la apuesta por el uso de ApS merece la pena.
Desde la Declaración de Bolonia, las reformas universitarias emprendidas en el Espacio Europeo de Educación Superior (EEES) se fundamentan en un aprendizaje activo, auténtico y centrado en el estudiante. La implicación y motivación del estudiante se relaciona directamente con el aprendizaje y el rendimiento educativo.
Por ello, el uso de metodologías activas e innovadoras supone mejorar la calidad de la educación superior. El ApS cumpliría con muchos de los componentes esenciales de una metodología pedagógica que contemple estas características. El rendimiento académico se considera un indicador del éxito del proceso formativo, si bien no es el único logro esperado en la concepción y contextualización del ApS. Como metodología de aprendizaje y servicio, se espera mejorar el conocimiento de los estudiantes en una determinada disciplina y ampliar su compromiso de responsabilidad cívico-social, es decir, efectos cognitivos, afectivos y sociales (Mella-Núñez, Santos-Rego y Malheiro-Gutiérrez, 2015).
Los primeros resultados de la investigación apuntan a que el Aprendizaje-Servicio muestra efectos positivos en cinco áreas: actitud hacia uno mismo, actitudes hacia la universidad y el aprendizaje, compromiso cívico, competencias sociales y rendimiento académico (Celio, Durlak y Dymnicki, 2011). Pero esta relación no es directa sino que, posiblemente, se produce a través de la cantidad y calidad de interacción con el profesorado y, sobre todo, mediante variables aptitudinales del estudiante, mediadoras de los buenos resultados, como son la autoestima y el autoconcepto académico, la motivación, el compromiso e implicación académica, la percepción de utilidad, la conducta prosocial y el empoderamiento (Furco, 2005; Mella-Núñez, et al. 2015); pero también la satisfacción de los estudiantes relacionada con la percepción que tienen sobre la adquisición de aprendizajes auténticos, sentirse protagonistas y la posibilidad de vincular la teoría y la práctica (Folgueiras, Luna y Puig, 2013).
En definitiva, parece que los estudiantes que participan en ApS, evalúan más positivamente la materia, tienen una mayor percepción de aprendizaje logrado, valores y creencias más positivas hacia el servicio y la comunidad, mayor aprendizaje y rendimiento final, y mayor satisfacción, motivación e interés. En cualquier caso, parece que podemos esperar resultados positivos en diferentes áreas: personal, ciudadana, curricular…, lo que, en consecuencia, exige abrir el abanico de los resultados deseables, tanto procesuales como finales, que deben ser evaluados.
Por consiguiente, evaluar ApS supone evaluar, de forma inmediata, las diferentes competencias relacionadas con el aprendizaje: competencias específicas de los estudios realizados; competencias genéricas necesarias para el desarrollo del servicio y vinculadas a aprender a ser y aprender a convivir (comunicación, toma decisiones, iniciativa y creatividad); y valores de responsabilidad, cooperación, justicia, empatía y justicia social.
No menos importante es la satisfacción con el aprendizaje y servicio realizado y la percepción de la utilidad de los estudios, el aprendizaje y el servicio y la sensación de participar en la construcción social más justa y cohesionada. Muchos de los resultados esperados deberán ser evaluados a medio y largo plazo, precisamente aquellos vinculados al ejercicio de la ciudadanía activa y participativa, empática y respetuosa con la diversidad, crítica, responsable, comprometida y transformadora.
Y, como metodología transformadora, se debe plantear conjuntamente la evaluación de su concepción pedagógica y la calidad de la experiencia. Es decir, ¿es eficaz el ApS para la formación de profesionales más competentes y motivados y ciudadanos más activos, responsables y participativos, y para la capacidad de resolver problemas reales de la comunidad y corregir desigualdades de la sociedad?
El ApS exige abrir la universidad a la sociedad y a la colaboración entre diferentes estructuras y entidades. Por ello, las relaciones eficaces entre la universidad, la comunidad y las entidades sociales se deben incluir en el foco de la evaluación. Todas las estructuras deben percibir la interacción como valor, beneficiosa para todos los implicados y con un impacto probable vinculado a la transferencia social.
¿Evaluar la implementación exitosa en la institución universitaria?
Otro aspecto esencial a considerar es la institucionalización propuesta por la CRUE (2015). Para potenciar la institucionalización, se propone:
• Iniciar los procesos de ApS con un proceso de reflexión sobre su estatus en la institución universitaria, que debería finalizar con una declaración institucional sobre la forma de integrarlo en la política, la cultura y la práctica de compromiso cívico, la responsabilidad social y la innovación docente de cada universidad.
• Diseñar una estructura colaborativa que apoye y consolide los proyectos de ApS en el marco de programaciones docentes, prácticas externas y realización de trabajos fin de estudios (TFG, TFM). Esta estructura debe orientar y ayudar a los equipos docentes en la gestión de recursos, convenios con entidades sociales y redes que faciliten la puesta en marcha y la financiación básica. Además, debe colaborar en la formación del PDI, dando visibilidad y reconocimiento del impacto de los proyectos y, sobre todo, permitir la sostenibilidad a lo largo del tiempo.
• Identificar áreas-problema de la comunidad que puedan ser abordados en el marco de los estudios universitarios, así como evaluar la viabilidad del proyecto e identificar cambios.
• Evaluar la eficacia, eficiencia y transferencia social, celebrando los logros y reconociendo el trabajo de los equipos docentes mediante su inclusión en los procesos de evaluación institucional.
Una vez introducido el ApS en la cultura universitaria, Holland (2001) resume lo que supone una implementación institucional exitosa:
• Capacidad para cumplir con la misión. Nuevas ideas y proyectos. Iniciar nuevos servicios. Incrementar la capacidad para responder a los usuarios. Articular feedback positivo y negativo.
• Impacto económico. Valor del ApS. Reducir o incrementar los costes asociados con las actividades de ApS. Financiación nueva.
• Percepción de la reciprocidad mutua. Articulación de los objetivos, de los beneficios para el campus, los estudiantes y la organización.
• Conciencia del potencial. Análisis de la misión y visión, desarrollo de nuevas redes, percepción de utilidad y que merece la pena el esfuerzo.
• Sostenibilidad de la colaboración. Articulación de criterios de éxito, análisis costo-beneficio, percepción de confianza, sugerencias de cambio o mejoras.
• Satisfacción. Intención de continuar, capacidad de embarcar a estudiantes, referencias y publicaciones, recaudación de fondos, nuevas ideas.
El enfoque de evaluación diagnóstica de Holland (2001) plantea que la universidad y la entidad participante en el proyecto de ApS consensúen los criterios de evaluación y decidan en función de la facilidad o riqueza de datos, en torno a:
• Objetivos. Qué deseamos conocer. Por ejemplo, incrementar la responsabilidad social.
• Variables. Qué buscamos. Qué evidencias.
• Indicadores de cada variable. Qué podemos medir.
• Método. Cómo mediremos.
A continuación se muestra un ejemplo de criterios para la evaluación de un proyecto de ApS, espeficando los objetivos, las variables, los indicadores y el método (tabla 1.1).
Tabla 1.1. Ejemplo de criterios de evaluación para la valoración de un proyecto de ApS.
Fuente: Holland, 2001.
EJEMPLOS DE INDICADORES PARA VALORAR EL IMPACTO DEL ApS EN LA UNIVERSIDAD
Como se ha mencionado en párrafos anteriores, no existe una única manera de evaluar un proyecto porque los aspectos a considerar son muy diversos, lo que dificulta la elaboración de indicadores y su medición. La evaluación exige indicadores orientados hacia la gestión y la eficiencia –entendidas como un rendimiento óptimo de los insumos, recursos y esfuerzos para alcanzar los objetivos propuestos en un tiempo y costo adecuado– y hacia el logro y la eficacia –también llamados indicadores de éxito– porque miden el grado en que las acciones han logrado los resultados esperados (Barbosa y Moura, 2013).
Por tanto, la evaluación de los proyectos en ApS se ajustará en función de varias situaciones, condiciones o factores, entre ellos (Campo, 2014, citado por Rubio, Puig, Martín y Palos, 2015, p. 113):
El momento (inicial, formativa o sumativa), la posición institucional (externa o interna), la relación por parte del evaluador con el objeto evaluado (distante, participativa, cooperativa, capacitadora o empoderadora), el objetivo de evaluación (necesidades, diseño o producto), el diseño metodológico de la misma (desde las propuestas experimentales hasta las de carácter cualitativo) o los instrumentos utilizados (cuestionarios, observaciones, entrevistas, grupos de discusión, videos o fotografías).
Una revisión de estudios recientes confirma la complejidad de la medición de los resultados de ApS. Se observa cómo los estudios se enfocan hacia la percepción de los involucrados (Flynn, Carter y Craig, 2017; Jacob, Palanisamy y Chung, 2017; Sheil y Rivera, 2016), el aprendizaje y las competencias académicas y profesionales (Brugués, 2016; Dienhart, et al. 2016; Kohlbry, 2016; Schvaneveldt y Spencer, 2016), el compromiso (Trader y Kobayashi, 2017) y la institucionalización del servicio (Bringle y Hatcher, 2000), reduciéndose aún más los estudios que miden el impacto “en la comunidad, entidades sociales u otros elementos del proyecto” (Tapia, 2006 citado por Rubio, Puig, Martín y Palos, 2015, p.114). Tanto es así que se aminoran las investigaciones y experiencias en donde se elaboran indicadores para valorar el ApS en la universidad y también para las escuelas. Veamos algunos ejemplos a continuación.
Campo (2014) propone diez indicadores para valorar la calidad de una experiencia universitaria en ApS, cada uno de los cuales se evalúa según el grado de eficacia y eficiencia alcanzados:
• Enfoque de aprendizaje. El proyecto genera aprendizajes que inciden en cómo los estudiantes comprenden y entienden esa realidad a la que se han enfrentado, lo que hace que su visión se modifique y sean agentes de cambio. Los intereses/motivaciones de los estudiantes están presentes en el diseño del proyecto, aunado a retos complejos cognitivos que se transformen en fuentes de curiosidad para la indagación y reflexión sobre el aprendizaje.
• Nivel de participación. Los estudiantes toman decisiones en el proyecto, en las necesidades detectadas en donde se lleva a cabo el ApS o con entidades/instituciones que conocen. Los estudiantes generan nuevos espacios y mecanismos de participación y aprenden sobre las competencias propias de la participación y los procesos participativos.
• Competencias. Se trabajan competencias curriculares propias de la asignatura en donde se desarrolla el proyecto así como las competencias instrumentales con especial atención a la competencia investigadora.
• Seguimiento académico en la entidad. Existe un seguimiento continuo, fluido, frecuente y cercano de los estudiantes entre los profesores/tutores de la universidad y la entidad en donde se lleva a cabo el proyecto.
• Transdisciplinariedad. En el proyecto trabajan estudiantes de distintas disciplinas y ámbitos de conocimiento con la finalidad de complementarse y así abordar el problema o la necesidad detectada.
• Impacto y proyección social. El proyecto se institucionaliza en la entidad por lo que esta asume esas necesidades más allá de la ejecución del servicio. El impacto del servicio perdura en el tiempo, por lo que la comunidad asume el cambio y continúa atendiendo esas necesidades.
• Trabajo en red. La universidad trabaja junto con una o varias entidades en donde los lazos permiten espacios para la generación, intercambio y reflexión de ideas, recursos y propuestas.
• Campo profesional. Los estudiantes tienen la oportunidad de trabajar con profesionales de diferentes disciplinas. La aproximación al mundo real laboral amplía la perspectiva y los posibles horizontes del futuro desempeño profesional.
• Institucionalización académica. Incluye la difusión de los proyectos y su replicabilidad, el reconocimiento al Aprendizaje-Servicio, la disponibilidad de recursos y el reconocimiento del tiempo empleado por el profesorado, y se ofrecen premios y ayudas como reconocimiento social a la tarea emprendida.
• Evaluación. Implica una evaluación de todos los agentes que intervienen en el proyecto –estudiantes, profesores, personas a cargo de la entidad y quienes se benefician del servicio– así como de los componentes que conforman el ApS, como son el aprendizaje, el servicio y el proyecto en sí mismo.
Otro ejemplo es el caso de The Council on Higher Education4 en Suráfrica, con la participación de otros profesores de la Universidad de Stanford, en su trabajo Service-Learning in the Curriculum. A Resource for Higher Education Institutions. Esta organización propone cuatro grandes dimensiones para la evaluación formativa –seguimiento de los estudiantes durante el proyecto– y sumativa –en qué medida los estudiantes alcanzaron los resultados de aprendizaje esperados al finalizar el proyecto–, cada una de las cuales se valora en función del nivel de desempeño logrado según los dominios cognitivo, afectivo, conductual y de responsabilidad social (figura 1.2).
Además, este mismo grupo de profesores universitarios propone una lista de verificación de 12 indicadores para medir la calidad del ApS (Bender, Daniels, Lazarus, Naude y Sattar, 2006):
1. La estructura y organización con los socios comunitarios favorece la colaboración.
2. El Aprendizaje-Servicio está integrado en el currículum (plan de estudios).
3. La planificación es un requisito previo para la implementación del proyecto.
4. El estudiante recibe formación y seguimiento durante todo el proyecto.
5. Las relaciones entre entidades y socios comunitarios son sostenibles.
6. La evaluación del aprendizaje del estudiante es formativa.
7. El proceso del Aprendizaje-Servicio es gestionado.
8. El impacto del proyecto requiere seguimiento y evaluación.
9. La evaluación del aprendizaje del estudiante es sumativa.
10. La finalización del proyecto se demuestra a través de evidencias y se celebra.
11. La evaluación y el seguimiento es para la mejora del proyecto.
12. La relación con los socios comunitarios se amplía (o finaliza).
Figura 1.2. Dimensiones para la evaluación formativa y sumativa.
Fuente: adaptado de Bender, Daniels, Lazarus, Naude, y Sattar, 2006.
Continuando con otras propuestas, no deja de ser interesante conocer el trabajo realizado por organizaciones y coaliciones norteamericanas con una larga trayectoria desde hace varios años en la elaboración de indicadores de calidad –para la valoración de estudios sustentados en evidencias basadas en la investigación–, como son The Center for Comprehensive School Reform and Improvement y What Works Clearinghouse (WWC), iniciativas ambas del Departamento de Educación de Estados Unidos.
No siendo un estudio reciente ni tampoco desarrollado para la universidad, Alliance for Service Learning in Education Reform (1993)5, amparado por The Center for Comprehensive School Reform and Improvement6, propone también estándares de calidad para el Aprendizaje-Servicio en las escuelas. En ella, el ApS se concibe como un método:
• Por el cual los estudiantes aprenden y desarrollan competencias a través de la participación activa en experiencias de servicio cuidadosamente organizadas que satisfacen las necesidades reales de la comunidad y que se coordinan en colaboración con el centro educativo y la comunidad.
• Que está integrado en el currículo académico, por lo que existe un tiempo estructurado real para que el estudiante reflexione sobre el proyecto.
• Que ofrece oportunidades a los estudiantes para demostrar y aplicar sus habilidades y conocimientos adquiridos en la escuela en situaciones reales con necesidades propias de la comunidad.
• Que incrementa lo aprendido en la escuela transformándose en un aprendizaje para la vida con un sentido crítico de ciudadanía y ayuda a los demás.
Para esta organización, el ApS se mide a través de tres grandes indicadores relacionados con el proceso, los participantes, y el impacto y sus beneficios (tabla 1.2):