Un TFG de Pedagogía, Educación Social o Trabajo Social que «evalúa un programa» suele llegar al tribunal con el mismo problema: recogió unos cuestionarios de satisfacción y llamó a eso evaluación. La pregunta que hunde ese trabajo es breve y siempre llega: «¿con qué modelo de evaluación has trabajado?».

La respuesta rápida: si evalúas un programa mientras se diseña o se implanta, CIPP. Si evalúas una acción formativa ya terminada, Kirkpatrick. Si el programa es complejo y quieres explicar por qué funciona o no, teoría del cambio. Si tienes objetivos operativos claros y poco tiempo, evaluación orientada a objetivos. La tabla y el resto del artículo explican cómo decidir con lo que realmente tienes.

La tabla de decisión

Evaluación orientada a objetivos: la más simple, y a veces la correcta

Es el planteamiento clásico: se declaran unos objetivos, se define cómo se mide su consecución y se comprueba si se alcanzaron. Su virtud es la claridad; su límite es evidente, porque solo ve lo que estaba previsto. Si el programa produjo efectos que nadie anticipó —buenos o malos—, este modelo no los captura.

En un TFG funciona bien cuando el programa que evalúas tiene objetivos formulados de forma operativa y existe alguna medida de logro. Si los objetivos del programa están escritos en términos vagos, este modelo te obligará a reformularlos tú, y eso ya es una decisión metodológica que tendrás que justificar.

CIPP: el que más se ajusta a un TFG de intervención

El modelo CIPP organiza la evaluación en cuatro dimensiones, y su gran ventaja para un TFG es que no exige que el programa haya terminado:

• Contexto. ¿El programa responde a una necesidad real y bien diagnosticada? Aquí encaja el análisis de necesidades que muchos TFG ya hacen sin saber cómo llamarlo.
• Entrada. ¿El diseño, los recursos y la planificación son adecuados para esa necesidad? Se evalúa el plan, no el resultado.
• Proceso. ¿Se está implantando como estaba previsto? Aquí es donde aparecen los hallazgos más interesantes de casi cualquier TFG: la distancia entre el programa escrito y el programa real.
• Producto. ¿Qué efectos ha tenido? Es la parte que muchos estudiantes no pueden completar, y CIPP permite decirlo sin que el trabajo se caiga.

Esa última propiedad es la razón por la que CIPP salva tantos TFG: si solo puedes evaluar contexto, entrada y proceso, tienes una evaluación completa de tres dimensiones y declaras que la de producto queda fuera del alcance. Con un modelo orientado a resultados, en cambio, no tendrías trabajo.

Kirkpatrick: solo si tu objeto es formación

Kirkpatrick organiza la evaluación de una acción formativa en cuatro niveles encadenados: la reacción de los participantes, el aprendizaje conseguido, el cambio de conducta en su contexto real y los resultados finales para la organización.

Su fuerza es didáctica: deja meridianamente claro que un cuestionario de satisfacción es solo el primer nivel y no dice nada sobre si se aprendió algo. Su límite práctico en un TFG es que los niveles superiores exigen tiempo y acceso que casi nunca tienes: medir cambio de conducta requiere volver semanas después, y medir resultados requiere datos de la organización.

La forma honesta de usarlo es declarar hasta qué nivel llegas y por qué. «Se evalúan los niveles 1 y 2; el nivel 3 queda fuera del alcance temporal del trabajo» es una frase que suma. Presentar el nivel 1 como si fuera evaluación de impacto es lo que resta.

Teoría del cambio: cuando lo interesante es el porqué

Aquí no se empieza por los resultados sino por la lógica: se reconstruye explícitamente la cadena que enlaza los recursos con las actividades, las actividades con los productos, los productos con los efectos a corto plazo y estos con el impacto pretendido. Y, sobre todo, se hacen explícitos los supuestos que el programa da por buenos en cada eslabón.

Es el enfoque más potente para un TFG con poco dato cuantitativo, porque el hallazgo no está en una cifra sino en la cadena: encontrar que un eslabón descansa sobre un supuesto que nadie ha comprobado es un resultado de investigación legítimo y muchas veces más útil para la entidad que una tabla de satisfacción.

Su riesgo es el contrario: sin datos que anclen algún eslabón, el trabajo se queda en un esquema bonito. Combínalo con entrevistas a los responsables del programa y con la documentación interna.

Cómo elegir de verdad: empieza por lo que tienes

La elección no se hace por preferencia teórica, se hace por disponibilidad. Contesta en este orden:

1. ¿El programa ha terminado? Si no, descarta cualquier modelo centrado en resultados y ve a CIPP o a teoría del cambio.
2. ¿Tienes acceso a los participantes? Sin acceso, olvídate de medir aprendizaje o conducta. Te queda el análisis documental y las entrevistas a responsables.
3. ¿Hay datos previos del programa? Memorias, registros de asistencia, evaluaciones anteriores. Si los hay, tienes línea de comparación; si no, tu evaluación es transversal y hay que decirlo.
4. ¿Cuánto tiempo real te queda? Un diseño que exige dos momentos de medida separados por dos meses no cabe en un TFG que empieza en marzo.

Si la respuesta a varias es «no tengo», eso no invalida tu trabajo: define el alcance en consecuencia y decláralo en limitaciones. Y ten en cuenta que si vas a recoger datos en un centro o una entidad, el acceso hay que pedirlo con semanas de antelación; conviene saber cómo se solicita ese permiso y cuánto tarda antes de comprometerte con un diseño.

Nuestra recomendación

Para la mayoría de los TFG de Pedagogía, Educación Social y Trabajo Social, CIPP es la opción más segura: se adapta a programas inacabados, permite un trabajo completo aunque no llegues a medir resultados, y su estructura de cuatro dimensiones te da directamente el esqueleto del capítulo de análisis.

Elige Kirkpatrick solo si tu objeto es explícitamente una acción formativa. Y reserva la teoría del cambio para cuando el programa sea complejo, tengas buen acceso a sus responsables y te interese más explicar el mecanismo que medir el efecto.

Sea cual sea el modelo, la recogida de datos va a ser mixta casi siempre. Antes de cerrar el diseño conviene revisar los tipos de diseño de estudio y, si vas a entrevistar, los criterios de rigor cualitativo que tendrás que declarar.

Errores que se repiten

• Nombrar el modelo y no usarlo. Citar CIPP en la metodología y luego organizar el análisis por preguntas del cuestionario es la contradicción más fácil de detectar.
• Confundir satisfacción con eficacia. Que a los participantes les guste una actividad no dice si aprendieron ni si cambió nada.
• Evaluar un programa propio sin declarar el conflicto. Si tú diseñaste e impartiste la intervención, dilo y explica qué medidas tomaste para reducir el sesgo.
• Inventar indicadores a posteriori. Los indicadores se definen antes de recoger, no después de mirar los datos.
• Olvidar la devolución. Una evaluación que no genera recomendaciones utilizables para la entidad está incompleta, y la entidad que te dejó entrar merece ese informe.

Del modelo al capítulo escrito

Elegir el modelo es rápido. Lo lento es escribir un capítulo de metodología que justifique la elección, y un capítulo de análisis organizado por las dimensiones del modelo en lugar de por el orden en que recogiste los datos.

Empieza tu TFG en Tesify y construye esos capítulos con tu programa y tus datos delante. La evaluación la haces tú; la estructura deja de ser el obstáculo.

Preguntas frecuentes

¿Puedo combinar dos modelos de evaluación en un TFG?

Sí, y es habitual usar la teoría del cambio para reconstruir la lógica del programa y CIPP para organizar la evaluación. Lo que debes evitar es citarlos ambos sin que ninguno estructure realmente el análisis.

¿Qué hago si el programa que evalúo no tiene objetivos escritos?

Es un hallazgo, no un impedimento. Reconstruyes los objetivos implícitos a partir de la documentación y de entrevistas, lo declaras como parte del procedimiento, y ya tienes una primera conclusión evaluativa.

¿Necesito un grupo de control?

No para una evaluación de programa. El grupo de control pertenece a los diseños experimentales de eficacia. Evaluar un programa no consiste en demostrar causalidad, sino en valorar su mérito y su funcionamiento con criterios explícitos.

¿Sirve solo con entrevistas?

Sí, si la pregunta lo permite y declaras los criterios de rigor. Una evaluación cualitativa de proceso basada en entrevistas a participantes y responsables es un TFG perfectamente defendible.

¿Puedo evaluar un programa que ya terminó hace años?

Puedes, con las limitaciones propias: dependerás de documentación y de memoria retrospectiva de los implicados, con el sesgo de recuerdo que eso implica. Decláralo y ajusta las conclusiones a lo que esa evidencia sostiene.

¿Cuántos participantes necesito?

Depende del modelo y del enfoque. En una evaluación cualitativa de proceso, un puñado de informantes bien elegidos puede bastar; en una medición de aprendizaje, necesitas cubrir el grupo formativo. El criterio de selección importa más que el número.

¿El modelo va en el marco teórico o en la metodología?

En la metodología, porque es una decisión de diseño. En el marco teórico va el objeto del programa —qué se sabe sobre el problema que aborda—, no la herramienta con la que lo evalúas.