EVALUACIÓN DE LAS INTERVENCIONES

APARTADO 2. EVALUACIÓN/VALORACIÓN: CUESTIONES DE DEFINICIÓN Y OBJETO

Valoración: desde un punto de vista intuitivo, la evaluación de las intervenciones se ocupa de realizar juicios de valor acerca de la calidad o efectividad de la intervención realizada.

Podemos esquematizar, Ciclo de intervención: Problema4Objetivos4Programa4Implantación4VALORACIÓN (sobre lo conseguido, con base en si se han alcanzado los objetivos previamente establecidos y, en consonancia, se ha resuelto o paliado el problema)4Toma de decisiones.

La valoración depende en muchos aspectos de la forma en que se haya concebido y planificado una intervención. Unos objetivos poco concretos, demasiado generales o difíciles de operacionalizar, ponen en serias dificultades un proceso de valoración. Importante la evaluación de la evaluabilidad: facilidad o dificultad inicial que plantea la evaluación de una intervención considerando la calidad con la que ha sido programada así como las potenciales barreras existentes.

La valoración como función principal tiene la del control que cualquier acción requiere y, con ella, el control del gasto efectuado (ej: en intervenciones públicas su misión es la de informar sobre el tipo de logros que se están obteniendo y hasta qué punto estos programas ayudan a eliminar o paliar determinados problemas individuales o sociales).

En segundo lugar, cumple la finalidad de averiguar qué efectos estamos produciendo sobre el colectivo de personas (o población objetivo) a las que va dirigido un programa, o incluso sobre la comunidad en general. Es un función de obligación ética que trata de controlar el efecto de sus intervenciones para tener la seguridad de que son valiosas y no perjudiciales.

En tercer lugar, existe un fin de conocimiento e investigación, nos ayuda a saber más y a trabajar major.

*Evaluación de intervenciones es la investigación sistemática de los diferentes procesos, efectos y resultados de un determinado programa, proyecto o intervención que permita establecer su valor o calidad con el fin de que las conclusiones sirvan a la toma de decisiones.

Importante destacar los cuatro componentes básicos:

1. Valorar implica una investigación sistemática y científica y que los procedimientos deben ajustarse a los requisitos de garantía y rigor metodológicos.
2. Valorar incluye un concepto de valor porque la esencia de esta disciplina es realizar juicios acerca de la pertinencia, mérito y adecuación de las intervenciones. Los criterios fundamentales pasan por: a) conseguir los objetivos prefijados o eficacia;b) lograr otros efectos positivos o efectividad; c) estimar que el coste de lo logrado es adecuado (en comparación con otras intervenciones) o eficiencia.
3. El resultado de la valoración debe producir un impacto o repercusiones en el ámbito aplicado o, en otros términos, ha de ser utilizado a la hora de tomar decisiones sobre lo que se evalúa.
4. Siempre existe un objeto de valoración sobre el que se emiten juicios sobre un objeto aparentemente único, cuando lo cierto es que se evalúan planes, proyectos, servicios, e intervenciones individuales y/o grupales y por tanto la heterogeneidad es enorme (y repercute notablemente en la metodología apropiada para cada caso).

APARTADO 3. QUÉ ES UNA INTERVENCIÓN

Si la valoración tiene una definición relativamente precisa, el objeto de evaluación es terminológica y semánticamente diverso. Así, se valoran políticas, planes, programas, servicios, proyectos, acciones, etc. las cuales pudieran bien caber dentro del término amplio de intervención puesto que todas estas rúbricas implican distintos niveles de complejidad, pero en todas ellas suponen una intervención  en la realidad social.

Dos diferenciaciones importantes:

• Diferenciación entre intervenciones psicológicas concretas, destinadas a individuos o grupos en el marco del ámbito clínico, educativo, organizacional, etc., y las intervenciones entendidas como programas o servicios enmarcados habitualmente en alguno de los grandes sistemas del bienestar social: educación, salud, servicios sociales, vivienda, empleo, etc. La delimitación de ambas estriba en que mientras las 2º tienen como función esencial el control, la evaluación de intervenciones clínicas o psicológicas en general, queda más bien en el reducto de las transacciones privadas, cuya función pasa a ser la garantía de profesionalidad y efectividad de los tratamientos.

• Diferenciación referida a los propios términos utilizados, diferencia –esencialmente- a través de un continuo de complejidad. Niveles de complejidad en las intervenciones objetos de valoración: Políticas, Planes, Programas, Proyectos, Servicios, Acciones.

*las políticas implican ideas fundamentales que guían los planes, programas, etc. Los planes serían la declaración de intenciones sobre acciones que habrán de implantarse a lo largo de un tiempo determinado…

La terminología en el ámbito de la evaluación o valoración de intervenciones es polisémica y podemos encontrar términos con más de una conceptualización. Dentro de nuestro contexto de intervención social, podemos distinguir 3 niveles de diseño en planificación:

• Planificación estratégica: planificaciones a tres o cinco años, de cobertura sectorial o integral. Recibe el nombre de plan y en ellos se trazan grandes metas y líneas de actuación de las cuales se desprenderán otros diseños de intervención más concretos (ej: un plan regional de infancia en una comunidad autónoma).
• Planificación táctica: este nivel se plasma en un documento denominadoprograma y, por tanto, estamos ante el objeto más habitual de las valoraciones, incluyendo objetivos + acciones secuencializadas para su consecución. Se caracteriza también por ser algo previamente especificado, e implantado de modo organizado. (ej: dentro de un plan regional de infancia el programa de acogimientos residenciales para menores desprotegidos).
• Planificación operativa: dentro de los programas de hace necesario desglosar acciones concretas que pueden ser acciones de servicios (mantener estructuras estables previstas en los niveles estratégicos; hogar de acogida de urgencia para menores en desprotección, que debe ser permanente porque siempre será necesario) o acciones de proyectos (actividades puntuales, de duración limitada y que persiguen unos objetivos muy concretos; campaña de prevención del consumo de drogas en los diversos hogares y residencias de protección).

Esto en el ámbito social, pero se podría aplicar a cualquier intervención concreta que se quiera valorar. De modo que la evaluación de intervenciones abarcaría, en un continuo de molecularidad-molaridad, desde la intervención de un caso concreto a las planificaciones estratégicas.

APARTADO 4. EL PROCESO DE EVALUACIÓN  DE INTERVENCIONES

Cualquier evaluación psicológica se lleva a cabo mediante un proceso de resolución de problemas y toma de decisiones. La valoración de programas no es una excepción. Definiremos a continuación la secuencia de tareas y proceso que arrancan desde la recepción del encargo o demanda, hasta la redacción del informe final:

• Planteamiento: lleva consigo un encargo por parte de alguna institución y, examinar si ese encargo es factible. Diferenciamos dos subetapas: Análisis de la demanda (cuál es la función; qué tipo de evaluación; cuál es el contexto político; cuál es el margen de tiempo para realizarla) y contrastación de la evaluabilidad de programa (qué es lo que se pretende evaluar).
• Selección de operaciones a observar: estimación de los resultados o efectos que ha producido una determinada intervención en unos sujetos específicos, observando ciertas operaciones en un conjunto de sujetos que han pasado por la intervención, esto implica el establecimiento de: qué (variable) va a verse modificado y, con qué (instrumento) se va a evaluar u observar. El valorador debe realizar esta fase con toda minuciosidad consultando con los implicados en el programa, con los documentos escritos sobre la intervención y con un conocimiento extenso del problema al que la evaluación responde y de las técnicas de evaluación, sus garantías de rigor y su uso. Esto conlleva 3 grandes áreas: la valoración de los objetivos conseguidos, la estimación de otros efectos logrados y la evaluación de la adecuación de la implementación. Conlleva dos momentos distintos: listado de variables, establecimiento de instrumentos y decisión de las fuentes de información.
• El diseño: componente metodológico de recogida de información sistemática sobre los efectos de un programa manteniendo unas condiciones de rigor. Esto implica: cuando (antes o después de la intervención), con qué medidas (que operaciones vamos a observar) y a qué sujetos (los que han pasado por la intervención, los que no han pasado) se va a evaluar. Diferenciaremos entre diseños no experimentales, diseños con grado parcial de experimentalidad y diseños experimentales. Uno de los focos de mayor preocupación en la evaluación de las intervenciones es el problema de validez.
• Recogida de información: independientemente del rol del evaluador en el proceso de evaluación y en esta etapa del proceso, esta recogida de datos está intrínsecamente relacionada con cada una de las técnicas o instrumentos de evaluación utilizados. Existen una serie de fases: establecimiento del manual de operaciones para la recogida de datos; características del estudio de campo; cómo va a procederse a la codificación de los datos. Hay que seguir una serie de procedimientos para que sea propiamente una investigación científica, es decir, replicable.
• El análisis estadístico: analizar los datos con las técnicas más apropiadas atendiendo a la propia naturaleza de las variables (diferentes escalas de medida).
• El informe: no difiere mucho del informe en evaluación psicológica, se trata de presentar claramente los procedimientos utilizados en la evaluación (para hacerlo replicable), describiendo los resultados obtenidos con arreglo los objetivos de la evaluación, en un lenguaje claro al grupo de implicados al que se dirige (hacerlo comprensible) y con las recomendaciones que permitan mejorar la intervención (hacerlo útil). Debe contener los siguientes apartados: Resumen, Descripción mínima de la Intervención, Método seguido (sujetos, variables, instrumentos, etc.), Resultados, Recomendaciones, Conclusiones. Los informes son utilizados para la toma de decisiones, y variará si se trata de una valoración formativa o sumativa.