Grupo de Evaluación Independiente

Esta nota metodológica describe los elementos clave de la metodología de evaluación para países del GEI (CAE por sus siglas en inglés).

LA CAE evalúa los resultados de los programas de asistencia del Banco, no el progreso en el desarrollo de los países clientes.

La evaluación de los programas de asistencia debe centrarse en cuán bien se cumplieron los objetivos específicos, los cuales suelen corresponder a un subgrupo de los objetivos de desarrollo del cliente. Si el programa de asistencia es de gran envergadura en relación con la gestión de desarrollo total del cliente, los resultados del programa serán similares al avance del desarrollo general del cliente. Sin embargo, la mayor parte de los programas de asistencia aplicados por el Banco proporcionan sólo una fracción de los recursos totales que entregan los donantes, las partes interesadas y el gobierno para el desarrollo de un cliente. En las CAE, el GEI evalúa sólo el resultado del programa del Banco y no los resultados del desarrollo general del cliente, si bien los últimos son muy pertinentes a la hora de juzgar los resultados del programa.

La experiencia adquirida en las CAE confirma que en ocasiones los resultados del programa difieren significativamente del avance del desarrollo general del cliente. Las CAE han identificado programas de asistencia que tuvieron:

Las evaluaciones de los resultados de los programas de asistencia y aquellas del desempeño del Banco no son iguales

Del mismo modo, los resultados poco satisfactorios de un programa de asistencia no siempre significan que el desempeño del Banco fue también poco satisfactorio y viceversa, lo que se hace evidente si consideramos que la contribución que hace el Banco a los resultados de su programa de asistencia es sólo parte de la historia. Los resultados del programa de asistencia se determinan según el efecto conjunto de cuatro agentes: (a) el cliente; (b) el Banco; (c) los asociaciones y otras partes interesadas y (d) los factores externos (por ejemplo, sucesos de la naturaleza, crisis económicas internacionales, etc.). En las circunstancias correctas, la contribución negativa de cualquiera de los agentes podría superar los aportes positivos de los otros tres y producir resultados poco satisfactorios.

El GEI mide el desempeño del Banco principalmente sobre la base de las acciones contributivas controladas de manera directa por la institución. Por lo general, los juicios que tienen relación con el desempeño del Banco consideran la pertinencia y ejecución de la estrategia, la creación y supervisión de las intervenciones de financiamiento del Banco, el campo de aplicación, la calidad y seguimiento del trabajo de diagnóstico y otras actividades analítiicas y de asesoría (AAA), la coherencia del financiamiento del Banco con las actividades no relacionadas con el financiamiento y con las políticas de protección y las actividades de asociación del Banco.

Al evaluar los resultados (impacto esperado en el desarrollo) de un programa de asistencia, el GEI mide hasta qué punto los principales objetivos estratégicos fueron pertinentes y se cumplieron sin ninguna deficiencia. Por lo general, los programas expresan sus metas en términos de objetivos de orden superior, tales como la superación de la pobreza. La estrategia de asistencia al país (EAP) puede establecer además metas intermedias, tales como mejor focalización de los servicios sociales o fomento del desarrollo rural integrado, y especificar de qué modo se espera que éstas contribuyan a lograr el objetivo de orden superior. De este modo, la tarea del GEI es confirmar que los objetivos intermedios produzcan beneficios netos satisfactorios y que la cadena de resultados que se especifica en la EAP sea válida. En caso de no especificarse por completo los vínculos causales en la EAP, es tarea del evaluador reconstruir esta cadena causal a partir de los datos disponibles y evaluar la pertinencia, la eficacia y los resultados respecto de los objetivos intermedios y de orden superior.

Para cada uno de los objetivos principales, el CAE evalúa la relevancia del objetivo, la relevancia de la estrategia del Banco en la obtención del objetivo, incluyendo el balance entre los instrumentos crediticios y no crediticios, la eficacia con la que la estrategia se implementó y los resultados conseguidos. Esto se realiza en dos fases. La primera fase es una evaluación desde arriba sobre si el programa del Banco ha alcanzado un objetivo particular del Banco u objetivo planeado y si ha tenido un impacto sustentivo en el desarrollo del país. La segunda fase es una revisión desde abajo de los productos y servicios del Banco (préstamos, servicios analíticos y de asesoría, y coordinación de la ayuda) utilizados para conseguir el objetivo. Juntos, estas dos fases prueban la consistencia de los resultados de los productos y servicios, así como las dimensiones de su impacto en el desarrollo. Seguidamente, se realiza una recomendación acerca de la contribución relativa de los resultados conseguidos por el Banco, otros donantes, el Gobierno y otros factores exógenos.

Los evaluadores examinan también en qué medida el cliente asume las prioridades de desarrollo internacional, tales como los objetivos de desarrollo del milenio, y las prioridades de promoción institucional del Banco, tales como los resguardos. En el mejor de los casos, cualquier diferencia que emerja al tratar estos temas será identificada y resuelta por la EAP, lo que permite al evaluador centrar su atención en descubrir si las compensaciones adoptadas fueron las apropiadas. Sin embargo, en otras instancias la estrategia puede pasar por alto ciertos conflictos o evitar tratar limitaciones fundamentales del cliente en términos del desarrollo, en cuyo caso las consecuencias pueden incluir la disminución de la pertinencia del programa, la pérdida de la autoría por parte del cliente y/o efectos secundarios inoportunos, tales como violaciones de los resguardos, todos los cuales deben considerarse a la hora de juzgar los resultados del programa.

Escala de clasificaciones

El GEI utiliza seis categorías de clasificación para los resultados, las cuales varían entre muy satisfactorios y muy poco satisfactorios:

Muy satisfactorios:	El programa de asistencia logró al menos un avance aceptable hacia todos los principales objetivos pertinentes y tuvo un impacto óptimo en términos del desarrollo en uno o más de ellos. No se identificaron deficiencias importantes.
Satisfactorios:	El programa de asistencia logró un avance aceptable hacia todos los principales objetivos pertinentes. No se identificaron logros en términos de prácticas recomendadas ni deficiencias importantes.
Relativamente satisfactorios:	El programa de asistencia logró un avance aceptable hacia la mayoría de sus principales objetivos pertinentes. No se identificaron deficiencias importantes.
Relativamente poco satisfactorios:	El programa de asistencia no logró un avance aceptable hacia la mayoría de sus principales objetivos pertinentes o logró un avance aceptable hacia todos ellos, pero (a) no consideró de manera apropiada una limitación clave en términos del desarrollo o (b) generó una deficiencia importante, como por ejemplo una violación de los resguardos.
Poco satisfactorios:	El programa de asistencia no logró un avance aceptable hacia la mayoría de sus principales objetivos pertinentes y (a) no consideró de manera apropiada una limitación clave en términos de desarrollo o (b) generó una deficiencia importante, como por ejemplo una violación de los resguardos.
Muy poco satisfactorios:	El programa de asistencia no logró un avance aceptable hacia ninguno de sus principales objetivos pertinentes ni consideró de manera apropiada una limitación clave en términos de desarrollo, y generó además al menos una deficiencia importante, como por ejemplo una violación de los resguardos.

El impacto en el desarrollo institucional (IDI) puede clasificarse como: alto, sustancial, moderado o insignificante. El IDI mide hasta qué punto el programa fortalece la capacidad que tiene el cliente de utilizar sus recursos humanos, financieros y naturales de manera más eficaz, equitativa y sostenible. Los siguientes son algunos ejemplos de áreas que se consideran al juzgar el impacto del programa en términos del desarrollo:

La sostenibilidad puede clasificarse como: muy probable , probable, poco probable, muy poco probable o, si la información disponible es insuficiente, como no evaluable. La sostenibilidad mide la capacidad que tienen los beneficios en materia de desarrollo del programa de asistencia al país para adaptarse a los riesgos en el transcurso del tiempo, y considera para ello los siguientes ocho factores: