Kitabı oku: «Guía práctica para la evaluación de impacto»
GUÍA PRÁCTICA PARA LA EVALUACIÓN DE IMPACTO
GUÍA PRÁCTICA PARA LA EVALUACIÓN DE IMPACTO
Raquel Bernal
Ximena Peña
Bernal Salazar, Raquel
Guía práctica para la evaluación de impacto / Raquel Bernal, Ximena Peña. -Bogotá: Universidad de los Andes, Facultad de Economía, Centro de Estudios sobre Desarrollo Económico; Ediciones Uniandes, 2011.
ISBN edición impresa 978-958-695-599-7
1. Investigaciones evaluativas (Programas de acción social) 2. Investigación social 3. Evaluación de proyectos 4. Acción social -Evaluación I. Peña-Parga, Ximena II. Universidad de los Andes (Colombia). Facultad de Economía. CEDE III. Tít.
| CDD. 361.25 | SBUA |
Primera edición: abril de 2011
Primera reimpresión: agosto de 2011
Segunda edición: marzo de 2012
© Raquel Bernal y Ximena Peña
© Universidad de los Andes
Facultad de Economía, Centro de Estudios sobre Desarrollo Económico (CEDE)
Ediciones Uniandes
Carrera 1 núm. 19-27, edificio AU 6
Bogotá, D. C., Colombia
Teléfonos: 339 49 49 – 339 49 99, ext. 2133
infeduni@uniandes.edu.co http://ediciones.uniandes.edu.co
ISBN edición impresa: 978-958-695-599-7
ISBN edición digital 978-956-14-2550-7
Corrección de pruebas: Santiago Melo
Diseño de carátula y armada electrónica: Proceditor Fotografía de carátula: Zandra Hurtado
Impresión: Nomos Impresores
Diagonal 18 bis núm. 41-14, Bogotá, D. C.
Teléfono: 208 6500
Diagramación digital: ebooks Patagonia
info@ebookspatagonia.com
www.ebookspatagonia.com
Todos los derechos reservados. Esta publicación no puede ser reproducida ni en su todo ni en sus partes, ni registrada en o transmitida por un sistema de recuperación de información, en ninguna forma ni por ningún medio sea mecánico, fotoquímico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin el permiso previo por escrito de la editorial.
CONTENIDO
1. INTRODUCCIÓN
1.1. El impacto de las evaluaciones de impacto
1.2. Los pasos previos a la evaluación
1.3. Evaluación de proyectos vs. evaluación de impacto
1.4. Estructura del libro
Agradecimientos
Bibliografía
PARTE I. EL PROBLEMA DE EVALUACIÓN DE IMPACTO
2. DEFINICIÓN DE PARÁMETROS DE IMPACTO DEL TRATAMIENTO
Bibliografía
3. SESGO DE SELECCIÓN
Bibliografía
PARTE II. EXPERIMENTOS SOCIALES CONTROLADOS Y EXPERIMENTOS NATURALES
4. EXPERIMENTOS ALEATORIOS (SOCIALES)
4.1. Intervenciones a nivel individual vs. conglomerados
4.2. El modelo de diferencias
4.3. El estimador de diferencias con regresores adicionales
4.4. El estimador de diferencias con efectos heterogéneos
4.5. El estimador de diferencias en el tiempo
4.6. Problemas potenciales de la aleatorización
4.7. Verificación de la aleatorización
4.8. Desventajas de los métodos experimentales
4.9. Implementación del modelo de diferencias en Stata
4.10. Conclusiones y ejemplos
Bibliografía
5. EXPERIMENTOS NATURALES O CUASI EXPERIMENTOS
5.1. El modelo de diferencias-en-diferencias
5.2. El estimador de diferencias-en-diferencias con regresores adicionales
5.3. El estimador de diferencias-en-diferencias para múltiples períodos
5.4. Diferencias-en-diferencias utilizando datos de corte transversal repetidos
5.5. Implementación del modelo de diferencias-en-diferencias en Stata
5.6. Conclusiones y ejemplos
Bibliografía
PARTE III. ESTUDIOS NO EXPERIMENTALES
6. EL MÉTODO DE EMPAREJAMIENTO
6.1. Probabilidad de participación
6.2. Soporte común
6.3. Selección de un algoritmo de emparejamiento
6.4. Calidad del emparejamiento
6.5. Errores estándar
6.6. Pruebas de falsificación
6.7. Implementación del método de emparejamiento en Stata
6.8. Conclusiones y ejemplos
Bibliografía
7. MÉTODO DE VARIABLES INSTRUMENTALES
7.1. Definición de variable instrumental
7.2. Estimación por el método de variables instrumentales
7.3. Elección de los instrumentos
7.4. Evaluación de la variable instrumental
7.5. Problemas potenciales del estimador de variables instrumentales
7.6. Implementación empírica del estimador de variables instrumentales
7.7. Conclusiones y ejemplos
Bibliografía
8. MÉTODO DE REGRESIÓN DISCONTINUA (RD)
8.1. El diseño de regresión discontinua nítida
8.2. El diseño de regresión discontinua borrosa (RDB)
8.3. Implementación empírica del estimador de RD
8.4. Implementación del diseño RD en Stata
8.5. Conclusiones y ejemplos
Bibliografía
9. FUNCIONES DE CONTROL
9.1. Estimación del modelo
9.2. Implementación del modelo de funciones de control en Stata
9.3. Conclusiones y ejemplos
Bibliografía
10. ESTIMACIÓN DE MODELOS ESTRUCTURALES
10.1. El modelo estructural y la forma reducida del modelo
10.2. Métodos de estimación
10.2.1. Método de máxima verosimilitud
10.2.2. Método de momentos simulado
10.3. Modelos estructurales dinámicos
10.4. Conclusiones y ejemplos
Bibliografía
11. DURACIÓN DE LA EXPOSICIÓN AL TRATAMIENTO
11.1. Efectos de la duración de exposición al tratamiento con respecto al grupo de no participantes
11.2. Análisis de intensidad: comparando individuos tratados según la duración de exposición al programa
11.3. Conclusiones y ejemplos
Bibliografía
12. CONCLUSIONES
¿Qué técnica usar y cuándo?
Evaluadores y ejecutores
¿Evaluar o no evaluar?
Bibliografía
13. ANEXOS
Anexo 1: Estimación de mínimos cuadrados ordinarios
Anexo 2: El estimador de MCO es insesgado
Anexo 3: Estimador del impacto del programa por MCO en el modelo de diferencias
Anexo 4: Estimación de variables binarias: probabilidad lineal, logit y probit
Anexo 5: Traducción y explicación de una salida de Stata
1
INTRODUCCIÓN
El uso de métodos cuantitativos para medir el impacto de programas sociales ha cobrado un gran interés recientemente. En los últimos años han surgido organizaciones dedicadas a la elaboración y el financiamiento de evaluaciones de impacto. Las entidades multilaterales de crédito y las agencias de cooperación han enfatizado, cada vez con mayor fuerza, la necesidad de evaluar concienzudamente los proyectos de desarrollo. Muchos países han creado oficinas independientes de evaluación y monitoreo de programas públicos. Las evaluaciones de impacto han comenzado a desempeñar un papel preponderante en el diseño de políticas públicas y, por ende, en el control político y la controversia democrática.
Hace apenas unos años la evaluación de impacto era un tema casi desconocido en la gestión social. En el mejor de los casos, se percibía como una curiosidad de especialistas; en el peor, como un desperdicio de recursos y un obstáculo tecnocrático a las iniciativas sociales. El impacto de la mayoría de las políticas públicas era desconocido. La pregunta sobre el impacto no se planteaba y menos aún se respondía. Las buenas intenciones y la inercia operativa desplazaban cualquier intento de escrutinio cuantitativo.
White (2009) describe el caso del Programa Integrado de Nutrición de Bangladesh. Este programa identificaba, mediante mediciones en campo, a los niños desnutridos en aldeas rurales y los asignaba a un tratamiento que incluía alimentación suplementaria a los menores y educación nutricional a sus madres. Por muchos años el programa fue considerado como un gran éxito. Las cifras oficiales mostraban una aparente mejoría en los indicadores antropométricos de los niños. El Banco Mundial decidió, con base en esta evidencia incompleta, aumentar los recursos destinados al programa. Ni los financiadores ni los ejecutores parecían dudar de la bondad del programa.
Pero las primeras evaluaciones de impacto, realizadas por el Grupo Independiente de Evaluación del mismo Banco Mundial y por la ONG inglesa Save the Children, mostraron que la mejoría de los indicadores de los beneficiarios era similar (o inferior en algunos casos) a la de otros niños con características comparables que no hacían parte del programa. Las pesquisas que siguieron a la evaluación encontraron que la educación nutricional dada a las madres era irrelevante, pues ellas ni iban al mercado ni decidían sobre la elaboración de los alimentos. En suma, la evaluación señaló que las percepciones de los administradores del programa y de las entidades financiadores eran erradas, y sugirió algunos correctivos al programa.
El caso del programa colombiano Hogares Comunitarios de Bienestar también es ilustrativo. Este programa, creado en 1986, ofrece servicios de cuidado infantil y nutrición a niños de familias de escasos recursos. El servicio es prestado en sus viviendas por madres pertenecientes a las comunidades beneficiadas y la alimentación es provista por el Estado. Durante sus primeros quince años de operación, el programa nunca fue evaluado. La evaluación se consideraba innecesaria: el programa era visto mayoritariamente como costo-efectivo, es decir, de calidad aceptable y costo muy bajo (Perotti, 2005).
Las primeras evaluaciones permitieron conocer el impacto del programa y ayudaron a despejar algunos malentendidos (Attanasio y Vera-Hernández, 2004, y Bernal et ál., 2009). Las evaluaciones mostraron que el programa tiene un impacto sustancial sobre los niños más vulnerables, especialmente los que llegan en condiciones críticas de nutrición, pero no sobre el resto de los beneficiarios. Además, el impacto parece circunscrito a los niños entre 2 y 4 años. Para los niños menores, el impacto es incierto; para los mayores, adverso. En suma, las evaluaciones permitieron cuantificar el impacto y conocer quiénes se benefician y quiénes no de la existencia del programa, a la vez que facilitaron el diagnóstico de correctivos clave en el programa.
1.1. El impacto de las evaluaciones de impacto
Las evaluaciones de impacto ayudan a revelar la realidad de muchas políticas públicas y pueden afectar positivamente las decisiones por dos vías diferentes. La primera vía es la vía directa. En un esquema de presupuesto por resultados, por ejemplo, las evaluaciones inciden sobre la asignación de recursos. En términos generales, hacen que se asignen más recursos a los buenos programas y que se eliminen o corrijan los malos proyectos. De esta manera, las evaluaciones pueden aumentar la eficiencia del Estado o de la cooperación internacional.
La segunda vía es indirecta. La asignación de recursos no obedece siempre a criterios técnicos. Como han enfatizado repetidamente Buchanan y Tullock (1962), entre otros, el choque de intereses es inevitable. Muchos programas, buenos y malos, tienen defensores interesados. Las evaluaciones son un argumento insoslayable en un debate complejo, dominado frecuentemente por los intereses políticos.1 Las evaluaciones contribuyen a la fiscalización mediática y aumentan la calidad de la controversia democrática. Aunque no retroalimenten directamente la toma de decisiones, pueden incidir sobre la eficiencia del gasto por medio de su impacto sobre la calidad del debate público.
En suma, las evaluaciones corrigen muchos de los “juicios impresionistas” de los administradores públicos y pueden ayudar a contrarrestar algunos intereses políticos. Sin evaluaciones los juicios apresurados de la burocracia o las opiniones interesadas de los políticos prevalecen más fácilmente. Con evaluaciones ambos enfrentan mayor resistencia; un contrapeso técnico difícil de ignorar.
1.2. Los pasos previos a la evaluación
Como se discutirá en este libro, la evaluación de impacto debe responder un interrogante complejo: ¿qué habría pasado con los beneficiarios en ausencia del programa en cuestión? Esta pregunta consume buena parte del tiempo y el esfuerzo del evaluador. Pero no es la única pregunta relevante. El evaluador debe realizar dos tareas preliminares e indispensables: un rigoroso análisis factual y un análisis del contexto del programa.
El análisis factual comienza por una estimación del número de beneficiarios y la cobertura del programa en cuestión. En algunos casos, es importante contrastar los registros oficiales con información de encuestas que incluyen preguntas directas sobre la participación en el programa que se va a evaluar. En el caso de Colombia, por ejemplo, las cifras oficiales sobre el número de afiliados al Régimen Subsidiado de Salud o de inscritos en los cursos de capacitación del Servicio Nacional de Aprendizaje (SENA) no coinciden usualmente con los datos de las encuestas. Los registros oficiales contienen duplicaciones o no son actualizados con la frecuencia requerida. Las encuestas también pueden contener errores.
En general, el evaluador debe tener una idea aproximada del número de beneficiarios. Si hay discrepancias en las fuentes información, debe discutir las posibles explicaciones. Además, debe conocer los costos totales del programa y la distribución regional de los beneficiarios y los recursos. Los reportes de evaluación deberían ser profusos en información fáctica.
El análisis factual debe incluir también un análisis de incidencia, orientado a responder una pregunta específica: ¿quién se beneficia del programa? ¿Cómo se distribuyen los beneficiarios por categorías socioeconómicas? Usualmente, este análisis se realiza con base en encuestas representativas de la totalidad de la población: encuestas de hogares, de calidad de vida o las encuestas de demografía y salud (EDS) que existen para muchos países en desarrollo. Las EDS no incluyen preguntas directas sobre los ingresos del hogar. Sólo incluyen algunas preguntas sobre las características de las viviendas y la posesión de bienes durables. Filmer y Pritchett (2001) han propuesto la construcción de índices de nivel socioeconómico con base en estas preguntas, los cuales permiten llevar a cabo un análisis de incidencia aproximado.2
El análisis de incidencia permite, entre otras cosas, comparar la focalización real con la focalización prevista y con la correspondiente a otros programas. Lasso (2004) evalúa de manera exhaustiva la incidencia del gasto público social para el caso de Colombia. Algunos programas, como el Régimen Subsidiado de Salud o los Hogares Comunitarios del Instituto Colombiano de Bienestar Familiar (ICBF), benefician mayoritariamente a los hogares más pobres; otros, como el Subsidio Familiar, otorgado por las cajas de compensación, benefician a las clases medias; mientras que otros, como los subsidios pensionales, están concentrados en los individuos más ricos.
Los análisis de incidencia no dicen nada sobre el impacto. Un programa puede llegarles a los más pobres sin tener efectos claros, sin afectar la calidad de vida de los beneficiarios. A veces se supone con ligereza que los buenos programas son los programas mejor focalizados. Pero puede incluso ocurrir que una peor focalización esté asociada con un mayor impacto. La gráfica 1.1 muestra varios estimativos de la probabilidad de que un hogar reaccione ante un choque económico adverso obligando a que sus hijos interrumpan sus estudios. La probabilidad es mostrada para cada uno de los quintiles de nivel socioeconómico (Gaviria, 2002). Según la gráfica, la probabilidad de retirar a los hijos del colegio ante un choque económico adverso es mayor en el segundo quintil que en el primero. Esto, a su vez, implicaría que un subsidio en efectivo condicionado a la asistencia escolar tendría un impacto mayor si se entregase, no a las familias del primer quintil, sino a las familias del segundo quintil. En Colombia, el programa Familias en Acción, creado en un momento de desempleo creciente y caídas drásticas en los ingresos, buscaba prevenir la deserción escolar y pretendía al mismo tiempo llegarles a los más pobres de los pobres. Ambos objetivos pueden no ser enteramente compatibles. Estos resultados implican que la mejor focalización no siempre maximiza el impacto.
GRÁFICA 1.1. Probabilidad de deserción escolar ante un choque económico negativo
En términos más generales, la buena focalización no debe siempre considerase como un resultado positivo. Y a la inversa, la mala focalización no debe percibirse, en todos los casos, como un resultado negativo. Muchos programas autofocalizados llegan mayoritariamente a los más pobres de los pobres, pues los demás individuos los rechazan por ineficaces o poco efectivos. Otros programas se concentran en los estratos intermedios porque, por diseño, fueron concebidos como mecanismos de redistribución entre los de arriba y los del medio. Los subsidios a las universidades públicas no están bien focalizados, no llegan a los más pobres, pues fueron diseñados con otro propósito. La mala focalización no es en este caso un mal resultado, es una característica inherente, definitoria del programa en cuestión.
El análisis factual debe estar acompañado de un rigoroso análisis contextual. El evaluador debe conocer en detalle el marco institucional, las normas y leyes que sustentan el programa en cuestión, y debe también hacer un esfuerzo por entender la historia del programa, el nivel de compromiso de los beneficiarios, las percepciones ciudadanas, etc. Un buen entendimiento del contexto es muy útil para interpretar los resultados y puede ser útil incluso para encontrar fuentes de variación exógena que, en ausencia de experimentos aleatorios, ayudan a definir los grupos de comparación (Ravallion, 1999).3
Si bien este texto se enfoca en el estudio de técnicas cuantitativas, la evaluación cualitativa es un complemento muy importante. Así la evaluación no contemple formalmente la recolección de información cualitativa, el evaluador debe informalmente programar reuniones con grupos de administradores, beneficiarios y encuestadores. La información cualitativa sirve, entre otras cosas, para anticipar la heterogeneidad, para intuir algunas de las características y atributos de los individuos que afectan o confunden los impactos y, en general, para interpretar mejor los resultados de la evaluación de impacto cuantitativa. En el programa de Hogares Comunitarios ya mencionado, las visitas de campo pusieron de manifiesto las grandes diferencias en conocimiento, actitud y compromiso de las madres comunitarias, esto es, las visitas de campo alertaron sobre la gran heterogeneidad en el tratamiento, lo que, a su vez, influyó sobre el análisis cuantitativo (Bernal et ál., 2009).
Finalmente, el evaluador debería identificar los principales mecanismos o canales de transmisión a través de los cuales el programa podría incidir sobre los resultados. White (2009) presenta un ejemplo ilustrativo de un análisis causal para el Programa Integrado de Nutrición de Bangladesh, que, como ya se dijo, entrega alimentos y asesoría nutricional a las madres de niños desnutridos. La figura 1.1 resume los principales elementos del análisis. El diagrama muestra que la magnitud del impacto dependería de tres factores: 1) la identificación correcta de la población objetivo, 2) la relevancia del tratamiento (la cantidad y calidad de los alimentos y la pertinencia de la asesoría) y 3) la suficiencia de los cambios de comportamiento y de los alimentos entregados. El impacto depende de la simultaneidad de estos tres factores. Si alguno no funciona, el impacto sería nulo o despreciable.
FIGURA 1.1. Mapa causal para un proyecto de nutrición
Los mapas causales con frecuencia son incompletos, excluyen los efectos no lineales, los dinámicos y los no esperados, pero son fundamentales. Ordenan el trabajo empírico y orientan la elaboración de los cuestionarios. No hay análisis empírico sin al menos alguna teoría implícita que guíe la recolección y la interpretación de los resultados. Por transparencia conviene no sólo elaborar el mapa causal, sino también darlo a conocer a los interesados en los resultados de la evaluación. Finalmente, al identificar y entender los canales de transmisión del programa, es también más fácil definir variaciones o correctivos de la política que permitan amplificar los efectos positivos o disminuir los no deseados.
1.3. Evaluación de proyectos vs. evaluación de impacto
La evaluación de proyectos (el análisis de rentabilidad de programas de infraestructura) difiere sustancialmente de la evaluación de impacto (el análisis contrafactual de intervenciones sociales). La primera está basada en un análisis ex ante detallado de los beneficios y los costos esperados de un proyecto. En el caso de la construcción de una nueva vía, por ejemplo, es necesario estimar el número esperado de usuarios y los beneficios correspondientes: los ahorros de tiempo y dinero para un horizonte temporal previamente definido. Los beneficios deben compararse con los costos estimados, para así calcular la tasa de retorno del proyecto.
La evaluación de impacto, o ex post, está basada en un análisis contrafactual, en la comparación entre los resultados efectivamente observados en presencia del programa y los que habrían sido observados en su ausencia. Esta comparación permite, bajo algunos supuestos adicionales, calcular la tasa de retorno del programa o proyecto evaluado. En la evaluación de proyectos, la clave está en el cálculo correcto de los beneficios y los costos esperados; en la evaluación de impacto, en la estimación adecuada del contrafactual,4 para establecer una relación causal entre la política y los impactos generados. Ambos tipos de análisis son complementarios y ambos brindan una importante información para la toma de decisiones.
El análisis de proyectos no permite obviamente tener en cuenta los beneficios o efectos no esperados. El análisis de impacto, en la mayoría de los casos, no permite medir efectos de largo plazo o efectos dinámicos. Hoy en día casi la totalidad de los proyectos de infraestructura cuentan con un análisis exhaustivo de costo-beneficio. De la misma manera, los programas sociales deberían contemplar, desde su mismo diseño, un análisis exhaustivo del impacto. El impacto estimado del programa es un insumo indispensable para la medición de los beneficios del programa que se requieren para el análisis costo-beneficio. Este tipo de análisis, como se dijo previamente, contribuye a aumentar la calidad del gasto y la eficiencia de las iniciativas sociales.5 Sin embargo, para el caso de las políticas sociales, es difícil realizar un análisis costo-beneficio robusto. Con frecuencia, los resultados son muy sensibles a la manera como se valoran los beneficios de las intervenciones y a los supuestos que se hacen.
1.4. Estructura del libro
El libro logra un balance entre la diversidad de temas cubiertos y la profundidad con la que se describe cada uno. Este libro hace una presentación clara, detallada y exhaustiva de las principales metodologías de evaluación de impacto en un lenguaje fácil. La presentación es rigorosa pero no se centra en los aspectos técnicos. En cambio, se enfatiza la intuición detrás de los métodos. En cada capítulo se combina una explicación rigorosa de los temas con la presentación de diversos ejemplos y casos de la vida real. Las diferentes metodologías se ponen en perspectiva, enfatizando las ventajas y desventajas de las técnicas de manera comparativa, así como los requerimientos técnicos y de datos de cada una, para orientar al evaluador en la escogencia de la metodología más apropiada. El libro pretende ayudar a los evaluadores que operan bajo restricciones; no sólo se discute cuál es el ideal evaluativo, sino que también se proveen consejos prácticos acerca de qué metodologías se pueden aplicar cuando los datos no son ideales, que es un hecho la mayoría de las veces.
El libro supone alguna familiaridad con la estadística aplicada y con algunos conocimientos básicos de econometría. Sin embargo, no es un libro para especialistas. Todo lo contrario: es un libro para practicantes, un manual para evaluadores. El libro también puede ser usado como material docente en cursos avanzados de pregrado o de maestría. El material es suficiente para un curso de un semestre, pero puede usarse en cursos más cortos.
Todas las metodologías descritas se ilustran con ejemplos y aplicaciones reales. A lo largo de los capítulos se desarrolla un ejemplo que ilustra las diferentes metodologías para el programa de nutrición infantil Canasta. Al final de cada capítulo se incluyen algunos ejemplos del uso de las metodologías tomados de la literatura nacional e internacional.
El libro contiene dos innovaciones pedagógicas. Incluye, en primer lugar, una serie de ejercicios prácticos, programados en Stata, que ilustran con ejemplos comparables la forma de abordar el análisis cuantitativo para cada una de las metodologías expuestas. Siguiendo al paquete estadístico, a lo largo del libro presentamos los números según la siguiente convención: el punto separa los decimales y la coma es el separador de miles. En segundo lugar, el libro incluye un conjunto de presentaciones en Power Point que resumen esquemáticamente los principales puntos de las metodologías tratadas. Los ejercicios y las presentaciones deberían ser de gran utilidad para docentes y evaluadores.
El libro está dividido en tres partes. La primera parte hace una presentación formal del problema de la evaluación y una descripción teórica y práctica del llamado sesgo de selección. El problema de la evaluación consiste en la medición de los efectos de un programa sobre un conjunto de variables de resultado previamente definidas. Esta medición está basada en el llamado análisis contrafactual. Las diversas metodologías abordan este análisis de manera diferente.
La segunda parte del libro describe las metodologías experimentales y cuasi experimentales de evaluación. En la situación ideal, los beneficiarios del programa son escogidos aleatoriamente de un grupo de beneficiarios potenciales. En una situación similar, la asignación aleatoria no se hace de manera deliberada sino que obedece a una circunstancia fortuita, independiente del programa (por ejemplo, un accidente geográfico define quiénes son los beneficiarios y quiénes no, dentro de una población homogénea). En ambos casos, en los experimentos aleatorios y en los experimentos naturales, el sesgo de selección es (al menos en teoría) inexistente y la medición del impacto resulta de una comparación entre los beneficiarios y los no beneficiarios.
La tercera parte del libro presenta las principales metodologías no experimentales: la de emparejamiento, la de variables instrumentales, la de regresiones discontinuas, la metodología de funciones de control, la estimación de modelos estructurales y, finalmente, el análisis de intensidad. Cada metodología tiene una forma distinta de lidiar con el sesgo de selección. La escogencia de la metodología depende, en última instancia, de las características del programa bajo análisis y la disponibilidad de datos. Las conclusiones describen brevemente las variables que se deben tener en cuenta a la hora de escoger una metodología de evaluación.
Existe un reconocimiento público y privado de la relevancia de la evaluación de impacto en el diseño de políticas públicas en países en desarrollo. De hecho, muchos países han adoptado políticas de evaluación de impacto de programas nuevos o establecidos. Para lograr el mejor aprovechamiento de los resultados evaluativos, es necesario mejorar la capacidad de evaluación en el sector público mediante el diseño y difusión de metodologías e instrumentos de evaluación, y la capacitación de los funcionarios públicos. Es incluso deseable mejorar la comprensión de las evaluaciones de impacto por parte de los políticos y de la ciudadanía, para que mejore la rendición de cuentas. La difusión del conocimiento de cómo realizar evaluaciones y de cómo interpretar los resultados, sin embargo, no ha avanzado al ritmo requerido. Esto se debe, en gran parte, a que esta literatura, por ser relativamente nueva, no ha sido incorporada aún en los libros de texto, y menos aún traducida al español. Por tanto, el conocimiento de las técnicas de evaluación de impacto se reduce a un limitado grupo de técnicos. Este libro tiene por objetivo llenar este vacío.
No existe, ni internacional ni nacionalmente, un libro de texto en español que describa y compare las diferentes metodologías de punta para la evaluación de impacto. Se encuentran disponibles, sin embargo, algunos resúmenes de literatura6 (survey papers) en inglés que presentan el material para un público experto. Este libro, al presentar las metodologías de manera básica pero rigorosa, puede ser utilizado tanto por técnicos que aplican las metodologías como por diseñadores de política o políticos que requieren interpretar los resultados de evaluaciones existentes. Sería deseable que también fuera usado por políticos interesados en impulsar las mejores políticas y los ciudadanos que quieren realizar una rendición de cuentas mejor informada.
Agradecimientos
Queremos agradecer a la Facultad de Economía de la Universidad de los Andes por la financiación que hizo posible este proyecto. Agradecemos especialmente a Alejandro Gaviria por su apoyo e insumos en diferentes etapas de desarrollo del proyecto. La valiosa ayuda de Rodrigo Azuero en la elaboración de las bases de datos y los programas de Stata que acompañan este libro, la de Lorena Caro en el diseño de las presentaciones de clase que complementan este texto, y la de Liliana Olarte con el proceso de edición de los diferentes capítulos, fueron fundamentales.
Los comentarios de personas que leyeron porciones del libro en distintos momentos de avance enriquecieron el texto, y les estamos muy agradecidas. Queremos agradecer especialmente a Marcos Vera por su juiciosa y comprehensiva lectura del texto entero; sus sugerencias mejoraron sustancialmente el texto. Agradecemos también a Adriana Camacho por sus comentarios al capítulo de “Regresión discontinua” y a nuestros estudiantes en las clases de evaluación por habernos mostrado la relevancia de este proyecto.
Agradecemos a Francisco Gallego por tener la iniciativa de publicar esta segunda edición del libro en Chile, y a él y a Claudia Martínez por sus valiosas sugerencias acerca de los ejemplos.
Finalmente, a Mauricio, Helena, Juan Pablo y Juan Miguel por el aliento diario.
Bibliografía
Attanasio, O. y M. Vera-Hernández, 2004, “Medium and Long Run Effects of Nutrition and Child Care: Evaluation of a Community Nursery Programme in Rural Colombia”, The Institute for Fiscal Studies, Working Paper 04/06.
Bernal, R., C. Fernández, C. E. Flórez, A. Gaviria, P. R. Ocampo, B. Samper y F. Sánchez, 2009, “Evaluación de impacto del Programa Hogares Comunitarios de Bienestar del ICBF”, Documento CEDE, No. 16, julio.
Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-640.
Buchanan, J. M. y G. Tullock , 1962, The Calculus of Consent: Logical Foundations of Constitutional Democracy. Ann Arbor: Ann Arbor Paperbacks.
Filmer, D. y L. H. Pritchett, 2001, “Estimating Wealth Effects without Expenditure Data–or Tears: An Application to Educational Enrolments in States of India”, Demography, vol. 38(1), 115-132.
Gaviria, A., 2002, “Household Responses to Adverse Income Shocks in Latin America”, Desarrollo y Sociedad, No. 49.
Gaviria, A. y C. E. Vélez, 2001, “¿Quiénes soportan la carga del crimen en Colombia?”, Coyuntura Económica, vol. XXXI, No. 2, 75-93.
Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, Vol. IV, 1865-2073.
Lasso, F., 2004, “Incidencia del gasto público social sobre la distribución del ingreso y la reducción de la pobreza”, Misión para el Diseño de una Estrategia para la Reducción de la Pobreza y la Desigualdad, Departamento Nacional de Planeación, Colombia.
Perotti, R., 2005, “Public Spending on Social Protection in Colombia: Analysis and Proposals”, en Alberto Alesina (ed.), Institutional Reforms: The Case of Colombia. Cambridge: MIT Press.
Ravallion, M., 1999, “The Mystery of the Vanishing Benefits: Ms. Speedy Analyst’s Introduction to Evaluation”, Policy Research Working Paper 2153, World Bank, Development Economics Research Group, Washington, D.C.
Robinson, J. A. y T. Ragnar, 2005, “White elephants”, Journal of Public Economics, vol. 89, 197-210.
Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.
White, H., 2009, “Theory-Based Impact Evaluation: Principles and Practice”, Working Paper No. 3, International Initiative for Impact Evaluation, junio.
1 Robinson y Ragnar (2005) argumentan que, en general, los políticos prefieren los proyectos de baja rentabilidad y bajo impacto social, pues éstos son más eficaces para demostrar ante sus electores su capacidad de influir sobre los presupuestos públicos.
2 Filmer y Pritchett (2001) argumentan que la clasificación socioeconómica basada en las características de las viviendas y la posesión de activos fijos es menos susceptible a las fluctuaciones de corto plazo que la basada en el ingreso o en el consumo corriente. Gaviria y Vélez (2001) compararon ambas clasificaciones, con base en la Encuesta de Calidad de Vida de Colombia, y no encontraron diferencias sustanciales.
3 Ver, por ejemplo, el capítulo 7 de este libro para mayor detalle al respecto.
4 Ver capítulo 2 para la definición detallada del contrafactual en una evaluación de impacto.
5 Arnold Harberger, uno de los principales promotores de la evaluación en los países en desarrollo, ha dicho reiteradamente que para manejar la macroeconomía de un país basta con cinco o seis personas, pero que para gastar bien se necesita un ejército de evaluadores de programas y proyectos.
6 Ver, por ejemplo, Heckman, LaLonde y Smith (1999), Blundell y Costa Dias (2009), Smith (2000).
PARTE I
EL PROBLEMA DE EVALUACIÓN DE IMPACTO
2
DEFINICIÓN DE PARÁMETROS DE IMPACTO DEL TRATAMIENTO
El problema de evaluación consiste en medir el impacto del programa (o tratamiento) sobre un conjunto de variables de resultado en un conjunto de individuos. Por ejemplo, el efecto que tiene un programa de nutrición en los indicadores antropométricos (estatura y peso) de los individuos participantes. Las variables de resultado son las variables sobre las cuales se espera que el programa tenga un efecto en los individuos beneficiarios del programa evaluado. En nuestro ejemplo, serían los indicadores de estado nutricional porque el programa es un programa de nutrición.
El problema de evaluación de impacto consiste entonces en establecer la diferencia entre la variable de resultado del individuo participante en el programa en presencia del programa y la variable de resultado de ese individuo en ausencia del programa. Esta diferencia es lo que se conoce como efecto del tratamiento o programa. El problema fundamental que se enfrenta en una evaluación de impacto es que para construir el efecto del tratamiento necesitaríamos conocer la diferencia entre la variable de resultado del individuo participante una vez se ha implementado el programa y la variable de resultado que habría obtenido ese individuo en el caso hipotético de que no existiera el programa. Claramente, no se pueden observar ambos resultados para el mismo individuo al mismo tiempo. El segundo resultado, es decir, el resultado del individuo participante si el programa no existiera, es hipotético y, por ende, no se observa. Este resultado hipotético se denomina resultado contrafactual en la literatura de evaluación de impacto.
El marco teórico estándar para formalizar el problema de la evaluación de impacto se basa en el modelo de resultado potencial o modelo Roy-Rubin (Roy (1951) y Rubin (1974)). Formalmente, definimos el indicador del tratamiento como Di. En el caso en que el tratamiento es binario (por ejemplo, el niño participa en el programa de nutrición o no participa) entonces Di = 1 si el individuo i recibe el tratamiento (es tratado) y 0 de lo contrario. Las variables de resultado las definimos como Yi(Di) para cada individuo i = 1 … N y N denota la población total. Es decir, Yi(1) es la variable de resultado si el individuo i es tratado y Yi(0) es la variable de resultado si el individuo i no es tratado. El efecto del tratamiento (o impacto del programa) para un individuo i se puede escribir como:
De nuevo, el problema fundamental de la evaluación de impacto es que en la realidad sólo se da uno de los dos resultados potenciales Yi(1) o Yi(0) para cada individuo i pero no ambos. Es decir, en los datos solamente queda registrado Yi(1) si Di = 1 y Yi(0) si Di = 0. En otras palabras, el investigador no dispone del resultado con tratamiento si el individuo no fue tratado, Yi(1) si Di = 0, ni dispone del resultado en ausencia del tratamiento si el individuo ha sido efectivamente tratado, Yi(0) si Di = 1. Note que el impacto del programa (medido por la diferencia (2.1)) se refiere a un momento dado en el tiempo y, por tanto, no es equivalente a comparar el mismo individuo en dos momentos distintos del tiempo (antes y después de la intervención).7 Por tanto, el resultado observado se puede escribir como:
En este caso, y en adelante, se entiende que una variable es observada si la información existe y está registrada en los datos a disposición del investigador. De manera análoga, una variable no observada es aquella que no existe o no quedó registrada en la base de datos disponible.
En últimas, debido a que uno de los dos resultados en la ecuación (2.1) no es observable para cada individuo i, no es posible estimar el efecto individual del tratamiento, 
i. El análisis se debe concentrar en el impacto promedio del programa en la población o en subconjuntos de la población (dependiendo del interés de política que se tenga). En primera instancia, se puede estimar el impacto promedio del programa (o efecto medio del tratamiento) en la población (o ATE8):
donde E[·] denota el operador de expectativas.
Una representación simple de la variable de resultado con base en el modelo de regresión lineal está dada por:
El efecto ATE se interpreta como el cambio promedio en la variable de resultado cuando un individuo escogido al azar pasa aleatoriamente de ser participante a ser no participante. Este parámetro es particularmente relevante en el caso de la evaluación de un programa universal. En la mayoría de los casos, sin embargo, el tratamiento o programa no es universal sino que sólo está disponible para un subconjunto de la población, generalmente porque el programa ha sido focalizado. En este caso, es posible utilizar un estimador que únicamente promedie el efecto sobre la población elegible.
Por un lado, se puede utilizar el impacto promedio del programa sobre los tratados (o ATT9), que es, por lo general, el parámetro de mayor interés en una evaluación de impacto. Es decir, el efecto promedio del tratamiento en el subconjunto de individuos que fueron efectivamente tratados. Éste corresponde a la diferencia entre la media de la variable de resultado en el grupo de los participantes y la media que hubieran obtenido los participantes si el programa no hubiera existido:
donde E[.|D] denota el operador de expectativas condicional.
En este caso, E[Yi(0)|Di = 1] es el valor esperado de la variable de resultado en el grupo de tratamiento en presencia del tratamiento y E[Yi(0)|Di = 1] que se conoce como el resultado contrafactual, es el valor esperado de la variable de resultado en el grupo de tratamiento en ausencia del tratamiento. Evidentemente, el promedio contrafactual, es decir, el resultado promedio de los individuos tratados de no haber existido el programa o tratamiento, es un resultado hipotético, por lo cual no se observa en la realidad, y por tanto no queda registrado en los datos. El efecto promedio del programa sobre los tratados es particularmente relevante para definir si un programa existente debe continuar o, por el contrario, debe eliminarse o modificarse.
Por otra parte, se puede estimar el impacto promedio del programa sobre los no participantes (o ATU10), que corresponde a la diferencia entre la media de la variable de resultado que habrían tenido los no participantes si hubieran participado en el programa y la media de la variable de resultado que efectivamente tuvieron los no participantes al no haber participado:
En este caso, el resultado contrafactual, E[Yi(0)|Di = 1], corresponde al promedio de la variable de resultado de los no participantes si hubieran participado en el programa, dado que estos individuos no han sido tratados. Evidentemente, este contrafactual es hipotético, por lo cual no se observa en la realidad, y por tanto no queda registrado en los datos. El parámetro ATU es relevante cuando la evaluación tiene por objetivo investigar si el programa se debe extender o no a otros grupos de la población.
En cualquiera de los dos casos, ATT o ATU, es necesario escoger una aproximación apropiada (o sustituto) del contrafactual dado que este es un resultado hipotético que no se observa en la realidad, y por tanto no queda registrado en los datos. Por ejemplo, en el caso del ATT se requiere una aproximación de E[Yi(0)|Di = 1], es decir, el promedio de la variable de resultado entre los participantes en ausencia del programa. En principio, se podría utilizar el promedio de la variable de resultado entre los individuos no participantes pero elegibles para participar en el programa (conocido en la jerga de evaluación de impacto como el grupo de control o grupo de comparación), E[Yi(0)|Di = 1], como una aproximación de E[Yi(0)|Di = 1] Es decir, se podría utilizar el resultado de los no participantes (pero elegibles) como una aproximación del resultado que habrían tenido los participantes si el programa no hubiera existido.
Sin embargo, esta comparación podría generar estimaciones inexactas del efecto del programa, dado que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa.11 Por ende, las variables de resultado del grupo de tratamiento y el grupo de control podrían ser diferentes, aun si el programa no existiera. Este problema se conoce como sesgo de autoselección. Por ejemplo, es posible que los niños participantes en el programa de nutrición provengan de familias más vulnerables que los niños elegibles pero que no participan en el programa. Las variables de vulnerabilidad, como el ingreso del hogar y la educación de los padres, pueden tener efectos directos sobre los indicadores antropométricos que estamos utilizando como variable de resultado, aparte del efecto directo del programa evaluado. Por ejemplo, en hogares con más ingreso la dieta puede ser mejor que en hogares con menos ingresos. De ser así, al comparar los resultados de desnutrición, por ejemplo, del grupo de tratamiento con los del grupo de control podríamos estar atribuyendo al programa un efecto negativo que en realidad se debe a que el grupo de niños tratados es más pobre y de padres menos educados que el grupo de niños usados como control. En este caso, estaríamos subestimando el efecto del programa, debido a que no hemos tenido en cuenta las diferencias preexistentes entre los dos grupos que afectan tanto la probabilidad de participación en el programa como la variable de resultado (desnutrición).12
Además de posibles diferencias observadas entre los dos grupos (como ingresos del hogar y educación de los padres), es también posible que existan diferencias no observadas o no medidas entre los dos grupos. Por ejemplo, puede ser que las madres de familia participantes en el programa estén más motivadas o atentas o sean más proactivas respecto al desarrollo de sus hijos, por lo cual se esmeraron en lograr la participación en el programa. El problema de autoselección radica en que la motivación de las madres (que no observamos y sería difícil de medir) afecta no sólo la probabilidad de participar en el programa, sino también el estado nutricional de los niños. Esto es porque las madres más motivadas podrían vigilar mejor la dieta de sus hijos. Por tanto, la diferencia observada en el estado nutricional de los niños de los dos grupos se podría deber parcialmente a la diferencia en el nivel de motivación de las madres, y no exclusivamente a que un grupo participa en el programa y el otro no.
Note que la comparación entre el promedio de la variable de resultado de los participantes y el promedio de la variable de resultado de los no participantes está dada por:
Adicionalmente, sabemos que el ATT está dado por:
Restando E[Yi(0)|Di = 1] a ambos lados de la ecuación obtenemos:
donde el lado derecho de la ecuación (2.7) es la diferencia entre el promedio de la variable de resultado de los participantes y el promedio de la variable de resultado de los no participantes.
De la ecuación (2.7) se deduce que utilizar E[Yi(0)|Di = 1] como aproximación del contrafactual, E[Yi(0)|Di = 1], permite recuperar el ATT si y sólo si
Esta condición implica que la variable de resultado en ausencia del programa debería ser idéntica para el grupo de individuos tratados (D = 1) y el grupo de individuos no participantes o grupo de control (D = 0), lo cual, como ya se ha expuesto, es un supuesto bastante fuerte. Por esta razón, la simple comparación de medias de las variables de resultado entre el grupo de tratamiento y el grupo de control generaría una aproximación inexacta del efecto del programa sobre el grupo de niños tratados, con excepción de un programa implementado a manera de experimento aleatorio. Este caso será estudiado en detalle en el capítulo 4.
Si el supuesto (2.8) se cumple, es decir, si el valor promedio de la variable de resultado en ausencia del programa fuera idéntico para el grupo de individuos tratados (D = 1) que para el grupo de individuos no participantes (D = 0), entonces el efecto del programa estaría dado por:
En este caso, el estimador de ATT estaría dado por el análogo muestral de (2.9), es decir:
donde Ȳ|D es el promedio muestral de la variable de resultado, dado el estatus de participación D. Es decir, el estimador del efecto del programa bajo el supuesto (2.8) resulta de comparar el promedio muestral de Y en el grupo de tratamiento con el promedio muestral de Y en el grupo de control. Esta comparación de medias se puede implementar fácilmente por el método de regresión de la siguiente manera:
donde Yi es la variable de resultado para el individuo i, Di es una variable binaria13 que toma el valor de 1 si el individuo i participa en el tratamiento (o programa) y 0 si el individuo i es elegible pero no participa en el programa, y ui es el término de error de la regresión que recoge las variables observadas y no observadas del individuo i, aparte de Di , que afectan la variable de resultado. Como ATT es generalmente el parámetro de interés en evaluación de impacto, en adelante nos referimos simplemente a .
Si el supuesto (2.8) se cumple, entonces no existe correlación entre la participación en el programa (el indicador Di) y todas las características del individuo contenidas en ui porque el supuesto implica que los individuos participantes son idénticos a los individuos no participantes. En otras palabras, la participación es independiente de las características del individuo y, por tanto, E[Yi(0)|Di = 0] es una aproximación adecuada del contrafactual E[Yi(0)|Di = 1]. Formalmente, esto implica que
Éste se conoce como el supuesto de independencia condicional e indica que conocer Di no añade ninguna información adicional acerca de ui. En otras palabras, los individuos que participan en el programa no son sistemáticamente distintos de los individuos que no participan en el programa en características contenidas en ui .
Bajo el supuesto (2.12), el estimador de β1 por el método de mínimos cuadrados ordinarios (MCO)14 es consistente e insesgado.15 Lo primero implica que el estimador de β1 por MCO, 
, converge en probabilidad a β1, es decir, el límite del estimador a medida que aumenta el tamaño de muestra es exactamente el parámetro que se va a estimar. Lo segundo significa que el valor esperado del estimador de MCO es igual al valor del parámetro, es decir, E() = β1, independientemente del tamaño de la muestra.
El parámetro β1 en la ecuación (2.11) se interpreta como el efecto del programa o la diferencia de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control. Note que tomando expectativa condicional en la ecuación (2.11) se obtiene:
porque 
Entonces
El estimador de MCO de β1 estaría dado por:16
que coincide precisamente con la definición del 
ATT provisto en la ecuación (2.10).
Éste se conoce como el supuesto de independencia condicional e indica que conocer Di no añade ninguna información adicional acerca de ui. En otras palabras, los individuos que participan en el programa no son sistemáticamente distintos de los individuos que no participan en el programa en características contenidas en ui .
Bajo el supuesto (2.12), el estimador de β1 por el método de mínimos cuadrados ordinarios (MCO)14 es consistente e insesgado.15 Lo primero implica que el estimador de β1 por MCO, , converge en probabilidad a β1, es decir, el límite del estimador a medida que aumenta el tamaño de muestra es exactamente el parámetro que se va a estimar. Lo segundo significa que el valor esperado del estimador de MCO es igual al valor del parámetro, es decir, , independientemente del tamaño de la muestra.
El parámetro β1 en la ecuación (2.11) se interpreta como el efecto del programa o la diferencia de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control. Note que tomando expectativa condicional en la ecuación (2.11) se obtiene:
porque
Entonces
El estimador de MCO de β1 estaría dado por:16
que coincide precisamente con la definición del ATT provisto en la ecuación (2.10).
Ejemplo 2.1:
Suponga que debemos evaluar el impacto del programa Canasta, que es un programa de nutrición dirigido a niños entre los 0 y 6 años de edad. El programa consiste en la provisión de un mercado por valor de $X al mes a las madres participantes de niños en el rango de edad elegible. La composición del mercado es revisada por nutricionistas expertos para asegurarse de que la ingesta diaria por nutriente sea la adecuada, dada la edad de los niños beneficiarios. El programa está dirigido a familias de Sisbén17 1 y 2.
El indicador de participación en el programa se define como:
Los niños de familias de Sisbén 1 y 2 entre los 0 y 6 años de edad que participan en el programa constituyen el grupo de tratamiento, mientras que los niños de familias de Sisbén 1 y 2 entre los 0 y 6 años de edad que no participan en el programa son el grupo de control. Como variable de resultado, Yi, se identifica el puntaje Z (Z-score) de estatura según la edad. El puntaje Z corresponde a la estatura del niño estandarizada de acuerdo con las medias y varianzas poblacionales, según grupos de edad y sexo. El puntaje Z de estatura según la edad resulta de restarle a la estatura del niño la media poblacional de estatura para su grupo de edad y sexo, y dividir esta diferencia por la desviación estándar de la estatura de su grupo de edad y sexo en la población. El resultado indica el número de desviaciones estándar que el niño está por encima (o por debajo) de su media poblacional. Un puntaje Z de cero indica que el niño se ubica exactamente en la media de su grupo.
E[Yi(1)|Di = 1] es en este caso el promedio del puntaje Z de estatura en el grupo de tratamiento en presencia del programa. E[Yi(0)|Di = 1] es el promedio del puntaje Z de estatura en el grupo de tratamiento en ausencia del programa. Es decir, cuál habría sido el promedio del puntaje Z de estatura según la edad en el escenario hipotético de que el programa no hubiera existido. Este contrafactual no se observa, y esto constituye la principal dificultad de la evaluación de impacto.
E[Yi(0)|Di = 0] es el promedio del puntaje Z de estatura en el grupo de niños no participantes (o grupo de control).
Suponga que la variable de resultado en que estamos interesados es la incidencia de desnutrición crónica, es decir, la probabilidad de que la estatura del niño esté dos desviaciones estándar por debajo de lo que debería estar, dados su edad y su sexo (es decir, que el puntaje Z de estatura según la edad sea menor que –2). En este caso E[Yi(1)|Di = 1] sería el porcentaje de niños participantes con desnutrición crónica en presencia del programa.
Si sucediera que los promedios del puntaje Z de estatura en el grupo de tratamiento y en el grupo de control son idénticos en ausencia del programa (es decir, se cumpliera el supuesto (2.8)), entonces el efecto del programa se podría estimar simplemente comparando la media de la variable de resultado en el grupo de tratamiento con la media de la variable de resultado en el grupo de control. Esto se puede implementar con una regresión lineal del puntaje Z de estatura según la edad (Yi) sobre la variable binaria de participación, Di, estimada por MCO:
β1 sería el efecto del programa de nutrición sobre el indicador antropométrico escogido si se cumple el supuesto de independencia condicional (2.12).
En este capítulo hemos asumido que el investigador sabe exactamente cuál es la variable de resultado Y que quiere medir y tiene los datos a disposición. En general, la elección de una variable de resultado Y con base en la cual se determinará la efectividad de un programa no es una pregunta trivial. La elección de Y debe estar guiada principalmente por los objetivos y lineamientos del programa que se evalúa. Por ejemplo, el programa Canasta es un programa cuyo objetivo es mejorar el estado nutricional de los niños beneficiarios, con base en la provisión de un mercado que contiene un porcentaje de los requerimientos nutricionales diarios. Por tanto, es razonable que la variable de resultado seleccionada sea un indicador del estado nutricional de los niños (estatura según la edad, peso según la edad, o estatura según el peso). Existen casos como éste en que la escogencia de la variable de resultado es relativamente obvia, pero otros casos en los que no es elemental.
Por ejemplo, suponga un programa para los adultos mayores de grupos vulnerables (económica y socialmente). El programa consiste en la provisión de una suma de dinero mensual que corresponde a un determinado número de salarios mínimos diarios. En los objetivos y lineamientos se establece que el programa está diseñado para proteger a las personas de la tercera edad contra el riesgo económico de la imposibilidad de generar ingresos, disminuir la vulnerabilidad de los adultos mayores de bajos recursos y propiciar su inserción en la comunidad. En este caso, ¿cuál sería la variable de resultado Y ideal si le pidieran evaluar este programa? No es tan sencillo. En principio, podría ser un indicador de salud y nutrición, puesto que el adulto mayor podría estar mejorando su estado nutricional como resultado del aumento en el ingreso del hogar asociado a la participación en el programa. Sin embargo, el adulto mayor podría estar gastando el dinero en cosas diferentes a alimentos, medicamentos u otros elementos asociados con un mejor estado de salud o nutrición, por lo cual la evaluación podría generar una conclusión muy negativa acerca del programa.
Por otra parte, la variable de resultado Y podría ser más bien una medición del estado de ánimo del beneficiario. Si los adultos mayores se sienten olvidados, viven solos en su gran mayoría, tienen estado de salud deficiente, etc., entonces el hecho de que les ofrezcan el programa les puede dar una esperanza, y el impacto podría verse más bien reflejado en un mejor estado de ánimo. Resulta que no es tan sencillo diseñar instrumentos que midan adecuadamente el estado de ánimo de los individuos o el nivel de inserción del individuo en su comunidad. Como se puede apreciar, encontrar una variable de resultado adecuada en este caso es todo un reto para el evaluador. Note, sin embargo, que en principio éste es el resultado de una política cuyo diseño es demasiado general y, por tanto, evaluar los logros de tales intervenciones es generalmente muy difícil. En suma, el evaluador debe tratar de relacionar, de la mejor manera posible, los objetivos, lineamientos y forma de operación del programa, con variables de resultado que se espera que puedan medir de manera relativamente razonable el desempeño del programa.
Bibliografía
Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-540.
Caliendo, M. y S. Kopeinig, 2005, “Some Practical Guidance for the Implementation of Propensity Score Matching”, IZA Discussion Paper Series, No. 1588.
Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, vol. IV, 1865-2073.
Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.
Roy, A., 1951, “Some Thoughts on the Distribution of Earnings”, Oxford Economic Papers, 3, 135-145.
Rubin, D., 1974, “Estimating Causal Effects to Treatments in Randomised and Nonradomised Studies”, Journal of Educational Psychology, 66, 688-701.
7 Este punto se discute en detalle más adelante en la sección 4.5.
8 Average Treatment Effect.
9 Average Treatment on the Treated.
10 Average Treatment on the Untreated.
11 Con excepción de casos en los cuales el tratamiento se haya aplicado de manera aleatoria en la población (ver capítulo 4).
12 Note que para estimar ATE existe un reto adicional, dado que se requiere de la construcción de los dos resultados contrafactuales (y no sólo uno), E[Yi(1)|Di = 0] y E[Yi(0)|Di = 1].
13 Las variables binarias también se conocen en la literatura como variables dummy, dicótomas o dicotómicas.
14 Ver anexo 1.
15 Ver anexo 2.
16 Ver anexo 3.
17 Sistema de Identificación de Potenciales Beneficiarios de Programas Sociales. Es un instrumento desarrollado con el objetivo de focalizar los programas de política pública hacia la población más vulnerable en Colombia. El puntaje Sisbén se construye con base en una encuesta que indaga sobre las características sociodemográficas del hogar, toma valores entre 0 y 100, donde puntajes más bajos indican mayores niveles de pobreza del hogar.
3
SESGO DE SELECCIÓN
Como se detalló en el capítulo anterior, la evaluación de impacto consiste en la estimación de:
donde E[Yi(1)|Di = 1] es el valor esperado de la variable de resultado entre los participantes en el programa en presencia del programa y E[Yi(0)|Di = 1], o resultado contrafactual, es el valor esperado de la variable de resultado entre los participantes en ausencia del programa. En otras palabras, evaluar la diferencia entre la variable de resultado entre el grupo de tratados si existe el programa y la variable de resultado entre el grupo de tratados si no se hubiera implementado el programa. Claramente no es posible observar ambos resultados al mismo tiempo. Sin embargo, sí se puede observar la variable de resultado entre un grupo de individuos elegibles que no participan en el programa (o grupo de control), E[Yi(0)|Di = 0].
El principal reto de la evaluación de impacto es determinar las condiciones bajo las cuales E[Yi(0)|Di = 0] se puede utilizar como una aproximación válida de E[Yi(0)|Di = 1] y, por tanto, utilizarse en la ecuación (3.1) para obtener el efecto del programa ATT.
Evidentemente E[Yi(0)|Di = 0] se podría utilizar como una aproximación adecuada del contrafactual si
Es decir, si la variable de resultado en ausencia del programa es idéntica para el grupo de individuos tratados (D = 1) que para el grupo de individuos de control (D = 0).
El supuesto (3.2) se viola toda vez que la participación en el programa es una elección del individuo elegible. La razón es que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa, y por tal motivo es precisamente que se observa que unos escogen participar y otros no, aun si todos son elegibles para recibir el tratamiento. Es decir, existen características (observadas y/o no observadas) que causan que unos individuos participen y otros no. Probablemente, las diferencias en estas características entre individuos participantes e individuos no participantes también originen diferencias en la variable de resultado entre un grupo y el otro. Por ende, es muy probable que la variable de resultado del grupo de tratamiento y la variable de resultado del grupo de control sean diferentes, aun si el programa no existiera. Este hecho se conoce como sesgo de selección.
Recuerde que el ATT se puede escribir como:
En la ecuación (3.3) es claro que si los individuos del grupo de tratamiento y el grupo de control son diferentes, aun en ausencia del tratamiento (la segunda parte al lado derecho de la ecuación), entonces la diferencia entre la media del grupo de tratamiento y la media del grupo de control (el lado izquierdo de la ecuación) será igual al ATT más la diferencia preexistente entre los dos grupos, término que se denomina sesgo de selección. Es decir, la comparación de medias entre el grupo de tratamiento y el grupo de control será una combinación del efecto directo del tratamiento, ATT , y las diferencias preexistentes entre los dos grupos, E[Yi(0)|Di = 1] = E[Yi(0)|Di = 0], y sin información adicional el investigador no puede descifrar qué parte se debe a qué.
En suma, los individuos que se autoseleccionan en el grupo de tratamiento son sistemáticamente diferentes (en formas que observamos y formas que no observamos) de los individuos que se autoseleccionan en el grupo de control, y precisamente por eso participan en el programa. Esas diferencias sistemáticas pueden estar relacionadas, a su vez, con la variable de resultado, objeto de la evaluación de impacto.
En el capítulo anterior se explicó que si se cumple el supuesto (3.2), entonces el efecto del programa sobre la variable de resultado, Yi, es la pendiente estimada por mínimos cuadrados ordinarios de la siguiente regresión lineal:
donde Di es el indicador del estatus de tratamiento.
En este caso, por MCO es un estimador consistente e insesgado del efecto del programa porque E(ui|Di) = 0. Es decir, no hay correlación entre la decisión de participar o no en el programa, Di, y las características observadas y no observadas de los individuos contenidas en el término de error, ui . Sin embargo, si la participación en el programa es una decisión de los individuos,18 es improbable que se cumpla el supuesto E(ui|Di) = 0. Esto se presenta porque es posible que los individuos que deciden participar en el programa lo hagan debido a que son sistemáticamente diferentes de los individuos que deciden no participar. Algunas de estas diferencias pueden, a su vez, explicar la variable de resultado, Yi , y, por tanto, estar contenidas en el término de error, ui . Dicho de otra manera, saber si un individuo participa o no participa en el programa informa sobre las variables no observadas del individuo contenidas en ui, por lo cual se invalida el supuesto de independencia condicional.
Ejemplo 3.1:
Suponga que el programa Canasta se ofrece y los individuos elegibles deben decidir si quieren participar o no. Además, participar tiene un costo en tiempo y trámites, debido a que la mamá del niño elegible debe acercarse a una oficina de la institución encargada de administrar el programa, diligenciar un formulario de inscripción y llevar al niño potencialmente participante a un control médico en el que se registran sus medidas antropométricas (estatura y peso). Aunque todas las mamás de niños entre los 0 y 6 años de edad que pertenecen a Sisbén 1 y 2 son elegibles para el programa, es muy probable que un conjunto de madres considere que el costo de inscribirse para participar en el programa es muy alto porque las filas son muy largas, el examen médico es muy demorado o el hospital en el que se lleva a cabo es muy lejos, por lo cual preferirán no recibir el mercado. Es decir, se podría pensar que las mamás que sí deciden participar son aquellas más proactivas y motivadas y que, a pesar del costo de participación, se preocupan por sus hijos y su bienestar lo suficiente (o tienen el tiempo disponible) como para ir hasta la oficina, hacer la fila, sacar la cita en el hospital, ir al hospital para asistir a la cita médica, volver a la oficina administradora a reclamar el mercado, etcétera.
Note entonces que las madres participantes y las madres no participantes son diferentes en cuanto a su perfil de madre, la disponibilidad de tiempo, su disposición a ocuparse de los hijos, etc. Estas características, algunas de las cuales no son observadas por el evaluador porque no existen mediciones o porque no fueron registradas en los datos (como qué tan dedicada es la mamá a sus hijos), pueden también afectar el estado nutricional de los niños participantes y no participantes. Por ejemplo, las mamás más proactivas y motivadas pueden ser también aquellas que se preocupan más por la nutrición de los niños y, por tanto, les ofrecen una dieta más balanceada, llevan a los niños a controles médicos, etc. Es decir, sería una variable contenida en ui porque explica la medida antropométrica (o variable de resultado), Yi .
Dado que existen características observadas y no observadas de los individuos, contenidas en ui, que explican tanto la decisión de participar en el programa como la variable de resultado, entonces
Es decir, la participación en el programa, Di, sí está correlacionada con el término de error en la regresión (3.4). Esto constituye la violación de uno de los supuestos fundamentales del modelo de regresión lineal (independencia condicional) y, por ende, los estimadores de mínimos cuadrados ordinarios no serán insesgados.19 Esto implica que el valor esperado del estimador del efecto del programa estimado por MCO no corresponde al efecto verdadero del programa sino que está subestimado o sobrestimado, según sean las características no observadas de los individuos. En otras palabras, el efecto del programa no se puede obtener por la simple comparación de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control.
Intuitivamente, si hay variables que explican tanto la participación en el programa como la variable de resultado, la comparación de medias puede estar atribuyendo al programa un efecto que en realidad se debe a las diferencias preexistentes entre el grupo de tratamiento y el grupo de control. En nuestro ejemplo del programa Canasta, si las madres participantes son más dedicadas y están más motivadas que las madres no participantes, entonces podemos estar atribuyendo al programa un efecto positivo sobre el estado nutricional de los niños, cuando en realidad la diferencia en las medidas antropométricas a favor de los niños tratados se debe a que tienen madres más pendientes de su dieta que los niños de control, y no al programa en sí. Si la característica del individuo, Xi, que explica tanto la participación en el programa como la variable de resultado, es observable y está contenida en la base de datos disponible, entonces este problema se soluciona simplemente incluyéndola en la regresión (3.4) como una variable explicativa adicional:
donde Xi es una característica observable del individuo, que explica tanto la participación en el programa como la variable de resultado Yi.
Por ejemplo, si los individuos más pobres son aquellos que deciden participar en el programa Canasta, mientras que los individuos más ricos eligen no hacerlo, entonces Xi sería el índice de riqueza del hogar. Si esta es la única diferencia entre los participantes y los no participantes, entonces el estimador de β1 en la ecuación (3.5) por MCO es un estimador consistente e insesgado del efecto del programa.
Si las diferencias entre los participantes y no participantes son todas observables (y la base de datos contiene información acerca de todas ellas), entonces la regresión (3.5) se puede extender para incluir todas esas características. Si todas las diferencias entre el grupo de tratamiento y el grupo de control se incluyen en la regresión, entonces los factores restantes contenidos en ui son efectivamente independientes de la decisión de participar, Di , y, por ende, el estimador de β1 por MCO es un estimador insesgado y consistente del efecto del programa.
Sin embargo, en la mayoría de los casos, algunas de las diferencias entre los participantes y los no participantes no se observan o son características (en principio observables) que no están contenidas en la base de datos.20 Por ejemplo, las madres más dedicadas a sus hijos pueden ser más propensas a participar en el programa Canasta que las madres menos dedicadas. Pero qué tan dedicada es una madre no es una variable incluida en las encuestas. Por ende, aunque sabemos que ésta es una diferencia entre los beneficiarios y los no beneficiarios por la que debemos controlar en la ecuación (3.5), no tenemos los datos a disposición. En este caso, el estimador de MCO de β1 está sesgado, es decir:
La dirección precisa del sesgo (llamado sesgo de selección, por las razones que se han expuesto anteriormente) depende de la relación existente entre la participación en el programa y la variable que diferencia a los participantes de los no participantes (llamémosla W), y de la dirección del efecto de la variable excluida W sobre la variable de resultado Y.
Teniendo en mente el siguiente modelo:
donde W es una característica no observable (o no contenida en la encuesta), la dirección del sesgo de por MCO sobre la regresión (3.5) se puede resumir de la siguiente manera:
donde Corr (Di, Wi) es la correlación entre Di y Wi.
Por ejemplo, tomemos el caso de la primera celda (superior-izquierda). Si a mayor dedicación de la madre (variable W no observada), mayor es la probabilidad de participar en el programa Canasta, entonces Corr (Di, Wi) > 0. Si, además, la dedicación de la madre aumenta la estatura según la edad del niño (variable de resultado Yi) porque la dieta que ofrece la madre más dedicada es más balanceada, entonces β2 > 0. En este caso, el estimador de MCO de en la regresión (3.4) estaría sesgado hacia arriba E() > β1, es decir, el efecto estimado del programa sobre el peso según la estatura es mayor que el efecto verdadero del programa. Esto se presenta porque, al no poder incluir W en la regresión, le estamos atribuyendo al programa (a Di) parte del efecto positivo que tiene W sobre Y. Es decir, se le atribuye al programa parte del efecto positivo de la mayor motivación de las madres participantes sobre el estado nutricional de sus hijos. En otras palabras, Di absorbe tanto su efecto propio (sobre Y) como el efecto que tiene W directamente sobre Y, dando lugar a un efecto más grande de lo que en realidad es.
La gran mayoría de programas que se evalúan en la actualidad están caracterizados por el hecho de que los individuos deben elegir si participan o no. Esto implica que las diferencias que surgen entre los participantes y no participantes son, en buena parte, no observables. Así, el gran reto de la evaluación de impacto es encontrar metodologías que permitan obtener un estimador consistente e insesgado de β1 aun en presencia del sesgo de selección. Estas diversas metodologías se discuten en los capítulos a continuación.
Bibliografía
Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-640.
Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, Vol. IV, 1865-2073.
Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.
Stock, J. y M. Watson, 2006, Introduction to Econometrics. Segunda edición. Boston, MA.: Addison-Wesley, Series in Economics.
18 Esto en contraste con la participación asignada de manera aleatoria, como se estudiará en el capítulo 4 sobre experimentos aleatorios controlados.
19 Esto se debe a que para demostrar que el estimador de MCO es insesgado se requiere que se cumpla el supuesto E(ui|Di) = 0. Ver el anexo 2.
20 Es posible también que el investigador omita del análisis una variable que sí está registrada en la base de datos por descuido o desconocimiento.
PARTE II
EXPERIMENTOS SOCIALES CONTROLADOS Y EXPERIMENTOS NATURALES
4
EXPERIMENTOS ALEATORIOS (SOCIALES)
El cálculo del impacto del programa sobre las variables de interés con frecuencia se complica por el sesgo de selección. Esto se debe a que aquellos que deciden participar pueden diferir de los que no participan en sus características observables (aquellas sobre las cuales se tiene información) o no observables (para las cuales no existen mediciones en la base de datos disponible). Esto implica que se viola el supuesto de independencia condicional, E[ui|Di] = 0, en el modelo de regresión lineal (2.11) presentado en el capítulo 2, y el estimador de MCO es sesgado.
Una manera de asegurar que E[Yi(0)|Di = 0] = E[Yi(0)|Di = 1] y, por tanto, evitar el sesgo de selección consiste en asignar la participación en el programa de manera aleatoria. A esto se le llama experimento social controlado. En un experimento ideal se toma a dos individuos idénticos y se trata sólo a uno de ellos. Dado que es imposible tener a dos individuos idénticos, se selecciona aleatoriamente qué individuos de un grupo de estudio pertenecen al grupo de tratamiento –que será beneficiario del programa–, y quiénes al grupo de control –que no hará parte del programa–. Por ejemplo, se asigna a través de una lotería quiénes serán beneficiarios del programa y quiénes no. Note que en este caso el participante no tomó la decisión de participar sino que participa porque se ganó una lotería. Así, los experimentos generan directamente el contrafactual deseado, E[Yi(0)|Di = 0] = E[Yi(0)|Di = 1], pues obligan a potenciales participantes a no participar en el programa, sin darles la posibilidad de elegir.
La decisión de participar en un programa depende de las características de los individuos. Suponga que los jóvenes más educados y motivados deciden participar en programas de capacitación laboral. Así, cuando los individuos pueden elegir si participan o no en un programa, el grupo de participantes será distinto al de no participantes: los jóvenes beneficiarios del programa de capacitación serán en promedio más educados y estarán más motivados que los no participantes. En un experimento donde se asigna de manera aleatoria a los potenciales beneficiarios a los grupos de tratamiento y control, y no se les permite elegir si participan o no, se asegura que los individuos de los grupos de tratamiento y control tengan características idénticas.
Aparte del error de muestreo, los grupos de tratamiento y control deben ser idénticos ex ante, es decir, no pueden diferir de manera sistemática en variables observables ni de las cuales no tenemos información. El efecto causal del programa es entonces la diferencia en las medias de las variables de interés entre los grupos de tratamiento y control. Por ejemplo, en este caso las madres que participan en Canasta no son más dedicadas o recursivas que las que no lo hacen, y por tanto las diferencias en la estatura de los niños se debe únicamente al programa.
Los experimentos se usan con frecuencia en otras ciencias, por ejemplo, para determinar la efectividad de una nueva medicina. Los individuos, sin su conocimiento, son asignados aleatoriamente a un grupo de tratamiento–que recibe la medicina– y a un grupo de control –que recibe un placebo o la mejor medicina disponible en el mercado–. La comercialización de la droga se aprueba si los resultados del experimento sugieren que es efectiva y segura.
Los resultados de los experimentos, al estar libres de sesgo de selección, son muy deseables para determinar la efectividad de las políticas y programas públicos. Además, pueden usarse como punto de referencia para comparar los efectos causales de otras intervenciones. Por ejemplo, antes de hacer una gran intervención por medio de un programa social, sería deseable estimar el impacto mediante la evaluación de un piloto, con el objeto de saber si funciona y si es “rentable” en términos sociales. Si, en cambio, hay un programa que lleva funcionando un tiempo y no ha sido objeto de evaluación, se puede medir el impacto para hacer ajustes a la política. Por ejemplo, para decidir si se continúa con el programa, se reforma o se acaba completamente.
Hay variantes del diseño básico del experimento social que hacen que su adopción sea más fácil. Por un lado, como algunas intervenciones son muy populares, la demanda excede los cupos disponibles. Así, se podría pensar en asignar los cupos aleatoriamente entre los solicitantes. La asignación aleatoria entre tratamiento y control podría hacerse a nivel individual (por ejemplo, a nivel de hogares), o a nivel de conglomerado (por ejemplo, comunidades), como se discute en la siguiente sección.
Cuando no es posible asignar el tratamiento de manera aleatoria por razones éticas o prácticas, se puede incentivar a un subgrupo de la población elegido de manera aleatoria a participar en el programa. Por ejemplo, en nuestro programa Canasta esto implicaría que a un grupo de familias elegibles, seleccionadas aleatoriamente, se les envía a la casa un paquete con información acerca de las fechas y lugares de inscripción, y con los tiquetes de bus para ir y volver, de tal manera que se disminuyan los costos de inscribirse.21
Aunque se inscribirán tanto familias que recibieron el incentivo a participar como aquellas que no, es de esperarse que la proporción de las que participan y recibieron el incentivo sea mayor que las que no recibieron el incentivo. Así, el haber recibido el incentivo es una variable instrumental natural con la cual se puede evaluar el tratamiento. En este caso, las técnicas necesarias para estimar el impacto del programa son un poco distintas (ver capítulo 7).
4.1. Intervenciones a nivel individual vs. conglomerados
Suponga que el programa Canasta fuera a implementarse en el país como un experimento social. En este caso, se puede elegir uno de dos diseños básicos: aleatorización a nivel individual o a nivel de conglomerados (clusters). Si se aleatoriza a nivel individual, se conforma un listado de los hogares elegibles. De la lista de elegibles, se escogen aleatoriamente unos hogares que harán parte del programa y el resto de los hogares no serán beneficiarios del programa por lo cual constituirán el grupo de control.
En el caso de asignación aleatoria a nivel de conglomerado, se asigna de manera aleatoria la participación en el programa, pero no a nivel de individuos, sino de barrios o comunidades. Se pueden aprovechar las restricciones logísticas o presupuestales típicas en los gobiernos, o las restricciones en la capacidad operativa del programa para aleatorizar el orden de entrada de los diferentes municipios al programa. En una asignación a nivel de conglomerados se pospone la entrada de algunos grupos, de tal manera que actúen como grupo de control. En el componente rural del programa mexicano de subsidios condicionados, Oportunidades (que anteriormente se llamaba Progresa), se llevó a cabo una aleatorización en comunidades similar a la descrita anteriormente. En el inicio del programa, se tomó una muestra representativa de 506 municipios. El programa empezó a operar en 1998 en 320 de estos municipios, asignados de manera aleatoria al grupo de tratamiento. En los 186 municipios restantes, grupo de control, el programa empezó a funcionar a finales de 1999.
En muchas intervenciones es posible elegir el nivel al que se hace la aleatorización. No existe una clara ventaja de alguno de los diseños básicos sobre el otro; a veces será más apropiado hacer la aleatorización a nivel individual y a veces a nivel de conglomerado. La deseabilidad de uno u otro depende por ejemplo del tipo de preguntas de interés en la evaluación, consideraciones políticas, restricciones logísticas, y existencia de externalidades, entre otras.
Si por su naturaleza las intervenciones pretenden afectar a una comunidad completa, es claro que la aleatorización debe hacerse a este nivel. Por ejemplo, si se quiere construir canchas deportivas para mejorar la recreación de los jóvenes, éstas beneficiarán a todos los jóvenes en la comunidad. Por tanto, para evaluar su impacto se debe realizar la aleatorización entre comunidades y no a nivel individual.
La aleatorización por congomerados es una buena alternativa cuando es difícil negar los beneficios de una intervención a una fracción de los miembros de una comunidad, pues pueden ser tan pobres y vulnerables como los beneficiarios. Por ejemplo, suponga que nuestro programa Canasta estuviera conformado por dos componentes: un mercado mensual y materiales didácticos, por ejemplo, libros infantiles. Si hubiera un grupo de control “puro”, es decir, que no recibiera beneficio alguno, es posible que se negaran a participar en el experimento y no accedieran a la recolección de información. En este caso se podría asignar de manera aleatoria el tipo de intervención, y así comparar la efectividad relativa de cada una. Es decir, se asignaría a parte de la comunidad el mercado, a parte de la comunidad los materiales didácticos y a parte de la comunidad ambos componentes, todo de manera aleatoria. O de manera alternativa, se podría asignar el programa por municipios para evitar los problemas éticos y políticos dentro de municipio.
La intervención a nivel de conglomerados es también preferible en el caso en que (parte de) los beneficios se transfieren de los tratados a los controles simplemente porque conviven en la misma comunidad; spillovers en inglés. Imagine que en el programa Canasta además del mercado se ofrecieran sesiones para las madres sobre el manejo adecuado de los alimentos, para disminuir la prevalencia de diarrea entre los niños pequeños. Es posible que las mamás de los niños beneficiarios hablen mucho con sus vecinas y amigas que no son beneficiarias, y les transmitan el conocimiento recibido en las charlas. Esto implica que la prevalencia de diarrea en los controles disminuiría de manera similar, y se podría concluir erróneamente que la intervención no tuvo efectos sobre la prevalencia de diarrea.
Para un nivel de impactos y de confianza determinados, el tamaño de muestra en el caso en que la unidad de observación es el conglomerado debe ser mayor que en el caso en que la unidad de observación es el individuo, para poder estimar efectos significativos de la intervención. Además, el tamaño de muestra necesario crece a medida que aumenta el tamaño de los conglomerados (es decir, a medida que aumenta el número de observaciones individuales por conglomerado). Por tanto, el nivel de aleatorización puede tener efectos importantes en el presupuesto del experimento ya que con frecuencia el levantamiento de información es el rubro más importante en los costos de las evaluaciones.
4.2. El modelo de diferencias
Lo más relevante de una aleatorización exitosa es el tipo de datos que genera, más que las técnicas econométricas utilizadas. Esto se debe a que el tratamiento está distribuido de manera independiente de otros determinantes de los impactos. Un buen experimento social asegura que las condiciones iniciales, tanto en la variable de resultado como en otras características, sean idénticas entre los grupos de tratamiento y control. Por tanto, la variable de resultado en ausencia del programa debería ser idéntica para los tratados (Di = 1) y para el grupo de control (Di = 0), es decir, se cumple el supuesto de independencia condicional, E[ui|Di] = 0, y podemos usar el promedio de la variable de resultado para el grupo de control E[Yi(0)|Di = 0] como aproximación del contrafactual, E[Yi(0)|Di = 1].
Si Di es binario, dadas las características de los datos generados por una aleatorización, las técnicas necesarias para establecer el efecto del tratamiento son extremadamente sencillas: se puede medir como la diferencia de medias en la variable de interés entre los grupos de tratamiento y control después de la intervención. Esta diferencia de medias se puede implementar de manera sencilla, con base en el modelo de regresión lineal. Como los datos generados en una aleatorización exitosa no sufren de contaminación por sesgo de selección, la asignación aleatoria del tratamiento implica que el supuesto de independencia condicional, E[ui|Di] = 0, se cumple automáticamente. El modelo que permite la comparación es:
donde Yi es la variable de resultado, Di es el indicador de tratamiento y ui es el error. El estimador de MCO en (4.1), , se llama estimador de diferencias, dado que es igual a la diferencia en medias entre los grupos de tratamiento y control. Dado que se cumple el supuesto de independencia condicional, E(ui|Di) = 0, el estimador de diferencias es insesgado y consistente. Así, 
, donde Ȳ|D es el promedio muestral de cada grupo. A medida que el tamaño de la muestra aumenta, esta diferencia converge a 
. Cuando un experimento social se diseña e implementa exitosamente, genera estimaciones insesgadas del efecto del programa para la población objetivo. Es decir, los resultados tienen validez interna. Sin embargo, el estimador de diferencias no necesariamente es eficiente.22
Ejemplo 4.1:
Suponga que la participación en Canasta, cuyo objetivo es mejorar el estado nutricional de los niños, fue asignada de manera aleatoria a nivel individual. La variable de resultado relevante es la estatura según la edad de los niños participantes. En particular, asumimos que se tiene a disposición el puntaje Z de la estatura según la edad, es decir, el número de desviaciones estándar que el niño está por encima o por debajo de la media de su grupo relevante.
La siguiente tabla muestra datos relacionados con la evaluación de Canasta. La primera columna presenta el porcentaje de niños en buen estado de nutrición, de familias que participan en el programa E[Yi(1)|Di = 1], dado el nivel educativo de la madre (según la fila). La segunda columna contiene los mismos datos del estado nutricional de los niños de un grupo de control elegido de manera experimental E[Yi(0)|Di = 0] = E[Yi(0)|Di = 1]. Recuerde que en un experimento aleatorio el grupo de control es exactamente el contrafactual, dado que se elige de manera aleatoria. La tercera columna presenta la distribución del nivel educativo de las madres de los grupos de tratamiento y control, que es idéntica. Por ejemplo, el 20% de las madres (tanto de tratamiento como de control) tienen bajo nivel educativo.
Con los datos de la tabla podemos calcular el ATT, es decir, el efecto del programa sobre los participantes por el método de diferencias, dado que el grupo de control fue elegido de manera aleatoria:
Canasta aumentó el puntaje Z de los niños beneficiarios en 0.16 desviaciones estándar. La idea detrás de un experimento aleatorio es que al asignar aleatoriamente las familias a los grupos de tratamiento y control, se garantiza que E[Yi(0)|Di = 1] = E[Yi(0)|Di = 0]. Si la aleatorización fue exitosa, entre los individuos de tratamiento y control sólo se deberían observar diferencias en variables de resultado; no debería haber diferencias en ninguna de las variables que no se ven afectadas por el programa.
4.3. El estimador de diferencias con regresores adicionales
Dependiendo de la disponibilidad de datos, se puede mejorar la eficiencia del estimador de diferencias, manteniendo las otras características deseables como el insesgamiento y la consistencia. Por ejemplo, incluso si la aleatorización fue exitosa, otras variables pueden contribuir a determinar la variable de resultado además del tratamiento. La información contenida en estas variables, al no controlar por ellas de manera directa, está implícitamente contenida en el término de error. Si la característica del individuo que afecta la variable de resultado está contenida en la base de datos disponible, entonces podemos incluirla explícitamente en la regresión como una variable explicativa adicional en un modelo de regresión multivariado:
donde X1i a XKi son características individuales que preceden al tratamiento y que no se ven afectadas por éste. En este caso, es el estimador de diferencias con regresores adicionales; es insesgado, consistente y más eficiente que el estimador de diferencias, pues la inclusión de los regresores adicionales mejora la precisión con que se estiman los efectos siempre que γk 
0,k = 1, ... , K.
4.4. El estimador de diferencias con efectos heterogéneos
Podemos ajustar la ecuación (4.2) para estimar los efectos heterogéneos de la intervención entre subgrupos de la población estudiada. Es decir, es posible que el efecto del programa difiera de un individuo a otro, o de un grupo de individuos a otro, dependiendo de las características individuales. Suponga que la variable de resultados depende de una variable para la cual tenemos información, Xi, y que el efecto del programa varía dependiendo de la misma variable observable. Por ejemplo, para individuos con bajo Xi se espera que el efecto del programa sea mayor que para individuos con alto Xi .
Este efecto diferencial se calcula de forma general obteniendo el estimador de diferencias para cada posible valor de Xi. Sin embargo, esto es difícil en la práctica. Un enfoque pragmático consiste en estimar la siguiente regresión incluyendo un término de interacción entre el indicador de tratamiento, Di , y la variable Xi .
Por ejemplo, suponga que Xi = {0, 1} y que para los individuos con Xi = 0 el efecto del programa es diferente que para los individuos con Xi = 1. Tomando expectativa condicional de la ecuación (4.3), tenemos que,
por el supuesto de independencia condicional según el cual E(ui|Di) = 0.
Entonces, el efecto del programa para los individuos con Xi = 1 es:
mientras que para los individuos con Xi = 0 es:
Por tanto, el efecto diferencial del programa sobre los individuos con Xi = 1 está dado por β3; β3 > 0 mide qué tanto mejor es el programa sobre los Xi = 1 con respecto a los Xi = 0.
4.5. El estimador de diferencias en el tiempo
Hay otro estimador de diferencias que calcula el impacto de estar expuesto a un programa como la diferencia en la variable de interés antes y después de la implementación del programa para el grupo de tratamiento únicamente. Lo que queremos determinar es cuánto del cambio en la variable de resultado entre dos períodos de tiempo se puede atribuir al programa.
Suponga que observamos a los individuos tratados por dos períodos (uno antes y uno después de la aplicación del tratamiento) y definimos el indicador Ti como una variable binaria igual a 0 en el primer período que antecede a la aplicación del tratamiento (pretratamiento) e igual a 1 en el período posterior a la aplicación del tratamiento (postratamiento). El estimador de diferencias en el tiempo estaría dado por:
donde Ȳ1 es el promedio de la variable de resultado en el grupo de los tratados en el período posterior a la intervención (Ti = 1) y Ȳ0 es el promedio de la variable de resultado en el grupo de los tratados en el período anterior a la intervención (Ti = 0). Este estimador se puede obtener por el método de regresión lineal al estimar
En la regresión (4.5) se incluye solamente la muestra de individuos tratados. En este caso, correspondería al estimador de diferencias en el tiempo.
Note, sin embargo, que algunas variables de resultado pueden tener una tendencia natural en el tiempo. Por ejemplo, los niños pequeños naturalmente ganan estatura debido al crecimiento normal entre una medición y otra. Por tanto, si la variable de resultado exhibe una tendencia natural en el tiempo, entonces confundirá esta tendencia con el efecto del programa. En suma, sólo es un estimador insesgado del efecto del programa si no existe una tendencia temporal en la variable de resultado. Éste, sin duda, es un supuesto bastante fuerte.
Si se dispone de más de dos observaciones para cada individuo, entonces es posible controlar explícitamente por esta tendencia temporal natural para estimar el efecto adicional del programa sobre la variable de interés, por encima del crecimiento normal.
Formalmente, se define ti como una tendencia de tiempo que afecta la variable de resultado: t es igual a 0 en el primer período, 1 en el segundo período, 2 en el tercer período, y así sucesivamente. Esta manera de modelar la tendencia temporal asume que los aumentos en la variable de resultado son constantes para cada período de tiempo. Es decir, por ejemplo, que el crecimiento en estatura de los niños es igual en el primer año que entre el cuarto y quinto año. Éste también es un supuesto fuerte.
Se estima el efecto de diferencias en el tiempo con base en la siguiente regresión lineal:
De nuevo, la estimación se realiza utilizando solamente la muestra de individuos tratados. Al incluir la tendencia de tiempo, controlamos por el efecto natural del tiempo sobre la variable de interés.23 Entonces mide la diferencia entre antes y después en la variable de interés para el grupo de tratamiento, neta de la diferencia que se iba a dar en la variable de resultado debido al paso del tiempo. A este estimador se le conoce como estimador pre-post. Este estimador es particularmente útil para evaluar programas universales, dado que en estos casos no es posible utilizar un grupo de control como comparación. También se utiliza con frecuencia para evaluar programas en curso, pues no es necesario contar con un grupo de control.
Ejemplo 4.2:
Suponga que nos interesa medir el impacto de Canasta sobre la estatura por edad de los niños. Si la participación en el programa se asigna de manera aleatoria, entonces las familias de los grupos de tratamiento y control son idénticas tanto en variables observadas como no observadas. Así, el impacto del programa en la estatura de los niños se puede medir como la diferencia entre el promedio de estatura para el grupo de tratamiento y el promedio para el grupo de control, para cada rango de edad. Esto se puede calcular con una regresión lineal de la estatura sobre la variable binaria de participación Di estimada por MCO:
es el estimador de diferencias y mide el efecto de Canasta sobre la estatura de los niños beneficiarios. Como el tratamiento se asigna aleatoriamente, es insesgado.
Imagine ahora que la población de interés está compuesta por dos razas: altos y bajos. La variable raza, que afecta la estatura de los niños, claramente no depende de si la familia es beneficiaria de Canasta. El estimador de diferencias sin controles adicionales, al no controlar por la raza, sigue siendo insesgado pero es ineficiente. Esto se debe a que esta variable está implícitamente en el término de error de la ecuación. Si se tiene información de la raza de la familia, podemos modificar el modelo anterior para incluirla explícitamente:
donde Xi es 1 si el individuo es alto y 0 si es bajo. es el estimador de diferencias con regresores adicionales.
Si la mejora en nutrición asociada al programa es más eficiente en los altos que en los bajos, por sus predisposiciones genéticas, el impacto del programa dependerá de la variable raza. Estos efectos diferenciales o heterogéneos se calculan así:
Dentro de los tratados, 
es el impacto adicional en estatura para los altos con respecto a los bajos.
Finalmente, podemos hacer una estimación del impacto del programa del tipo antes-después, usando únicamente el grupo de tratamiento. Así, usando sólo a los individuos tratados, estimamos la ecuación
donde Ti es igual a 0 antes de iniciar el programa e igual a 1 después de la intervención. ti es una tendencia de tiempo que captura el hecho de que los niños entre 0 y 5 años están en proceso de crecimiento y por tanto su estatura aumenta de un año a otro, independientemente del programa. Así, el estimador pre-post, , mide en el grupo de control el aumento adicional (por encima del crecimiento normal) en la estatura de los pequeños. Este modelo sólo se puede estimar si hay más de dos períodos (uno antes y uno después) porque, de lo contrario, Ti y ti coinciden perfectamente y y 
no están identificados separadamente.
4.6. Problemas potenciales de la aleatorización
A pesar de las bondades evaluativas que ofrecen los experimentos sociales, los experimentos, en la práctica, pueden desviarse del diseño ideal. Problemas en la aleatorización pueden implicar que la inferencia estadística acerca de los efectos causales calculados no es válida para la población bajo estudio. Por ejemplo, los individuos actúan de manera diferente al conscientemente participar en un experimento, que si participaran en un programa fuera del marco experimental. El participar en un experimento puede alterar el comportamiento del grupo de tratamiento (efecto experimental o Hawthorne) o el del grupo de control (efecto John Henry). Otro problema potencial es que, dados los altos costos de los experimentos sociales, es posible que el tamaño de la muestra sea pequeño y, por tanto, la medición de los efectos no sea suficientemente precisa. Además, si la muestra es pequeña no se garantiza el supuesto de independencia, porque la probabilidad de que todas las madres con ciertas características particulares (por ejemplo, las más recursivas) caigan en un grupo particular (tratamiento o control) no es despreciable.
Otros factores, como una mala aleatorización, el no cumplir con el protocolo de tratamiento y la pérdida de muestra, introducen correlación entre el tratamiento, Di, y el término de error, ui. Así, el estimador de diferencias es sesgado. Si hay fallas en la aleatorización, el tratamiento no es asignado de manera completamente aleatoria, sino que se basa en parte en las características o preferencias de los individuos. Los resultados de las variables objetivo reflejarán tanto el impacto del programa como el efecto de la falla en la aleatorización. Suponga que la pertenencia a los grupos de tratamiento y control en Canasta se hace con base en la primera letra del apellido. Dadas las diferencias étnicas en apellidos, podría haber diferencias sistemáticas en etnicidad entre los grupos de tratamiento y control, generando una correlación entre la variable de tratamiento y el error. Otro ejemplo de fallas en la aleatorización tiene que ver con el caso en que algunos individuos favorecidos en la lotería, y, por tanto, miembros potenciales del grupo de tratamiento, decidan no participar en el programa. También puede suceder que personas que no salieron favorecidas originalmente en la lotería, y, por tanto, son del grupo de control, insistan hasta que las metan en el programa. Seguramente estos dos grupos de personas tienen características diferentes al resto, tanto en variables incluidas como en otras que no quedaron registradas en la base de datos. Esto introduce una correlación entre el tratamiento, Di, y el término de error, ui . El permitir que estas personas cambien de grupo genera sesgo de selección y, por tanto, las técnicas descritas en este capítulo no pueden usarse para estimar el efecto del programa.
Cuando el protocolo de tratamiento no se cumple al pie de la letra, se pueden generar problemas que ponen en riesgo el éxito de la aleatorización. Imagine que la administración central de Canasta envía las listas del resultado de la aleatorización a los municipios después de que inicia el proceso de inscripción al programa. Algunos de los ya inscritos, y, por tanto, beneficiarios del programa pertenecían originalmente al grupo de control. Aunque la intención de tratamiento era aleatoria, el tratamiento efectivo no lo es, puesto que las madres más proactivas pertenecen al grupo de tratamiento por haberse inscrito primero. Esto implica que las madres del grupo de tratamiento son más proactivas que las del grupo de control. El grupo que recibe los beneficios es un subconjunto particular de la población y, por tanto, los grupos de tratamiento y control se determinan en parte por autoselección.24
4.7. Verificación de la aleatorización
¿Cómo evaluar si la aleatorización está bien hecha? Si el tratamiento fue recibido de manera aleatoria, Di no estará correlacionado con ninguna variable observada de los agentes. Podemos entonces estimar la siguiente ecuación por MCO25:
donde X1i a XKi son características individuales. Cuando el tratamiento no está correlacionado con las características individuales, los coeficientes que acompañan las Xki deben ser cero. En la práctica, se calcula un estadístico F de significancia conjunta26 de las Xki. Puesto que Di es binaria, necesitamos calcular errores estándar robustos, como lo muestra el anexo 4. Si los resultados sugieren que el tratamiento no fue asignado de manera aleatoria, es posible ajustar las fallas de la aleatorización al usar el estimador de diferencias con controles adicionales. Sin embargo, si la falla en la aleatorización no se limita sólo a variables que se encuentran en la base de datos, sino que el tratamiento depende además de variables para las cuales no tenemos información que determinan Y, esta estrategia no resuelve las fallas en la aleatorización.
Ejemplo 4.3:
Para determinar si la aleatorización en Canasta fue exitosa, estimaríamos la siguiente regresión:
donde la variable independiente es el tratamiento, Di, y X1i a Xki son las características de los niños y hogares, tales como raza, edad, sexo del jefe del hogar y número de personas en el hogar. Para que el experimento sea válido y sus resultados sean confiables, debemos rechazar la hipótesis de que el conjunto de variables observables X1i a Xki explica el tratamiento.
4.8. Desventajas de los métodos experimentales
Los experimentos sociales tienen varias ventajas sobre los métodos no experimentales (descritos en capítulos posteriores). Por un lado, es fácil explicar en qué consiste un experimento social, ya que la asignación aleatoria es muy intuitiva. Como las técnicas usadas para calcular el impacto del programa usando datos experimentales son sencillas, sus resultados son transparentes para políticos, diseñadores de políticas y el público en general. Además, es difícil manipular los resultados de la evaluación, ya que el evaluador no puede elegir estratégicamente el método de estimación para generar los resultados deseados.
A pesar de las ventajas descritas, los experimentos sociales no son una solución fácil de todos los problemas evaluativos y sufren de diversas limitaciones. Hacer una buena evaluación con base en un experimento social controlado es costoso monetaria y políticamente. Los primeros experimentos sociales realizados en Estados Unidos se hicieron a gran escala, lo cual implicaba un fuerte esfuerzo presupuestal y una implementación compleja. En cuanto a los costos políticos, es bien sabido que hubo un fuerte escándalo en los medios cuando se supo que el orden de ampliación del programa mexicano de subsidios condicionados, Oportunidades (que en la época se llamaba Progresa), se había determinado de manera aleatoria. Los métodos experimentales pueden ser más costosos que los no experimentales pues la evaluación de los segundos puede hacerse, y con frecuencia se hace, con datos ya existentes; como el experimento aleatorio se hace específicamente para evaluar una intervención, se deben destinar recursos para la prueba piloto, la recolección de información, los seguimientos y a veces incluso la implementación del programa.
Hay además una injusticia fundamental: por pertenecer al grupo de control, se está excluyendo a un segmento de la población, igualmente vulnerable, de los beneficios de la intervención. Como no se pueden negar los beneficios del programa durante largos períodos, eventualmente el grupo de control entra a formar parte del grupo de tratamiento. Así, aunque se sabe que los efectos de corto y largo plazo con frecuencia difieren sustancialmente (en un experimento social no se pueden negar los beneficios del programa en el largo plazo), entonces no se pueden estudiar dichos efectos.
También puede haber externalidades o efectos de equilibrio general. Las externalidades son los efectos externos (esperados o no) generados por el programa, mientras que los efectos de equilibrio general son los efectos que puede tener la intervención sobre su entorno. Tomemos el programa colombiano de subsidios condicionados, Familias en Acción. El objetivo del componente nutricional es mejorar el estado nutricional de los niños menores de cinco años de familias vulnerables, entregándole a la familia un subsidio mensual en dinero. Dado que este subsidio se entrega a las familias que tengan niños menores de cinco años, una posible externalidad es que las familias decidan tener hijos para recibirlo. Un posible efecto de equilibrio general es el aumento en el nivel de precios de los alimentos, si a causa del programa aumenta sustancialmente la capacidad de compra de los habitantes del municipio. Tanto los efectos de equilibrio general como las externalidades afectan al grupo de control y esto contamina la medición del efecto de la intervención.
Finalmente, por las características de los experimentos sociales, solamente se puede evaluar el programa tal como está diseñado, y no se puede evaluar el impacto de variaciones en el programa existente (análisis contrafactual). Por ejemplo, no se puede saber cuál sería el efecto de proveer mercados con valores diferenciados en Canasta, según el sexo de los niños, a no ser que se hagan experimentos donde distintos hogares reciben aleatoriamente distintos valores de Canasta.
Si tanto el diseño como la implementación de la aleatorización son adecuados, los resultados son internamente válidos, es decir, el impacto estimado es generado por la intervención. Uno de los objetivos fundamentales de los experimentos sociales es la posibilidad de generalizar los efectos estimados del programa a un grupo más grande de la población. Sin embargo, diversos aspectos pueden amenazar la validez externa del experimento. El experimento debe ser suficientemente similar al programa para poder generalizar los resultados a la población de interés; tanto la población estudiada como el programa implementado deben ser suficientemente similares a la población y al programa de interés. Los efectos de equilibrio general y externalidades también pueden afectar la validez externa. Por ejemplo, al escalar una intervención pequeña y focalizada se puede cambiar el entorno económico de manera tal que no se pueden generalizar los efectos del experimento. Finalmente, dado que con frecuencia la participación en los programas es voluntaria, el efecto de un programa medido sobre una población elegida aleatoriamente puede no ser un estimador insesgado del efecto del programa real.27
Tres aspectos fundamentales afectan la posibilidad de generalizar los resultados de una evaluación aleatoria en otros contextos. Primero, los experimentos modernos son con frecuencia de pequeña escala y manejados con extremo cuidado, por ejemplo, operados por los actores más experimentados de los programas. Por tanto, se teme que este estándar de implementación no se pueda replicar al escalar el programa. Para solucionar esto es necesario documentar adecuadamente la implementación del experimento para poder replicarlo. Segundo, dado que los experimentos sociales se realizan en regiones específicas, ¿se puede concluir que, dado que una población particular respondió de una manera al programa, otra población reaccionará de una manera similar a un programa parecido? No necesariamente. Para solucionar esto se puede, o bien realizar el mismo experimento en diversas regiones, o bien usar modelos comportamentales que determinen el canal mediante el cual se genera el efecto, para predecir si es posible replicar el éxito del programa. Tercero, una situación similar se da cuando nos preguntamos por el efecto de variaciones en el programa. Una posibilidad interesante es entonces combinar experimentos sociales con modelos económicos, bien sea para estimar un mayor número de parámetros, o para determinar los canales mediante los cuales se generan los efectos.
Si la aleatorización no es completamente exitosa, el estimador de diferencias es sesgado y necesitamos utilizar otras técnicas econométricas para estimar el efecto del programa, tal y como se estudia en los siguientes capítulos. Pero, como se discutió anteriormente, incluso si la aleatorización es exitosa, los resultados de los experimentos sociales sufren diversos problemas, tales como potencial falta de validez externa, efectos Hawthorne o John Henry, no tienen en cuenta efectos de equilibrio general, comúnmente miden efectos de corto plazo, entre otros.
4.9. Implementación del modelo de diferencias en Stata
En el ejemplo práctico que se utiliza en este libro acerca del programa Canasta, se evalúa el efecto de la intervención sobre la estatura según la edad de los niños participantes. Como se mencionó anteriormente, asumimos que se tiene a disposición el puntaje Z de la estatura según la edad, es decir, el número de desviaciones estándar que el niño está por encima o por debajo de la media de su grupo relevante.
En todos los ejemplos de este libro, esta variable tiene el nombre de “ha_nchs”, ya que corresponde al puntaje Z que utiliza para su cálculo los estándares de 1977 del National Center for Health Statistics (NCHS).
Además, cuando es relevante, se define una variable adicional con base en el puntaje Z de la estatura según la edad. En particular, si un niño está al menos dos desviaciones estándar por debajo de la media de su grupo relevante, entonces se considera que el niño padece de desnutrición crónica (“desn_cr”):
En el presente capítulo asumimos que se tienen datos provenientes de un experimento social controlado. Así, además del error de muestreo, la única diferencia entre los grupos de tratamiento y control es la intervención. Para estimar el impacto de Canasta sobre la estatura según la edad de los niños beneficiarios, se puede calcular la diferencia de medias entre las dos poblaciones. El puntaje Z promedio del grupo de tratamiento es –0.6116.28 Esto se lee como que en promedio los niños tratados están algo más de tres quintos de desviación estándar por debajo del promedio. Esto se debe a que pertenecen a una población vulnerable. Por su parte, el puntaje Z promedio del grupo de control es –0.8460. Así, el impacto de Canasta es:
Entonces, ser beneficiario de Canasta genera un aumento en el indicador de estatura según la edad de 0.2343 desviaciones estándar. Alternativamente, se puede estimar el efecto del programa usando una regresión sencilla de la estatura según la edad sobre el indicador de tratamiento Di. El resultado 4.1 confirma que el efecto del programa es 0.2343 desviaciones estándar y es estadísticamente significativo al 1% de confianza porque el p-valor (P > |t|) es menor que 0.01. Una desviación estándar de la estatura entre los 0 y los 5 años de edad es de entre 3 y 5 centímetros dependiendo de la edad exacta del niño, lo cual implica que el efecto del programa está entre 0.6 y 1 centímetro de estatura. Esto podría considerarse como un efecto cuantitativamente importante.29 El anexo 5 presenta a manera de ejemplo la salida (output) de Stata del resultado 4.1 traducida al español, además de una tabla que describe en detalle qué es cada uno de los estadísticos que reporta el programa.
Incluso si la aleatorización fue exitosa, otras variables pueden contribuir a determinar la variable de resultado, además del tratamiento. Por tanto, es deseable incluir en la estimación las variables que no son afectadas directamente por el tratamiento y que ayudan a determinar la estatura según la edad, con el objetivo de mejorar la eficiencia del estimador. Esto se hace incorporando controles adicionales en la estimación del impacto del programa.
Resultado 4.1:
El resultado 4.2 muestra que, al agregar diversos controles, el efecto de Canasta es de 0.2305 desviaciones estándar, lo cual es bastante parecido a los resultados que habíamos obtenido anteriormente en el resultado 4.1. Además, algunas de las variables incluidas están significativamente asociadas con la estatura según la edad de los niños. En particular, retomemos el ejemplo donde existen dos grupos o “razas” en la población, altos y bajos. En esta estimación, pertenecer a la raza baja está asociado con una estatura según la edad 0.4218 desviaciones estándar más baja con respecto a los de raza alta. La disminución en los errores estándar asociados con el impacto del programa (de 0.0399 en el resultado 4.1 a 0.0318 en el resultado 4.2) tiene que ver con la ganancia en eficiencia de la estimación al incluir las variables explicativas adicionales.
Si Canasta mejora la nutrición de manera más eficiente en los altos que en los bajos, por sus predisposiciones genéticas, es deseable calcular los efectos diferenciales del programa entre las dos razas. Para esto se introduce una interacción entre el indicador de tratamiento, Di , y el indicador de raza baja.
El resultado 4.3 muestra la estimación del impacto de Canasta con controles adicionales y efectos heterogéneos. La intervención tiene efectos diferenciales sobre los individuos dependiendo de la raza a la que pertenecen. En particular, aumenta 0.3258 desviaciones estándar de la estatura por edad para el grupo alto, y 0.1351 (=0.3258-0.1906) para los bajos. El primer efecto se lee directamente de la regresión, pues es el coeficiente que acompaña el tratamiento, mientras que el segundo se calcula como la suma del coeficiente del tratamiento y el de la interacción del tratamiento con el indicador de raza, D_baja. Así, el efecto del Programa de 0.2305 calculado en el resultado 4.2, no es más que el promedio ponderado de los efectos heterogéneos entre las dos razas.
Resultado 4.2:
Resultado 4.3:
Para determinar si los impactos diferenciales para los dos grupos son estadísticamente significativos, se realiza una prueba estadística donde la hipótesis nula es que la suma de los coeficientes del tratamiento y de la interacción entre tratamiento y raza es estadísticamente igual a cero. La diferencia de casi un quinto de desviaciones estándar es estadísticamente significativa al 5% de confianza (ver la prueba F, presentada en la parte inferior del resultado 4.3). Así, como la prueba estadística determinó que la suma de los coeficientes del tratamiento y la interacción es diferente de cero, y cada uno de éstos es significativo individualmente, el efecto del programa en la raza baja es positivo y significativo estadísticamente, aunque sea menor que el calculado para la raza alta.
Finalmente, es necesario determinar si el tratamiento fue efectivamente recibido de manera aleatoria. Con este objetivo, se estima una regresión con el indicador de tratamiento, Di , como variable dependiente, y el conjunto de variables incluidas anteriormente en la estimación como variables independientes. De esta manera, se determina si la asignación del tratamiento está correlacionada con alguna variable para la cual se tiene información. Dado que el tratamiento es un indicador, esta estimación se puede realizar usando el modelo de probabilidad lineal con errores estándar robustos, o usando un modelo logit o probit. En el resultado que se presenta a continuación se escoge la opción de estimar el modelo por probit.
Resultado 4.4:
El resultado 4.4 presenta los efectos marginales calculados usando un probit. El hecho de que en la estimación ninguna de las variables de control incluidas resulte significativa (ver pruebas t sombreadas), y que el modelo en su conjunto tampoco lo sea (ver prueba de significancia conjunta X2 (ji-cuadrada) sombreada en la parte superior), verifica que el tratamiento no se asigna de acuerdo con características de los individuos para las cuales tenemos información en la base de datos disponible. Por tanto, la aleatorización está bien hecha y podemos usar el modelo de diferencias para calcular los impactos.
4.10. Conclusiones y ejemplos
Los experimentos sociales pueden generar estimaciones confiables de los impactos de programas nuevos y antiguos, pero tienen costos y beneficios que se deben ponderar antes de decidir si se eligen como estrategia de evaluación. En caso de adoptarse, esta herramienta requiere una implementación cuidadosa y una buena interpretación de los resultados. Dado que por diseño resuelven el problema del sesgo de selección, los experimentos aleatorios son considerados como punto de referencia para determinar el impacto de los programas o intervenciones. Entre sus ventajas se cuenta con que los resultados son muy transparentes, dado que, por la calidad de los datos generados, no es necesario utilizar herramientas econométricas sofisticadas. Por lo tanto ayudan, a la transparencia de las políticas públicas y a la rendición de cuentas.
Los experimentos sociales, a pesar de sus ventajas, sufren diversas limitaciones. Por un lado, pueden ser costosos y de difícil implementación. Esta desventaja se ha visto atenuada, pues las evaluaciones experimentales que se han llevado a cabo últimamente en los países en desarrollo son más modestas y a una escala mucho menor. Por tanto, se han vuelto una alternativa seria en las evaluaciones (Duflo, Glennerster y Kremer, 2006). Segundo, la experimentación sufre problemas éticos al negarle a una porción de la población elegible los beneficios de la intervención. Sin embargo, hay variantes del diseño puramente experimental que aminoran este problema, por ejemplo, aprovechar las restricciones logísticas para la ampliación de un programa.
Además, dado el diseño de los experimentos y la imposibilidad de negar los beneficios a un grupo de control por largos períodos, con frecuencia es imposible estimar los impactos de largo plazo. Es posible que los efectos de largo plazo difieran de manera sustancial de los de corto plazo. Los experimentos también tienen problemas de validez externa que se pueden suavizar repitiendo el experimento en distintas regiones, experimentando con diferentes versiones del programa o usando la teoría económica para entender los canales a través de los cuales se generan los efectos.
Hay varios aspectos importantes de los experimentos sociales que no se han mencionado en el capítulo, porque están por fuera del alcance del presente texto. Se remite al lector interesado al artículo de Duflo, Glennerster y Kremer (2006), para una introducción al uso de experimentos sociales en el área de desarrollo económico; a Cox y Reid (2000) para un tratamiento amplio de la teoría del diseño de experimentos; y a Bloom (1995) para los cálculos de poder.30
A continuación se presentan tres ejemplos de experimentos sociales. El primero es uno de los experimentos clásicos de gran escala. Fue llevado a cabo en Tennessee, Estados Unidos, a mediados de la década de los ochenta del siglo XX. El Proyecto STAR (Student-Teacher Achievement Ratio) fue un estudio experimental de cuatro años en Tennessee para estudiar el efecto del número de estudiantes por profesor en una clase sobre el desempeño de los alumnos en lectura y matemáticas. Ésta es una de las evaluaciones clásicas que muestra los beneficios que tiene ser parte de una clase pequeña para el desempeño académico de los niños. El segundo estudio que se presenta es la evaluación del Programa de Ampliación de Cobertura para la Educación Secundaria, que se implementó a comienzos de la década de los noventa en Colombia. La oferta educativa pública era restringida y, por tanto, se decidió dar bonos a los estudiantes para que pudieran cubrir los costos de matrícula y asistir a secundarias privadas. Como la demanda de bonos ampliamente superaba la oferta, una buena parte de su asignación se hizo de manera aleatoria. El tercer ejemplo es un experimento social controlado que estima el efecto de proveer información acerca de la ayuda financiera para la educación superior sobre el desempeño escolar en Chile.
Ejemplo 1: Stock y Watson (2006), Proyecto STAR, capítulo 13
Una pregunta clásica en economía de la educación es si una disminución en el tamaño de la clase afecta de manera positiva el rendimiento académico de los estudiantes. Se compararon tres tipos de clases entre los grados kínder y tercero de primaria: clases normales (22-25 alumnos), clases normales con asistente del profesor y clases pequeñas (13-17 estudiantes). Tanto profesores como alumnos que entraban a kínder se asignaban aleatoriamente a uno de estos tipos de clases. Cada año, los estudiantes presentaban unos exámenes estandarizados en lectura y matemáticas (Stanford Achievement Test). Durante la duración del estudio participaron aproximadamente 11,600 estudiantes y 80 colegios.
Se suponía que los estudiantes asignados en kínder seguirían en el mismo tipo de clase hasta terminar tercero. Sin embargo, por presiones de los padres, algunos estudiantes originalmente asignados a clases normales (con o sin asistente del profesor) fueron aleatoriamente reasignados a clases de tamaño normal al comenzar primero, con o sin asistente del profesor. Es decir, no hubo cambios entre tipos de clases, pequeñas o normales, por presión de los padres. Los estudiantes que originalmente pertenecían a clases pequeñas permanecieron en clases pequeñas durante los cuatro años del experimento. Por tanto, no hubo estudiantes que originalmente estuvieran en una clase grande y que fueran reasignados a una clase pequeña o viceversa.
A pesar del cuidadoso diseño, hubo desviaciones del diseño experimental que pueden introducir sesgos en los cálculos. Cerca de 10% de los estudiantes cambiaron entre tipos de clases, por ejemplo, de normal a pequeño, o viceversa, debido a incompatibilidades o problemas de comportamiento. Según evidencia anecdótica, estos cambios se hicieron para evitar conflictos personales. Esto sugiere que dichos cambios pueden estar suficientemente no relacionados con el experimento, y no se introduciría sesgo. Sin embargo, si los cambios se hubieran dado porque los padres más preocupados presionaron al colegio a cambiar a su hijo, podríamos estar sobrestimando el efecto de estar en una clase pequeña, al confundir el efecto de una clase pequeña con el efecto de tener padres más preocupados.
Como había dos grupos de tratamiento, clase pequeña y clase normal con asistente, el impacto del programa se estima introduciendo dos variables binarias:
donde Yi es el puntaje del estudiante i en el examen estandarizado, ClasePequeñai es una variable binaria igual a 1 si el estudiante está en una clase pequeña y a 0 de lo contrario, Asistentei es una variable binaria igual a 1 si el estudiante está en una clase normal con asistente y a cero si está en una clase de tamaño normal sin asistente, y X1i a Xki son características para las cuales tenemos información en la base de datos disponible tanto de los estudiantes –sexo, raza, entre otras– como de los profesores –por ejemplo, experiencia laboral–, y del plantel. Los resultados del estimador de diferencias y del estimador de diferencias con regresores adicionales se presentan en la tabla 4.1, en las columnas 1 y 2 respectivamente.
Los resultados sugieren que la reducción del tamaño de la clase mejora el desempeño académico promedio, medido por medio del examen estandarizado: el efecto de pertenecer a una clase pequeña es un aumento de 13.9 puntos del examen. Añadir un asistente del profesor en una clase de tamaño normal no tiene un efecto significativo sobre la variable de resultado. Note que los efectos calculados con el estimador de diferencias y el estimador de diferencias con regresores adicionales son bastante similares. Esto nos tranquiliza, pues sugiere que la asignación a una clase pequeña no depende de variables que observamos, y entonces es razonable pensar que tampoco depende de variables para las cuales no tenemos información. Además, la eficiencia de la regresión aumenta: no sólo aumenta el R2 sino que también disminuyen los errores estándar.
Una manera de interpretar si los efectos estimados de pertenecer a una clase pequeña son grandes o pequeños consiste en medirlos como desviaciones estándar del promedio del examen. El efecto de pertenecer a una clase pequeña es 0.19 desviaciones estándar del examen. Esto implica que disminuir en una unidad la relación estudiantes-profesor genera un cambio de casi un quinto de desviación estándar en el puntaje del examen. Así, los efectos de pertenecer a una clase pequeña son considerables.
TABLA 4.1 Estimador de diferencias con regresores adicionales para kínder
Nota: La variable dependiente es el puntaje combinado de matemáticas y lectura del examen estandarizado. Los errores estándar se reportan en paréntesis.
*** Significativo al 1%.
Fuente: Tabla 13.2 de Stock y Watson (2006), p. 489.
Ejemplo 2: Angrist et ál. (2002)
El Programa de Ampliación de Cobertura para la Educación Secundaria (PACES) fue implementado en 1991 en Colombia. Dada la limitada capacidad de la oferta pública en educación secundaria, se asignaron bonos financiados por el Gobierno a más de 125,000 estudiantes de colegios de primaria públicos de estratos 1 y 2, para que pagaran sus matrículas y pudieran asistir a colegios de secundaria privados. El valor de los bonos cubría en promedio un poco más de la mitad del valor de la matrícula; éstos se renovaban de un año a otro, siempre y cuando los estudiantes mantuvieran un desempeño académico satisfactorio. Como la demanda excedía la oferta, la asignación de bonos se hizo de manera aleatoria. El artículo siguió a tres cohortes de estudiantes en Bogotá y una en Jamundí (departamento de Valle del Cauca), donde la asignación fue completamente aleatoria: el grupo de tratamiento son aquellos que salieron favorecidos en la lotería, y el de control, aquellos que no lo fueron.
Las estadísticas descriptivas sugieren que no hay una correlación entre haber sido favorecido o no en la lotería y las características individuales, lo cual indica que la aleatorización del tratamiento se hizo de manera apropiada. El impacto del programa se calcula con base en la siguiente ecuación:
Note que en este caso, en vez de constante, βc mide un efecto de cohorte (una cohorte está definida como la combinación de ciudad y año). Yic es la variable de interés para el niño i que pertenece a la cohorte c; X1i a Xki son características individuales, que incluyen edad, sexo, si la entrevista fue realizada por teléfono o en persona, entre otras. Di es el indicador de tratamiento (equivalente a una variable binaria que indica si el niño ganó la lotería o no) y, por tanto, β1 es el parámetro de interés, pues mide el efecto del programa.
TABLA 4.2. Estimador de diferencias con regresores adicionales
Nota: Los errores estándar se reportan en paréntesis.
*** Significativo al 1%. ** Significativo al 5%.
Fuente: Tabla 3 de Angrist et ál. (2002), p. 1542.
Los resultados sugieren que después de tres años no había diferencias significativas en el porcentaje de niños matriculados entre los grupos de tratamiento y control, como se ve en la primera columna de la tabla 4.2. Sin embargo, la probabilidad de asistir a un colegio privado (en comparación con uno público) era 15 puntos porcentuales más alta para los favorecidos por la lotería. Los favorecidos por la lotería también habían completado 0.8 años más de educación. Se administraron exámenes estandarizados a los participantes en el estudio para determinar si el desempeño académico era mejor para los beneficiarios de la lotería. En promedio, el grupo de tratamiento sacó en el examen alrededor de dos desviaciones estándar más que el grupo de control, pero esta diferencia es sólo marginalmente significativa. Además, en este experimento hubo desviaciones del diseño experimental que pueden introducir sesgos. En particular, hubo “contaminación” de los grupos de tratamiento y control. Sólo 90% de los que ganaron la lotería usaron los bonos, y 24% de los que no salieron favorecidos por la lotería recibieron becas de otras fuentes.
Ejemplo 3: Dinkelman y Martínez (2011)
Chile ha logrado aumentar masivamente la cobertura en educación secundaria, pero sigue habiendo mucha desigualdad en la entrada a la educación terciaria. Es posible que los estudiantes de bajos recursos, que no saben cómo acceder al financiamiento para la educación superior, inviertan en su educación menos de la cantidad óptima. Los autores aprovechan la expansión de un programa de financiación para la educación terciaria para realizar un experimento social controlado. Para mejorar la comprensión de los jóvenes de bajos recursos acerca de las posibilidades de financiamiento para la educación superior, se distribuyó de manera aleatoria entre más de 6,000 estudiantes de octavo grado en 226 colegios urbanos y algunos de sus padres un DVD corto que contiene información acerca de las oportunidades de financiación para la educación terciaria. Había dos grupos de tratamiento y un grupo de control puro en el experimento. En el primero todos los estudiantes veían el DVD juntos en clase. A este tratamiento, denominado de estudiante, se asignaron 54 colegios. En el segundo tratamiento se utilizó la manera usual en que los colegios chilenos envían información a los padres: se les entregaba un DVD a los estudiantes para que lo llevaran a casa para verlo con sus padres. Este tratamiento, denominado familiar, tenía restricción presupuestal y no se podía controlar por si los padres veían el contenido DVD en familia o no. En este tratamiento había 56 colegios. Se asignaron 114 colegios al grupo de control.
En el DVD adultos jóvenes provenientes de familias de bajos recursos hablan de sus experiencias en la universidad o en las instituciones de educación vocacional y mencionan cómo el desempeño escolar afecta la elegibilidad para la nueva fuente de ayuda financiera. La información contenida en el DVD, Abre la caja, ayuda a los estudiantes a entender la función de producción de la educación superior, es decir, muestra a los estudiantes cómo el esfuerzo y las buenas notas abren oportunidades más adelante en la vida. Las historias de vida presentadas informaban a los estudiantes acerca de las becas y créditos existentes para estudios postsecundarios, y mencionaban detalles específicos acerca de las notas necesarias para ser elegible. El experimento estudia si la adquisición de nueva información acerca de la ayuda financiera para la educación postsecundaria afecta el esfuerzo de los niños en octavo grado y las elecciones de colegio para secundaria.31
Hubo dos levantamientos de información: una línea de base antes de la intervención y un seguimiento. Además, estos datos se emparejaron con los datos administrativos del Ministerio de Educación para determinar el impacto de la intervención sobre la elección de colegio para la educación secundaria, las notas al final de octavo grado y el ausentismo escolar. Antes de la intervención los grupos eran, en promedio, idénticos.
La tabla 4.3 resume algunos de los resultados de la evaluación de los dos tratamientos juntos, es decir, se compara el efecto de haber sido parte de alguno de los tratamientos con el grupo de control. Como la comparación entre los dos tratamientos requiere el uso de variables instrumentales, este aspecto de la evaluación se discutirá en los ejemplos del capítulo 7. En la segunda columna se presentan los resultados de la intención de tratamiento de Abre la caja sobre el número de respuestas correctas en cinco preguntas acerca de ayuda financiera cinco meses después de haber recibido la intervención. Los estudiantes tratados sacan 0.068 respuestas correctas más que los no tratados. Una manera de interpretar si estos efectos son grandes o pequeños consiste en medirlos como porcentaje del promedio del grupo de control en el momento del seguimiento. Esta última información se incorpora en la última fila de la tabla para facilitar la interpretación de los resultados. El aumento de 0.068 puntos en el conocimiento acerca de la ayuda financiera equivale a un 5.5% del promedio de respuestas correctas del grupo de control, es decir, retienen más la información.
En las columnas tercera y cuarta se presentan los efectos de la intervención sobre la asistencia a colegios humanísticos o científicos, que preparan a los estudiantes para la educación terciaria. Se muestran por separado los resultados para los niños que en octavo grado asistían a colegios que tenían de noveno a duodécimo. Los resultados sugieren que Abre la caja no tuvo efectos sobre los estudiantes que no tenían que tomar una decisión, pero sí afectó la proporción de estudiantes matriculados en un colegio orientado a los estudios universitarios para aquellos que debían cambiar de colegio en noveno grado: los tratados tienen una matrícula 6.3 puntos porcentuales más alta, que es cerca de un 11% del promedio del grupo de control. El tamaño de este efecto es sustancial. También afectó el ausentismo escolar en el corto plazo. La quinta columna muestra que la exposición al tratamiento disminuyó el ausentismo escolar de corto plazo (medido con la pregunta: ¿faltó al colegio en el mes de referencia?) en 8.8 puntos porcentuales, que equivale a una disminución del 14% con respecto al grupo de control. A pesar de los aumentos en la fracción de estudiantes que asisten a un colegio orientado hacia los estudios universitarios y de la caída en el ausentismo, no se observan efectos sobre el desempeño escolar, medido mediante las notas de los alumnos al finalizar octavo grado.
TABLA 4.3. Efectos de Abre la caja sobre el conocimiento acerca de la ayuda financiera y el desempeño académico
*** Significativo al 1%, ** Significativo al 5%, * Significativo al 10%
Fuente: Extractos de Tablas 3A y 5 Dinkelman y Martínez (2011).
Bibliografía
Angrist, J., Bettinger, E., Bloom, E., King, E. y M. Kremer, 2002, “Vouchers for Private Schooling in Colombia: Evidence from a Randomized Natural Experiment”, American Economic Review, vol. 92 (5), 1535-1558, diciembre.
Bloom, H. S., 1995, “Minimum Detectable Effects: A Simple Way to Report the Statistical Power of Experimental Designs”, Evaluation Review, 19, 547-56.
Blundell, R. y M. Costa Dias, 2009, “Alternative Approach es to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-640.
Cox, D., y N. Reid, 2000, Theory of the Design of Experiments. London: Chapman and Hall.
Dinkelman, T. y C. Martínez, 2011, “Investing in Schooling in Chile: The Role of Information about Financial Aid for Higher Education”, Mimeo, Universidad Católica de Chile.
Duflo, E., R. Glennerster y M. Kremer, 2006, “Using Randomization in Development Economics Research: A Toolkit”, NBER Technical Working Paper No. 333.
Heckman, J. y J. A. Smith, 1995,“Assessing the Case for Social Experiments”, Journal of Economic Perspectives, 9 (2), 85-110.
Kremer, M., 2003, “Randomized Evaluations of Educational Programs in Developing Countries: Some Lessons”, American Economic Review, 93 (2), 102-106.
Meisel, A. y M. Vega, 2007, “The Biological Standard of Living (and its Convergence) in Colombia, 1870-2003: A Tropical Success Story”, Economics and Human Biology, vol. 5 (1), 100-122.
Miguel, E. y M. Kremer, 2004, “Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities”, Econometrica, 72 (1), 159-217.
Moffitt, R., 2003, “The Role of Randomized Field Trials in Social Science Research: A Perspective from Evaluations of Reforms of Social Welfare Programs”, manuscrito, Institute for Research on Poverty.
Stock, J. y M. Watson, 2006, Introduction to Econometrics. Segunda edición. Boston, MA.: Addison-Wesley, Series in Economics.
21 Se recomienda al lector interesado el artículo Duflo, Glennerster y Kremer (2006), pues contiene muchos aspectos adicionales relevantes para el diseño de experimentos sociales.
22 La eficiencia es un concepto asociado a la varianza del estimador. Mayor eficiencia significa menor varianza o dispersión del estimador con respecto a un estimador de la misma clase (ejemplo: lineal e insesgado). Esto implica que el efecto del programa es estimado con mayor precisión (exactitud). Evidentemente, es una propiedad deseada que el estimador del programa sea lo más preciso posible.
23 Note que si sólo se dispone de dos observaciones por individuo, la ecuación (4.6) no se puede implementar porque ti y Ti coincidirían exactamente, es decir, serían perfectamente colineales.
24 En este caso, el tratamiento asignado puede servir como instrumento para el tratamiento recibido (ver capítulo 7).
25 También se puede estimar un modelo no lineal tipo logit o probit. Ver anexo 4.
26 Se evalúa si al adicionar las variables mejora significativamente el poder explicativo del modelo, y, por tanto, la hipótesis nula es que el tratamiento fue recibido de manera aleatoria.
27 Para aliviar este problema se puede aleatorizar entre los individuos que han manifestado su interés en participar, pero normalmente esto es más costoso desde un punto de vista político.
28 En las aplicaciones empíricas usaremos la siguiente convención: en el texto se reportan los efectos a cuatro decimales, pero todos los cálculos de los impactos se realizan con los decimales completos.
29 Por comparación, Meisel y Vega (2007), encuentran que una década de desarrollo económico se traduce en un aumento de casi un centímetro en el promedio de estatura de la población colombiana.
30 El poder de un diseño experimental es la probabilidad de que podamos rechazar la hipótesis nula de que no hay efectos estadísticamente significativos, dados el tamaño del efecto y el nivel de significancia. Por ejemplo, suponga que se espera que Canasta tenga un efecto de 1/3 de desviación estándar en la estatura según la edad de los niños beneficiarios. El poder del experimento es la probabilidad con la que podemos identificar efectos de este tamaño, a un nivel de significancia de 99% de confiabilidad, por ejemplo. Entre otros factores, el tamaño de la muestra afecta el poder de un experimento.
31 Los estudiantes en Chile deben completar ocho años de educación primaria y cuatro años de secundaria. Muchos colegios ofrecen sólo educación primaria y así al final del grado octavo los estudiantes deben cambiar de colegio y decidir si inscribirse en un colegio tradicional o en uno de educación vocacional.
Ücretsiz ön izlemeyi tamamladınız.
