No hagas cosas buenas que parezcan malas: sobre los cambios en la medición del ingreso en el Módulo de condiciones socioeconómicas 2015

A raíz de la publicación del Módulo de condiciones socioeconómicas 2015 el viernes pasado, ha ocurrido una polémica entre el Instituto Nacional de Estadística y Geografía (INEGI), el Consejo Nacional para la Evaluación de la Política Social (CONEVAL) y buena parte de los economistas interesados en temas de desarrollo económico. Si bien la polémica comenzó en redes sociales, ésta ya ha alcanzado a los principales diarios del país (ver aquí, aquí y acá). Y si bien a primera vista este tema podrá parecer una discusión de interés sólo para especialistas, no es así. El tema es importante, pues los datos que genera INEGI son los que se utilizan para el diseño, instrumentación y evaluación de políticas públicas, para evaluar el desempeño de nuestros gobernantes. Es una discusión que nos debe interesar a todos.

1

Para entender bien a qué se debe esta polémica, vale la pena comenzar explicando qué es el Módulo de condiciones socioeconómicas levantado por INEGI. Cada año con terminación par, el INEGI levanta la Encuesta nacional de ingreso y gasto de los hogares (ENIGH), la cual, como su nombre indica, provee información sobre los ingresos que reciben los hogares1 de México de cada una de sus fuentes de ingreso, así como el monto que gastan en distintos rubros como alimentación, recreación, por nombrar algunos. Desde 2008, el INEGI levanta de forma anexa a la ENIGH el Módulo de condiciones socioeconómicas (MCS), el cual proporciona la información con la que el CONEVAL realiza el cálculo sobre el número de pobres a nivel nacional y en cada uno de los estados. El MCS cuenta con información detallada sobre los ingresos de los hogares, así como del acceso que éstos tienen a servicios de salud, educación, los servicios con los que cuentan las viviendas y las características de éstas, además de recabar información sobre la alimentación de los miembros del hogar. Es decir, el MCS proporciona la información referente a cada una de las dimensiones consideradas en la medición de la pobreza, teniendo una mayor desagregación de dicha información que la ENIGH.

Además, cada año en que se levanta un censo o una encuesta intercensal (es decir, cada año con terminación en un múltiplo de cinco), el INEGI levanta un MCS especial, con la información de un MCS normal, pero que permite desagregar hasta escala municipal. Con la información de dicho MCS podemos saber las diferencias de ingreso entre los distintos municipios de México, así como las diferencias de acceso a los servicios básicos. Este tipo de MCS fue el que se levantó en 2015 y cuyos resultados se presentaron el viernes pasado. Como se puede apreciar, se trata de una fuente de información indispensable para la formulación de política pública: permite identificar los municipios que sufren de forma más aguda la carencia de acceso a servicios básicos, aquellos en donde hay problemas de insuficiencia alimentaria, así como aquellos en donde los ingresos de sus habitantes son inferiores al costo de la canasta alimentaria o al costo de los bienes de la canasta alimentaria y otros bienes necesarios para tener una vida digna.

Sin embargo, el anuncio del viernes trajo una sorpresa: INEGI anunció que había realizado cambios en el operativo de campo del levantamiento en la captación de la información sobre ingresos, haciendo que la información sobre esta variable en el MCS 2015 no fuese comparable con la información de los MCS de años anteriores. De acuerdo a INEGI, los cambios en el operativo de campo tienen como objetivo mejorar la captación del ingreso en las encuestas. Esto per se no es algo malo. Desde hace tiempo se sabe que al sumar todos los ingresos capturados en la ENIGH y en el MCS es mucho menor al registrado en las Cuentas nacionales.2 De hecho, hay una naciente literatura (ver aquí y acá dos artículos sobre el tema) sobre la forma en que es necesario ajustar ambas encuestas para hacer equivalente el ingreso agregado capturado en las encuestas a hogares con el ingreso registrado en el Sistema de cuentas nacionales. Incluso investigadores del propio INEGI han participado en dicha discusión (ver aquí).

La molestia con el INEGI surge de cuatro factores. El primer factor es que no sabemos cuáles fueron exactamente los cambios que realizó en el operativo de campo. De acuerdo a Julio Santaella, el cambio consistió en que ahora, en el caso en que el informante proporcione un monto de ingresos “sospechosamente bajo”, se regresa a dicho hogar en días subsecuentes para volverle a preguntar su ingreso. Sin embargo, si se revisan el manual del entrevistador (disponible aquí), el documento descriptor del operativo de campo (disponible acá) o los cuestionarios (disponibles acá), no se encuentra evidencia de este cambio. El único cambio considerable entre 2014 y 2015 es que en 2015 se remplazó el cuestionario de reentrevista por uno de supervisión, que abunda en los motivos por los que el hogar no respondió algunas preguntas. No dice nada sobre la identificación de “Ingresos sospechosamente bajos” ni sobre que una vez identificados éstos, se volvía a insistir en la obtención de una respuesta.

La segunda cuestión, ligada estrechamente al anterior, es que no se le avisó a nadie, y mucho menos se discutieron los cambios que se realizaron al operativo de campo. De ahí que CONEVAL emitiera un comunicado pidiendo a INEGI una aclaración sobre lo que hizo. De acuerdo al titular de INEGI, el instituto tiene la prerrogativa de hacer este tipo de modificaciones sin avisar a alguien fuera de la institución. Pareciera olvidársele a Santaella que la información que genera el INEGI no es como tal propiedad del INEGI, sino de todos los mexicanos, por lo que debería informarse y discutirse públicamente cualquier cambio en el operativo de campo que impacte sustancialmente en los datos obtenidos, como fue en este caso. Esto hubiera permitido a instituciones como CONEVAL o al resto de usuarios de la información prepararnos para el cambio y buscar la forma de hacer comparable la información del MCS 2015 con la información de los MCS de años anteriores, de tal forma que no se perdiera información valiosa.

El tercer factor, como ya dije, es que se perdió comparabilidad con los datos de años anteriores. Es decir, no podemos decir nada sobre la evolución del ingreso de los mexicanos de todo el país y en cada uno de los estados entre 2014 y 2015. Peor aún, no podemos decir algo sobre lo que ocurrió en cada uno de los municipios del país entre 2010 y 2015. Con ello se perdió información crucial para la formulación de políticas públicas a escala municipal, estatal y nacional. Además, se corre el riesgo de generar desinformación, en tanto que los medios de comunicación pueden comparar el ingreso recabado en el MCS 2015 con el ingreso recabado en el MCS 2014, aun cuando se trata de una comparación inválida. Y es un riesgo real, pues como se puede ver aquí, el periódico El Economista hizo justamente eso (con todo y que es un diario especializado en economía).

El cuarto motivo de molestia con INEGI es que los patrones distributivos observados en los datos del MCS 2015 son sustancialmente diferentes a los observados en años anteriores. Por ejemplo, en los datos del MCS 2014, la razón entre el ingreso agregado del 10% de la población de mayores ingresos y el ingreso agregado del 10% de la población de menores ingresos en México era de 24.6. Es decir, el 10% de mayores ingresos en conjunto representaba 23 veces el ingreso agregado del 10% de menores ingresos. En el MCS 2015, dicha razón cae a 19.5.  Ello ocurre debido a que en el MCS 2015 los ingresos del 10% de menores ingresos en México son 33% mayores a los reportados en el MCS 2014, mientras que los ingresos del 10% de mayores ingresos en México es sólo 10% mayor. La corrección que hizo INEGI mediante los cambios en su operativo de campo (cualesquiera que éstos sean) corrige, en teoría, primordialmente el “subreporte de ingresos” en la parte baja de la distribución. Ello lleva a que se reporte menos desigualdad de ingresos que con los datos anteriores. El problema es que se sabe que el subreporte en la parte alta de la distribución de ingresos es también muy sustancial, y posiblemente mayor al de la parte baja. De ahí que el ajuste de la ENIGH a Cuentas Nacionales realizado por dos investigadores de INEGI lleve a que se registre una mayor desigualdad, no una menor, incluso presumiendo que hay subreporte en ambas colas de la distribución de ingresos. ¿Por qué entonces diseñar un operativo de campo que corrige un tipo de subreporte, pero no el otro?

Ante esta situación, es indispensable que INEGI aclare a la brevedad cuáles fueron los cambios en el operativo de campo con el que se levantó el MCS 2015 y que éstos sean discutidos con CONEVAL y con el resto de sus usuarios. En ese mismo sentido, y a pesar de las declaraciones de Julio Santaella, es necesario que hasta que no haya un acuerdo sobre si dichos cambios al operativo de campo son una mejora, el operativo de campo de la ENIGH 2016, próxima a iniciar levantamiento, debe ser el mismo que el realizado en el levantamiento de 2014. Ello para al menos asegurar comparabilidad con la serie bianual que hasta el momento se ha ido construyendo desde inicios de los años noventa.

Debido a la opacidad con la que se llevaron a cabo los cambios en el MCS 2015 y los cambios tan importantes en los datos respecto a los obtenidos de levantamientos previos, la credibilidad de INEGI está en juego. Y eso es grave e impacta más allá del ámbito académico, pues el contar con un organismo que proporcione datos confiables sobre la realidad económica y social de México es indispensable para realizar políticas públicas enfocadas en resolver los problemas más apremiantes; no sólo eso, sino también para poder evaluar a nuestros gobernantes y, en ese sentido, para el correcto funcionamiento de la democracia.

Luis Ángel Monroy-Gómez-Franco es maestro en economía por El Colegio de México.


1 La ENIGH considera como hogares al conjunto de personas que comparten gastos en alimentos. Puede haber varios hogares en una vivienda.
2 El Sistema de cuentas nacionales es el sistema de contabilidad en donde se registran la producción, los ingresos en sus distintos componentes, así como los componentes del gasto (consumo, inversión, gasto de gobierno, importaciones y exportaciones) a escala nacional.


8 comentarios en “No hagas cosas buenas que parezcan malas: sobre los cambios en la medición del ingreso en el Módulo de condiciones socioeconómicas 2015

  1. Hace uans semanas acudi a un curso del INEGI sobre cómo buscar información en su pagina web. PEro los isntructores aprovechaban para hacer comentarios apoyando diferentes politicas del gobierno peñista. El INEGI se ha transformado en un arma más de la política.

  2. http://www.jornada.unam.mx/2016/07/18/politica/003n1pol

    En un cuadro comparativo elaborado por el académico se observa que de 2014 a 2015, casi todos los rubros de ingresos del decil más pobre (a excepción de las remuneraciones por trabajo subordinado) tuvieron incrementos espectaculares, como es el caso de los ingresos por horas extras, que subieron 26 por ciento; por comisiones y propinas, 24 por ciento, y las remuneraciones en especie, 43 por ciento

    El académico, especialista en temas de medición de la pobreza, dijo que desde principios de año, medios del norte del país documentaron cómo funcionarios estatales aleccionaban a beneficiarios de programas asistenciales para que respondieran las encuestas del Inegi diciendo que su situación había mejorado, bajo pena de quedar excluidos de dichos programas.

    «Aparentemente el Inegi le soltó a alguien, probablemente del PRI o del gobierno federal, la lista de los hogares ya seleccionados para la muestra y les fueron a decir cómo deberían contestar y qué cosas no deberían decir. Hubo una operación para preparar a los entrevistados para que declaren que no tienen hambre, que tienen agua potable aunque no la tengan, etcétera.»

  3. https://www.elsiglodetorreon.com.mx/noticia/1204746.les-piden-negar-el-hambre.html
    El pasado martes inició en Piedras Negras la entrega del apoyo económico de Prospera, correspondiente al primer bimestre de 2016.

    A los asistentes, en su mayoría mujeres, al primero de los tres días dedicados para dicho proceso, se les dio indicaciones sobre cómo responder a una primera encuesta que se les aplicará el viernes.
    En junio de 2015 el gobierno de Coahuila se enfrascó en una controversia con el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), que informó que la población en extrema pobreza aumentó en Coahuila pasando de 81,900 a 92,000 coahuilenses en dicha condición.

    Al respecto, Rodrigo Fuentes, secretario de Desarrollo Social estatal, explicó en comparecencia ante el Congreso local que el mal resultado se debía en parte a fallas en la metodología del Coneval y que los encuestados respondieron con «información falsa», por ejemplo a preguntas sobre si tienen o no hambre.

    https://www.elsiglodetorreon.com.mx/noticia/1205119.tambien-en-torreon-piden-negar-hambre.html
    Según algunas beneficiarias de la colonia Centro, los últimos días del mes de febrero sostuvieron una reunión con personal de Prospera en el Bosque Venustiano Carranza.

    Aseguran que acudieron habitantes de algunos sectores como Nueva Aurora, la Antigua Aceitera y la zona Centro. «Nos dijeron que iba a venir personal de Prospera a realizarnos un nuevo estudio socioeconómico que porque se iba a revalidar a la gente, que venían algunas preguntas de que si alguna vez habíamos tenido hambre y nos dijeron que contestáramos que no, que porque realmente no teníamos porqué tener hambre, ya que el apoyo y recurso que nos dan nos cubre las necesidades básicas del alimento», dijo una usuaria del programa.

    En la misma junta, no se les dio una fecha exacta para la aplicación de estas encuestas sobre pobreza que promueve la Secretaría de Desarrollo Social y el Inegi. Solamente les explicaron que primero sería una «prueba piloto». «No nos dieron fecha, dijeron que primero por parte de Prospera iban a seleccionar a cierta gente para hacer como una prueba», aseguraron. Sobre el aleccionamiento que reciben, las beneficiarias dijeron estar en desacuerdo.

    -Hay mucha gente con hambre, decir no tengo hambre sería mentir porque sí algunas veces he llegado a tener hambre, incluso tengo un año que no recibo apoyo, están mal, ellos quieren tapar lo que no se está haciendo bien.

    https://www.elsiglodetorreon.com.mx/noticia/1205080.suspenden-encuesta-sobre-hambre.html

    La decisión de suspender la encuesta, que se iba a aplicar hoy, se da luego de que El Siglo de Torreón publicó ayer que las beneficiarias del apoyo fueron aleccionadas por funcionarios para negar que tienen hambre.

    De León dijo desconocer cuándo se aplicará la encuesta que se realiza de forma conjunta entre los tres niveles de gobierno. «No tenemos fecha, nosotros estamos sujetos a las instrucciones que nos mande la coordinación tanto estatal como nacional de Prospera».

    Dijo que el Inegi realizará un sondeo y una medición en general entre los meses de julio y agosto.

    Respecto al ejercicio realizado en el gimnasio Santiago V. González de esta ciudad, De León dijo que fue una «persona ajena» a Prospera la que indujo a las beneficiarias, y reconoció que no se debe influir en las decisiones o respuestas.

  4. Si es insumo para medir la pobreza ¿no es más importante corregir en la parte baja de la distribución? No es el caso para desigualdad pero para pobreza, para saber cuántos pobres hay no necesitamos la parte truncada. Y no entiendo del todo la parte de la incomparabilidad si entre la ENIGH 1992 a la 2014 debe haber varias «mejoras» igual de poco documentadas lo único que veo en esta es que es de tal magnitud la corrección que la vuelve incomparable hasta que estándaricen las series con base en el nuevo patrón (si alguien se anima). En el fondo lo que están diciendo es que la pobreza en México históricamente ha estado en otro nivel, no que bajó en este período. Que Coneval la ha sobreestimado por defectos en los insumos, incluso antes de Coneval. Es la narrativa del México clasemediero puedo ver a Bartra sonreir.

    1. En realidad el MCS no sólo se utiliza para medir pobreza sino para conocer la distribución del ingreso a nivel nacional y en cada uno de los estados y con su información se construyen variables distributivas municipales, por lo que sí afecta sustancialmente que sólo se haya corregido una cola. Además es sospechoso que en la mejora que implementaron se corrija primordialmente el subreporte de la parte baja y no el de la alta (ello sin tomar en cuenta el problema de truncamiento en la parte superior) ¿Qué tipo de modificación en tu operativo de campo hace que eso ocurra?. Eso lo hace sospechoso, particularmente porque arroja resultados que van en contra de toda la literatura que hay sobre ajustar la ENIGH al ingreso de cuentas nacionales. En el ajuste que hicieron la desigualdad baja, en todos los demás se incrementa. Si eventualmente corrigen también en la parte superior, entonces esa serie con las dos correcciones tampoco será compatible con la información del MCS 2015.

      No es un problema de estadarizar las series. Dado que no sabemos que fue lo que cambió en el operativo de campo, no sabemos si esos cambios son válidos o no. O si la corrección está bien hecha o no.

      Y si bien ha habido cambios en la construcción de la ENIGH, siempre se ha cuidado que exista compatibilidad entre las fuentes. De hecho, a partir de 2008, cuando cambió la construcción de algunas variables, INEGI publica una ENIGH con la construcción previa para fines de mantener la serie histórica y una con la nueva construcción. En este caso optaron por no hacerlo así.

    2. Usted no entiende la comparabiliadad, debido a que no es aritmetica, sino estadística-probabilistica, con base a un modelo se compara y se ven las diferencias, pero en el cual la base es igual, cuando cambian las condiciones, que es el alegato, el modelo comparativo ya no es estadisticamente válido.

      1. Exactamente, al haberse modificado las condiciones en las que se recuperó la información, el procedimiento para hacer comparables las series no es una simple estandarización de las series, y dependerá de la modificación que se hizo en el operativo (de la cual, por cierto, aún no sabemos con exactitud cuál fue).

  5. Una pregunta importante sería también
    ¿POR QUE HASTA AHORA EXISTE EL INCENTIVO EN EL GOBIERNO FEDERAL PARA MEDIR MEJOR LA POBREZA? ¿POR QUE NO SE HIZO ANTES? ¿QUE CAMBIO?
    Parece ser que el gobierno ya no desea despilfarrar dinero en series de programas ocurrentes sin mucho fin pero con mucho fondo político. Cambian las mediciones para cambiar las políticas. ¿No sería más fácil ser transparentes? y decir «la hemos regado por muchas décadas, teníamos pésimas intenciones cuando diseñamos nuestros programas porque los veíamos como operaciones políticas en busca de votos y como operaciones económicas para beneficiar a nuestros compadres. Ahora vamos a cambiar los programas para que sean más eficientes y eficaces, y así mejorar la calidad de vida de los mexicanos. Pero antes necesitamos revisar nuestras mediciones.»
    Cambiar las mediciones, así de volón y sin que nadie se de cuenta, esperando a que todos estén distraídos con alguno de los multiples malestares sociales, comprueba la sospecha de muchos de que es sólo una reingeniería de números para disponer de más dinero para repartirselo entre sus cuates en proyectos todavía menos transparentes.

Comentarios cerrados