La tiranía de las métricas del Estado

“Tan sólo en los últimos dos años se generó el 90 por ciento de los datos que existen en el mundo”, decía un artículo de Forbes en 2018 advirtiendo el crecimiento exponencial de la industria de los datos.

Como econometrista, la disponibilidad de más datos y métricas es positiva porque significa más trabajo. Sin embargo, hay quienes advierten que su mal uso tendría consecuencias perversas. Jerry Muller, un reconocido historiador y duro crítico de las métricas, recientemente visitó la Fundación para el Progreso para conversar sobre su libro La Tiranía de las Métricas. En su obra, Muller nos ofrece una simple explicación de cómo las métricas —a pesar de ser necesarias en múltiples escenarios— a menudo son mal interpretadas y/o mal diseñadas por quienes las usan. Así, el autor —que no se limita al análisis del ámbito público— propone 3 preguntas que debemos responder para evaluar el valor de las métricas, y la burocracia del Estado de Chile nos provee de buenos casos de estudio para explicarlas:

Primero, Muller se pregunta si los premios y los castigos asociados a métricas de rendimiento son realmente la mejor forma de motivar a las personas. Por ejemplo, en 1998, el Estado de Chile inició el Programa de Mejoramiento de Gestión (PMG), que mide el desempeño de los funcionarios públicos y les otorga incentivos si cumplen con los objetivos propuestos. Suena bien, pero no funciona. Según la Dipres, entre 2012 y 2019 la cantidad de instituciones participantes que cumplían con el 100% de los objetivos bajó 42%, mientras que la cantidad de instituciones que reciben el 100% del incentivo pasó de 89% a 100% en el mismo período. Es decir, aunque en 2019 había disminuido la cantidad de instituciones que cumplían sus objetivos, no hubo ninguna que no se llevara el 100% del incentivo.

Ese fenómeno, lejos de ser una indicación de que nuestras instituciones públicas funcionan con perfecta eficiencia, es simplemente un mal uso de las métricas que ha moldeado los incentivos para que nuestros funcionarios públicos ganen el máximo haciendo el mínimo.

Segundo, Muller se pregunta si el incremento en la transparencia de la información es deseable en sí misma. Es decir, ¿el que las instituciones sean más transparentes nos asegura su buen funcionamiento? Durante los últimos 33 años, el Estado de Chile ha hecho grandes esfuerzos por aumentar su transparencia y hoy contamos con el segundo Estado más digitalizado y abierto de América Latina. Pero, lamentablemente, transparencia no es igual a eficiencia.

A modo de ejemplo, si tomamos las 71 Evaluaciones de Programas Gubernamentales (EPG) que la Dipres ha publicado entre 2018 y 2023 —muy transparentes en cuanto a su alcance y presupuesto—, obtenemos 44 programas calificados con «desempeño bajo» o «mal desempeño», 23 con «desempeño medio»,, y solo 4 programas con «buen desempeño». Y aunque nuestros burócratas por años han estado al tanto de esta tendencia al malgasto de recursos públicos, poco han hecho para limitar el flujo de recursos hacia aquellos programas con calificaciones deficientes.

Por último, Muller se pregunta si es deseable que las métricas reemplacen el criterio humano obtenido de la experiencia. Hace algunos meses, el Ministerio de Desarrollo Social y Familia celebró los resultados de la encuesta Casen 2022, que mostró una reducción histórica de la tasa de pobreza, de 10,7% en 2020 a 6,5% en 2022. Sin embargo, muchos académicos se mostraron dudosos ante tamaña reducción del número de pobres, ya que durante el último par de años hemos experimentado una inflación más alta de lo normal, un aumento del número de campamentos, y una fuerza laboral debilitada que no aún se recupera a los niveles prepandémicos.

Así, un análisis más profundo, destapó que podríamos estar usando una metodología desactualizada para calcular la línea de la pobreza chilena, por lo que la estaríamos subestimando. Es decir, al corregir esa metodología, la línea de pobreza quedaría más alta y la tasa de pobreza aumentaría. Lo que para el criterio de algunos era evidente debido al decadente estado de la economía del país, el Estado decidió pasar por alto y solo se enfocó en la métrica que nos entregaba una noticia engañosamente positiva.
En los tres ejemplos vemos cómo las métricas pueden ser inútiles o incluso dañinas cuando son mal diseñadas. Si bien el acceso a datos y métricas puede ser un arma poderosa y beneficiosa, no podemos pasar por alto la advertencia de Muller: «si te encuentras en una posición con poder de decisión, (…) considera en cada punto que el mejor uso de las métricas podría ser no utilizarlas en absoluto».