El abstract del artículo original de Davis es el siguiente:
"In 1989 Mexico City introduced a program, Hoy No Circula, that bans all vehicles from driving one workday per week based on the last digit of the vehicle’s license plate. The program is inexpensive to enforce and has been since emulated in Bogota, Santiago and S˜ao Paolo. This paper measures the effect of the driving restrictions on air quality using high-frequency measures from monitoring stations. Air quality is compared before and after the restrictions with air quality in previous years acting as a comparison group to control for seasonal variation. Across pollutants and specifications there is no evidence that the program has improved air quality. The policy has caused a relative increase in air pollution during weekends and hours of the day when the restrictions are not in place, but there is no evidence of an absolute improvement in air quality during any hour of the day or any day of the week. Furthermore, while it was hoped that the program would cause drivers to substitute to low-emissions forms of transportation, there is no evidence of increased ridership of the Mexico City subway or public bus system. Instead, evidence from the market for used taxis suggests that the program induced substitution to taxis."
En el artículo periodístico de RGV se concluye lo siguiente:
"El artículo (de Davis) es muy convincente al presentar evidencia de múltiples fuentes de que la política de Hoy No Circula no ha reducido los niveles de contaminación. Este resultado es particularmente sorprendente si se considera que al mismo tiempo que se introdujo esta política se adoptaron una serie de medidas que con toda seguridad redujeron la contaminación, incluyendo el cierre de la refinería 18 de Marzo, la introducción de gasolinas sin plomo y bajas en sulfuro, la verificación ambiental obligatoria de la mayoría de los vehículos y la instalación de convertidores catalíticos.
Dados estos resultados resulta incomprensible que se haya adoptado una política tan ineficaz y que se haya mantenido por casi ya dos décadas. Una posible explicación de ello es la siguiente: la política pudo haber tenido cierta racionalidad en un principio como una medida temporal de emergencia. A medida que se fue prolongando la vigencia de la política, cada vez resultaba más costoso eliminarla ya que ello provocaría, al menos en el corto plazo, un aumento en la contaminación.
¿Cómo eliminar entonces una política pública como Hoy No Circula que ha probado ser ineficaz en reducir la contaminación, sin que ello implique un deterioro en la calidad del aire? Una forma adecuada de eliminar esta política fue adoptada por el gobierno del Distrito Federal con la introducción de la calcomanía doble cero. Esta política elimina gradualmente la prohibición entre aquellos vehículos que producen menores niveles de emisiones contaminantes. A medida que se renueve el parque vehicular, un mayor número de vehículos podrá cumplir con estas verificaciones de contaminación más estrictas y se verán exentos de la restricción."
Nota: Un paper que ya había hecho argumentos similares a los de Davis es el de Eskeland y Feyzioglu (1997) (citado también en el trabajo de Lucas W. Davis), el cual pueden consultar aquí.
Yo no sé si el programa "Hoy no Circula" ha sido eficaz o no, sin embargo, no comparto el entusiasmo de RGV sobre el trabajo de Davis. Mi impresión es que la metodología utilizada no es necesariamente la correcta y que la mayor parte de los otros resultados mencionados (lo relativo al Metro, los taxis, la contaminación en fines de semana, etc.) son fácilmente explicables, sin que ello justifique ya sea las conclusiones del autor o las de RGV. Me gustaría que algunos de los lectores de este blog leyeran el documento y comentaran sobre estos puntos y sobre los resultados. Obviamente, también pueden hacer sus comentarios o reflexiones sobre este post incluso si no leen el documento, con base ya sea en su experiencia propia o en lo que conozcan del tema.
En todo caso, en sus comentarios quizá quieran tomar en cuenta las siguientes gráficas tomadas del paper mencionado (la línea vertical corresponde a la implementación del programa y cada punto representa una observación semanal):
3 comments:
Gerardo,
Concuerdo completamente contigo acerca de que la metodologia utilizada no es necesariamente la correcta. Tal vez a nuestros amigos se les olvido leer el siguiente paper (el cual abre toda una nueva rama de estimacion para la economia, no asi para la estadistica):
The Econometrics of Ultra-High-Frequency Data. Robert F. Engle. Econometrica > Vol. 68, No. 1 (Jan., 2000), pp. 1-22
Estos son algunos puntos que se pueden leer en el articulo para entender la naturaleza de la informacion y asi poder analizarla:
"The salient feature of such ultra-high-frequency data is that they are fundamentally irregularly spaced. Of course, one can aggregate this data up to fixed intervals of time, but one might then argue that it is no longer ultra-high-frequency data. There is naturally a loss of information in such aggregates. This loss occurs partly because the large number of zeros makes econometric analysis very complex if the intervals are small."
"The thrust of this paper will be to develop methods that are directly tailored to the irregular spacing of the data, rather than to adapt fixed interval econometrics to this new situation. The statistics literature is replete with models for data of this form. These models treat events as arriving in time according to some probability law."
Dado lo anterior, creo que queda invalidado el modelar con simples variables de control, la estacionalidad de la informacion (intra-day, between days, between weeks, between months, y su naturaleza irregular). Y por otra parte estimar alguna posible tendencia (o cambio de ella) con una variable dummy, o en su caso mas "refinado" con una simple "spline regression" mas sofisticada.
Saludos!
EM
Hola GE,
Tampoco concuerdo con la metodología utilizada, pero por razones diferentes a EM. De hecho, los datos que utiliza Davis no se encuentran medidos en periodos irregulares, los datos originales son por hora y él tomó un simple promedio semanal. Concuerdo en que se pierde mucha variación utilizando este método.
Lo más importante es que tal vez la medida de contaminación más relevante para el análisis debería de ser el máximo diario. La Organización Mundial de la Salud tiene establecidos ciertos estándares debajo de los cuales la contaminación no representa un riesgo inmimente a la salud. Además, en su artículo, Davis argumenta que es posible exista sustitución entre los días u horas restringidos y los no restringidos. De ser así, los máximos y mínimos diarios se verían afectados de manera directa, no ocurriendo así con el promedio.
Otra crítica a este artículo sería el contrafactual. El Hoy No Circula fue muy publicitado antes de su implementación y es muy posible que la población haya ajustado su comportamiento incluso antes de que el programa entrara permanentemente (en principio el programa sólo se aplicaba durante el invierno y, en otra etapa, era voluntario). De ser este el caso, el contrafactual no debe ser el periodo justo antes del programa como el autor sugiere con el regression discontinuity design.
Saludos,
Eva
Eva,
No estoy de acuerdo en algunas de tus apreciaciones acerca del paper mencionado.
Uno, evidentemente los datos poseen un componente irregular. Solamente basta apuntar algunas frases del paper:
A) "Average daily pollution levels were constructed by averaging over all hours of the day and all monitoring stations."
B) "The number of monitoring stations varies across pollutants. In 1986, there were 15 stations for carbon monoxide and sulfur dioxide, nine stations for ozone and five station for nitrogen dioxide and nitrogen oxides. The sample is restricted to observations from stations that were operating in 1986. Although a few additional stations were added to the network during this period, the sample is restricted to exclude observations from these stations to prevent compositional changes from biasing the results. No stations closed or were moved between 1986 and 1993."
C) "During this period the reliability of the network improved substantially with annual percentage reporting increasing from 44% to 76%. If these missing observations follow a pattern that is uncorrelated with pollution levels then they will not cause the estimates to be biased. However, if reporting improves differentially for stations in locations with particular pollution characteristics then the results will be biased."
D)"Between 1986 and 1993 missing observations were identified using a zero. This is potentially problematic because one would like to distinguish between missing variables and true zero measures. Starting in 1994, a change in procedure led missing observations to be identified using −99.99 rather than zero. This makes it possible to evaluate the potential magnitude of the bias by examining the histogram for each pollutant in 1994. In 1994 there are very few observations close to zero and only 1.3% of observations are true zeros. This suggests that the magnitude of the bias introduced by treating all zeros as missing is small."
A pesar de toda la informacion que se pierde por utilizar los promedios de todas las horas del dia, tomando en cuenta todas las estaciones disponibles que registran la informacion, para constriur una sola observacion al dia, el amigo tiene missings (los cuales no los puede identificar de los verdaderos valores zero en la muestra utilizada, i.e., antes de 1994!).
Aun peor, inventa una forma "ingeniosa" para justificar el "pequenio" sesgo en sus estimaciones: Toma 1994 como referencia, que es cuando realmente puede identificar los missings y los ceros, y encuentra la proporcion de ceros en la muestra. Al encontrar esta pequenia proporcion (mediante un histograma y a ojo de buen cubero) menciona que el tratamiento de los missings y los zeros no importa, y que esto provoca que el posible sesgo sea pequenio!!!. Habria que ver no la proporcion de los valores cero en la muestra, sino los valores cero que se adicionan por darle el mismo tratamiento a los missings.
Dos, no estoy seguro que el valor maximo del nivel de contaminacion en el dia sea el adecuado para este tipo de estimacion. Aun mas, si se pretende medir el efecto del programa sobre los niveles de contaminacion "aceptables" (imponer un threshold en vez de medir cambios en tendencias) para la sociedad, creo que los minimos cuadrados ya no nos sirven.
Tres, estoy completamente de acuerdo con respecto a lo que mencionas del contrafactual y los posibles cambios de conducta en los agentes.
Saludos!
EM
Post a Comment