Me he tomado varias semanas para elaborar un comentario
sobre los resultados de le ECE 2012 presentados al país por la Ministra de
Educación a inicios de abril. Esto no es un accidente; he estado pensando
muchas cosas a propósito de dicha presentación y revisando los resultados con
cautela como para dar una opinión que valga la pena desde el punto de vista de
contribuir al necesario debate sobre el estado de nuestra educación.
A fin de cuentas, creo que todos tenemos interés en que las
cosas mejoren. Por lo mismo, todos tenemos interés en que las políticas
públicas sean exitosas y no fracasen y todos tenemos interés en leer y
compartir buenas noticias sobre nosotros mismos. Habría que estar muy
desorientado para desear que las políticas públicas fracasen.
Una forma de contribuir es, justamente, mediante la
formulación de opiniones independientes y técnicamente sólidas. Trabajando en
el mundo académico, ésa es justamente la tarea que creo tener y a la que trato
de contribuir.
Desde este punto de vista, me interesa destacar algunas
cosas respecto de los resultados que tienen que ver con: (i) no pretender que
los datos dicen lo que uno quiere, los datos no hablan, son evidencia para
construir discursos pero somos nosotros los responsables de esos discursos y de
cómo usamos la evidencia; (ii) justamente el uso de la evidencia es algo que me
preocupa y ése es el eje alrededor del que gira este comentario.
En primer lugar, ¿cómo leer los datos? Básicamente, hay que
leerlos atendiendo a lo que son: resultados muestrales de una prueba en
comprensión lectora y matemáticas en segundo grado. Nada más y nada menos. Lo
primero (resultados muestrales) supone que la lectura debe tener en cuenta los
errores muestrales; obviarlos es simplemente inducir a error. Lo segundo (que
son resultados de pruebas en dos materias en un único grado) supone no hacer
generalizaciones ni crear fantasmas asumiendo cosas que no tienen sentido.
Déjenme explicar estos dos puntos:
Resultados muestrales:
Se dice que un 30.9% de los estudiantes ha logrado, en 2012,
un desempeño suficiente en comprensión lectora y un 12,8% en matemáticas. Esto es
inexacto ya que ambos números contienen un error que hay que considerar para un
tratamiento adecuado de los datos. Estos errores son: .39 en el primer caso y .32
en el segundo. ¿Cómo se usan esos errores? El resultado en comprensión es igual
al valor obtenido ± un margen de error que es igual al error estándar
mencionado multiplicado por un nivel de certeza buscado. Así, si el nivel de certeza
buscado es 95% el resultado será 30.9 ± (1.96 * .39), es decir, el intervalo que va
de 30.1 a 31.7. Esto significa que si hubiésemos aplicado la prueba a todas las
muestras posibles de mismo tamaño de la muestra que se tomó, en el 95% de los
casos obtendríamos valores entre 30.1 y 31.7% en comprensión lectora y entre
12.1 y 13.4% en matemáticas. Parece trivial, pero no lo es y déjenme
explicarlo.
Si uno mira los resultados de 2011, encontrará que éstos fueron:
entre 28.7 y 30.8% para comprensión lectora y entre 12.4 y 14.1% para
matemáticas. Es decir, los intervalos de 2011 y 2012 se superponen. Esta es una situación de, siguiendo la jerga creada por las encuestadoras, “empate técnico.” Con propiedad estadística esto debe entenderse como: no hay evidencia suficiente para afirmar que los resultados
de 2012 sean diferentes de los de 2011; por lo que hay que asumir que no lo son.
Así, no hay un progreso de 1.1 puntos en comprensión lectora, o una caída de 0.4 puntos en matemáticas como lo sugeriría comparar los valores
estimados sin considerar el margen de error. Esto es justamente lo que señala,
con absoluto profesionalismo, la presentación de resultados hecha por la Unidad
a cargo de las pruebas en el Ministerio.
Por otro lado, la ECE 2012 no es un evento aislado y no se trata
únicamente de observar qué pasó en el último año. La ECE se viene aplicando
desde 2006 (con resultados válidos desde 2007) y es bueno mirar la serie para
entender dónde estamos. La serie completa se presenta en este gráfico:
 |
| Elaboración propia a partir de la información disponible en el sitio web del Ministerio de Educación. Las barras muestran los intervalos de confianza de las estimaciones (azul hacia arriba y rojo hacia abajo) |
Antes de leer los resultados, por favor, nótese que en el
gráfico la escala va de 0 a 100. Esto es importante por qué si uno corta la
escala, amplifica los cambios de modo artificial y esto es muchas veces usado
tanto para destacar un aspecto positivo como para agravar un aspecto negativo y
es igualmente inválido en ambos casos. Hay circunstancias en las que se puede o
debe alterar la escala, pero estas excepciones hay que manejarlas como tales y
advertir al lector sobre las mismas y el propósito que sirven.
Como se puede apreciar, en ambos casos, se duplica la
proporción de estudiantes que alcanzan el nivel satisfactorio en los primeros
años y luego se produce un estancamiento.
Del mismo modo debemos ver los demás cambios (o no cambios)
que son documentados por la ECE: el progreso en la reducción de aquéllos que no
alcanzan siquiera el nivel mínimo de desempeño (que es un área clave que ha
destacado la presentación de la Ministra), la evolución de las brechas, los
distintos patrones en las regiones, etc.
Asimismo, habría que revisar con atención algunos comportamientos
identificados por el Ministerio pero que no se encuentran documentados por la
información disponible: el rendimiento de escuelas estatales y no estatales por
distritos de Lima o el rendimiento diferenciado de las escuelas “acompañadas.”
Hasta donde sugiere la información disponible, no hay un diseño muestral que
permita decir algo sobre estos temas por lo que sería conveniente que el
Ministerio documente cuál es la evidencia que respalda estas afirmaciones.
En próximos posts trataré de referirme a varios de estos
temas.
Cazafantasmas:
A pocos días de publicados los resultados, Idel Vexler
(quien fuera viceministro de educación durante prácticamente toda la década
pasada) comentó la presentación y destacó (con total precisión) el patrón de
cambios ya anotado (progreso hasta el 2010 y
luego estancamiento). Ahora bien, si bien es posible constatar que el
progreso se observó cuando Idel Vexler era viceministro y que el estancamiento
coincide con su salida del Ministerio no podemos asumir que esa coincidencia en
el tiempo signifique algún tipo de causalidad. Pensar que hay una relación
causal entre lo uno y lo otro sólo sobre la base de la simultaneidad es tan
absurdo como pensar que Idel Vexler es responsable del terremoto que afectó Ica
ya que éste también ocurrió cuando él era viceministro.
De modo exactamente análogo, no se puede pensar que el
progreso o estancamiento de los últimos años es resultado de lo que ha hecho o
dejado de hacer la gestión actual. Ese simplismo puede llevar a la
desesperación por mostrar resultados así como a algunas críticas infundadas. La
causalidad en los asuntos humanos en muchísimo más compleja y aún falta mucho
pan que rebanar en términos de investigación para entender los cambios, los
estancamientos y los distintos procesos en cada región. Debemos tener presente
que los resultados educativos de hoy son el fruto no sólo de lo que hacemos
hoy, sino también de lo que hicimos y dejamos de hacer en nuestro pasado
reciente. Del mismo modo, lo que hacemos hoy se traduce en algo de lo que hoy
observamos y en mucho de lo que acontecerá en los años por venir. Por ejemplo,
el desempeño de los docentes hoy en servicio (y ésta es una variable clave) es
el resultado de decisiones que, entre otras, permitieron que el ingreso a la
carrera de educación en las universidades se logré con puntajes ínfimos y que
se egrese con un conjunto dudoso de competencias. Menciono este ejemplo sólo
por una razón: las universidades son autónomas y la decisión de exigir mucho en
medicina y prácticamente nada en educación, no es una decisión de ningún
gobierno. Las responsabilidades por el estado actual de la educación peruana se
reparten entre un conjunto muy amplio de actores.
Sin embargo, lo que me interesa destacar aquí es la noción
de tiempo que necesitamos para abordar en serio los problemas de la educación.
Si el rendimiento cambió o no cambió 1 punto en un año, es lo menos importante
de los resultados no sólo porque no existe evidencia para afirmar dicho cambio
(es decir porque no cambió) sino y fundamentalmente porque necesitamos
políticas de largo aliento que aborden problemas que también son de largo aliento.
Para eso necesitamos información y análisis y,
lamentablemente, la ECE no nos ayuda mucho justamente por su carácter censal. Como ya anoté
(
ver
post previo) la carga operativa de hacer un censo obliga a centrarse en muy
pocas cosas y, por lo tanto, es poco lo que sabemos gracias a la ECE.
La semana pasada se presentó un
libro
reciente producido por Arlette Beltrán y Janice Seinfeld. El libro levanta muchos temas claves de la
educación peruana que hay que abordar. Por su parte, el intercambio de ideas que
se desarrolló en la presentación mostró algunos de los problemas que tenemos. Por
ejemplo, uno de los comentaristas que es tenido como un experto en educación
trató de descalificar el valor de la información generada por la ECE a partir
de dos “argumentos”: el primero consistente en decir que no se puede asumir que
las dos cosas que mide la prueba (o las tres que mide PISA) son cosas que todos
debemos manejar por igual y que son las únicas que importan; como nadie afirma
esto, tenemos un argumento retórico simple y fallido: se levanta un fantasma y
luego se conquista sonrisas atacándolo. El segundo “argumento” fue la total incomprensión
acerca de cómo operan pruebas como la ECE (se dijo que el progreso de los
primeros años se explica porque se cambió el fraseo de las preguntas y ahora la
prueba es más fácil). Me sentí muy satisfecho como ciudadano de este país al ver
a la Ministra defendiendo un bien público y el patrimonio que representa para
el país contar con las capacidades para desarrollar este tipo de mediciones.
Voy a seguir sobre estos temas en las próximas semanas.
