PISA 2012: Periódico de ayer ("que nadie más, procura ya leer" -TCA)

Como era de esperar, el cacareo en medios a propósito de PISA ha menguado y, al hacerlo, ha cedido terreno ante temas que tienen una presencia más permanente en éstos: en muy pocos días Tilsa le ganó a PISA (bueno, la verdad es que eso me han dicho algunos amigos pues, confieso con profundo orgullo, que no tengo la menor idea acerca de quién es esa señora).

Más allá de lo anterior y lo que esto dice acerca de la importancia relativa que los medios (y sus lectores/oyentes/y televidentes) dan a la educación y cómo ésta está mediatizada por información supuestamente impactante pero inútil, cabe hacerse algunas preguntas de otro tipo: por ejemplo ¿de qué sirve PISA?

El punto de partida obligado para responder esta pregunta es la intención expresa de aquéllos responsables del estudio: según el Secretario General de la Organización para la Cooperación y el Desarrollo Económico (OCDE), la evidencia que produce PISA ...

(...) goes well beyond statistical benchmarking. By identifying the characteristics of high-performing education systems PISA allows governments and educators to identify effective policies that they can then adapt to their local contexts. [OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I), p. 3]

Entonces debemos esperar que PISA sirva para formular políticas efectivas que impacten de modo positivo en los aprendizajes. Por lo mismo, cabe preguntarse ¿qué ha pasado con los aprendizajes en la OCDE desde que se administró la primera ronda de PISA en 2000? ¿cuál es el impacto en los aprendizajes que se ha verificado gracias al esfuerzo desplegado en PISA todos estos años?

PISA 2000-2012: Cambios en el desempeño medio en lectura
(países de la OCDE; promedio de la OCDE; y Perú)

Elaboración propia a partir de la Tabla I.4.3b de OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I). Las barras muestran los intervalos de confianza de la variación; los puntos verdes son el desempeño medio del año 2000 (único valor a ser leído en el eje inferior). Sólo se incluye a los Estados Miembros de la OCDE con información tanto en 2000 como en 2012.

Como muestra el gráfico, cinco países de la OCDE (Polonia, Israel, Chile, Alemania, y Portugal) han visto incrementos en los niveles medios de desempeño lector en PISA entre 2000 y 2012; 17 países no presentan cambios estadísticamente significativos; y cinco países (Australia, Nueva Zelanda, Finlandia, Islandia, y Suecia) muestran deterioros. Por otro lado, la situación de la OCDE contrasta de modo importante con el progreso observado en Perú (por cierto, nadie publica ni comenta este ranking).

Claro está que no es posible establecer una relación causal entre participar en PISA y que haya mejoras, o que no las haya, o que haya deterioro. Este mismo razonamiento también invalida la pretensión de que PISA es una herramienta efectiva de política ya que los datos no toman decisiones, ni son suficientes para ello.

Ante esta falta de progreso en los países de la OCDE uno puede preguntarse varias cosas:

• ¿Será que la política no presta atención a la data?
• ¿Será que la data no dice nada útil?
• ¿Será que sí ha funcionado y que sin PISA estarían peor?

Ninguna de estas preguntas tiene una respuesta fácil o directa; sin embargo cabe hacérselas para motivar una reflexión más profunda sobre PISA.

¿Quién y qué gana con PISA?

Un primer elemento que destaca cuando se publica los resultados de PISA es el cacareo mediático al que ya me he referido y que no es, en lo absoluto, privativo del Perú: el 3 de diciembre de 2013 muchas vestiduras fueron desgarradas en muchas latitudes básicamente de la misma manera y con los mismos resultados que en el Perú. ¿Quién gana con ello? La respuesta es simple:

1. la OCDE logra, gracias al ruido, posicionar su estudio como (para citar las palabras del Secretario General de la OCDE en el lugar antes mencionado) the world’s premier yardstick for evaluating the quality, equity and efficiency of school systems (lo que, por cierto, PISA no permite).
2. la OCDE logra posicionarse a sí misma como la fuente principal de información sobre el desempeño de los sistemas educativos (lo que tampoco es así).
3. La OCDE logra posicionar su discurso ideológico sobre la educación y su sentido: la educación importa por razones instrumentales (creación de capital humano, competitividad), etc, no como valor y derecho humano fundamental.

En este ámbito, los rankings juegan un rol fundamental pues son lo que vende: nadie haría ruido en los medios con un análisis jerárquico lineal acerca de los factores que afectan el desempeño. En un simposio en el que participé en diciembre de 2012, un representante de la OCDE observó, a propósito de mi presentación, que los rankings "sólo ocupan un par de páginas en los informes PISA que comprenden varios volúmenes" lo que es parcialmente cierto (ya que son bastante más que un par de páginas). Sin embargo, son los rankings lo que los autores optan por colocar en la parte frontal de dichos volúmenes, resúmenes ejecutivos y demás.

Lo anterior, además, representa un beneficio para el Consorcio de empresas que hacen PISA. Estas consolidan una posición dominante en el mercado, y consolidan una importante fuente de ingresos. De acuerdo a la OCDE, participar en una ronda de PISA cuesta 182 mil Euros por país en overheads (es decir, lo que se destina a la coordinación y operación del Consorcio). Con 65 países participando en PISA, el overhead total de una ronda sería cercano a los 12 millones de Euros o poco más de 16 millones de Dólares Americanos (a esto, por supuesto, hay que agregar los costos de implementación nacional y cualquier "adicional" que el país desee implementar en términos de módulos o de volúmenes de observaciones -los dos últimos si se traducen en mayores costos "internacionales").

En este marco, no hay que ser ingenuo sobre la manera cómo la OCDE se ha posicionado frente a la International Association for the Evaluation of Educational Achievement (IEA), que es la organización que tiene más de cinco décadas desarrollando estudios internacionales sobre desempeño estudiantil en base a un esquema de cooperación (y no de venta de servicios y control centralizado) entre los países participantes. La IEA opera entendiendo que la información es un bien público, el Consorcio PISA tiene un enfoque distinto que se traduce en diversos elementos de los estudios.

Este tipo de consideraciones está a la base de la manera como, por ejemplo, la OCDE maneja el tema de la participación China y del Municipio de Shanghai en PISA donde no parece primar consideraciones técnicas en lo absoluto. Tom Loveless ha llamado claramente la atención sobre estos problemas en dos textos recientes: el más reciente y el previo. Una de las cosas curiosas sobre las que Loveless llama la atención es el tamaño de la población de 15 años en Shanghai (según los datos de PISA). En efecto, en estos informes se consigna que la población de 15 años en Shanghai es aproximadamente 4,7 por ciento del total de dicha Municipalidad cuando el promedio que se observa en los demás territorios participantes en PISA 2012 es 12,9 por ciento (y 11,9 y 12,3 en Hong Kong y Macao respectivamente). Dicho de otra forma: con una población total similar a la de Shanghai, el Perú señala que tiene 580 mil personas de 15 años mientras que las autoridades chinas reportan que Shanghai sólo tiene un quinto de dicha magnitud. A esto se añade el hecho que en Shanghai se excluye a la población "no elegible" (es decir, a los hijos de migrantes), así este valor resulta llamativamente bajo a lo que también debe agregarse que la muestra final representa sólo a tres de cada cuatro personas en este total que luce (¿artificialmente?) reducido.

No pretendo decir que detrás de PISA hay una maniobra maquiavélica o algo que se le parezca. Sólo que, como es lógico, detrás de los números de PISA hay personas con visiones, intereses y juegos de poder (algunos muy legítimos) lo que, finalmente, lleva a algunos a tratar de maximizar su beneficio. Así, ciertamente, hay ganadores claros en PISA aunque esta ganancia poco o nada tenga que ver con  mejorar los aprendizajes de las personas. Diversos trabajos de Mary Hamilton destacan varios de los problemas que aquí sólo se esbozan. Del mismo modo, hace unos años la Sociedad Europea de Educación Comparada realizó un evento para poner a "PISA under examination"; la publicación contiene un conjunto amplio de consideraciones que es bueno tener en cuenta para evaluar la pertinencia de un estudio como PISA (en particular, el capítulo de David Scott sobre problemas epistemológicos me resulta de capital importancia).

Toda esta reflexión me permite concluir que es tiempo de desafiar cierto consenso ridículo acerca de PISA y pensar mejor qué, para qué y, consiguientemente, cómo queremos medir aprendizajes. No pretendo sugerir que debemos "matar al mensajero" de las malas noticias, sólo quiero subrayar la necesidad de reflexionar en serio sobre estos temas, especialmente porque tenemos opciones como los estudios de la IEA que se basan en un enfoque asociado al curriculum, y en la colaboración entre pares. Al mismo tiempo, es necesario reflexionar acerca de cómo articulamos la participación peruana en estudios internacionales, con las mediciones que se conducen en el país a efectos de maximizar el potencial beneficio de contar con este tipo de información.

El enfoque-comunicativo textual en un mundo ágrafo

En los últimos años, tanto en el Perú como en diversas partes del mundo, se ha difundido y consolidado un enfoque para el desarrollo de competencias comunicacionales (incluyendo la lectura) conocido como el enfoque comunicativo-textual.

Haciendo lo que tal vez sea una sobre-simplificación, este enfoque postula algunas ideas centrales:

1. Lo que es preciso desarrollar son las competencias comunicacionales de las personas. Así, la lectura no es vista en función de las operaciones mecánicas que incluye, sino y fundamentalmente como un acto comunicativo que comparte ese carácter con otras formas de comunicación como la oral, gestual, etc.

2. Este énfasis en la comunicación significa también que la lectura no es un proceso de "absorción" de lo dicho en un texto, sino un proceso de interacción en el que el significado es construido en el proceso que une al que escribe, con el que lee, y con el texto en un contexto comunicativo dado.

3. En este marco, los diversos propósitos, características y situaciones en las que se lee, no son irrelevantes, todo lo contrario, son el corazón del acto comunicativo bajo la forma de lectura (o de escritura).

La tremenda pertinencia de un enfoque como éste es bastante evidente, especialmente si se compara con formas tradicionales de enseñanza de la lectura, en el que el texto es desprovisto de contexto (perdiendo significado) y se sobre-enfatiza la mecánica de la lectura.

En términos prácticos, y de nuevo tremendamente simplificados, esto significa que se debe abandonar estrategias de enseñanza que olvidan la naturaleza comunicativa en favor de la mecánica de la lectura. Por ejemplo, no cabe pensar que la lectura se adquiere de la mejor manera mediante la capacidad para decodificar grafías, unirlas en sílabas y palabras, todas ellas aisaladas y, por lo mismo, desprovistas de contexto que es clave para que tengan significación. Así, no se aprendería a leer "gato" de modo asilado y menos "ga"+"to" (silábicamente) o, peor aún ""g"+"a"+"t"+"o"; sino mediante la interacción de un texto en el que la palabra "gato" sea un componente. Por ejemplo, una pequeña historia en la que un gato juegue un papel central.

Por otra parte, el enfoque comunicativo-textual descansa en el reconocimiento de que el texto escrito es parte de la cultura y, por lo tanto, uno debe tomar en cuenta que las personas están, desde edades muy tempranas, expuestas a textos escritos de donde, las palabras/sílabas/sonidos aislados representan una ruptura con el entorno, digamos, "natural" al que están expuestos los estudiantes.

Todo esto no sólo suena extremedamente razonable, sino que en efecto es de crucial importancia para evitar una disociación perniciosa entre el texto escrito y el significado y, con ello, entre el texto escrito y el mundo.

Biondi y Zapata (1988) mostraron como la disociación entre la forma de enseñanza de la lectura y la realidad del estudiante, conllevaba a profundos problemas vinculados al desarrollo de la capacidad lecto-escritora (de los que las fallas ortográficas son sólo una manifestación) y de percepción del valor del texto escrito.

Al mismo tiempo, sin embargo, hay al menos dos problemas sustantivos a considerar cuando se implementa un enfoque como éste en un país como el nuestro. El primero tiene que ver con las habilidades de los docentes para manejarlo. No voy a entrar en este tema en este post, sin embargo, no es un pregunta trivial.

Este post quiere destacar un segundo elemento que tiene que ver con la realidad del país: ¿cómo opera el enfoque comunicativo-textual en una cultura fundamentalmente oral? ¿cómo opera en un entorno de baja densidad letrada como es una gran parte del país, especialmente, en espacios locales más deprimidos?

Si uno ve, por ejemplo, la información complementaria a las pruebas que produjo un estudio como PISA en 2009, notará que un 30 por ciento de los estudiantes de 15 años de edad matriculados en secundaria declaró tener 10 o menos libros en casa (lamentablemente, no se puede determinar en cuántos casos el valor era cero) al tiempo que un 93% declaraba tener al menos un TV (y 50% dos o más TVs). No es necesraio que detalle estos valores según áreas urbanas  rurales, o según nivel socio-económico ya que es fácil imaginar cómo cambiarían las cosas. A manera de ilustración sólo diré que en Finlandia el porcentaje de estos estudiantes con 10 o menos libros en el hogar es menor al seis por ciento.

El problema que me preocupa es que no es lo mismo plantear un enfoque como éste en un mundo de presencia significativa del material escrito que hacerlo en un país (y en especial en algunas localidades) donde el texto escrito es ajeno. Ilustrando exacerbadamente las cosas, uno podría pensar que la famosa escena entre el Padre Valverde y Atahualpa en la Plaza de Cajamarca ejemplifica lo que significa presentar un texto íntegro a una persona que no ha sostenido relación alguna con el texto escrito a lo largo de su vida.

Guamán Poma de Ayala (1615)
Nueva Crónica y Buen Gobierno. Página 386
Disponible en Det Kongelige Bibliotek

Quisiera una vez más referirme a las investigaciones de Biondi y Zapata (2006) sobre el tema de la oralidad en el Perú. Una cosa que los autores han mostrado con una tremenda sensibilidad y precisión es que el texto escrito en el Perú suele ser una presencia ajena. el libro llegó (si acaso) a los peruanos después de la radio y la TV que tendieron a fortalecer la oralidad del país. Las comunicaciones electrónicas actuales (incluso cuando mediadas por un teclado) se incorporan y fortalecen el caracter instantáneo de la comunicación oral.

No reparar en la profunda oralidad (y casi ausente escribalidad) de la cultura peruana puede tener profundas consecuencias sobre la labor educativa. ¿En qué medida el conocimiento de este atributo de la cultura informa la formación docente y la opción por enfoques pedagógicos para la enseñanza de la lectura? Prefiero dejar esto sólo como pregunta ya que siento que me falta evidencia robusta para afirmar lo que muchos tememos.

Quiero que quede claro que no estoy cuestionando ningún enfoque, sólo digo que ningún enfoque va a funcionar si no toma en cuenta la condición de partida de los estudiantes y las competencias de los docentes para desarrollar dicho enfoque, en contextos específicos y con estudiantes de carne y hueso. La reflexión educativa en el Perú necesita empezar por entender el lugar central de la oralidad y la ajenitud de lo escribal.

Finalmente, una cosa que también me preocupa en este ámbito es la necesidad de buscar "el" enfoque adecuado. ¿No será más bien que, como en cualquier otra profesión, es posible pensar en diversidad de enfoques? ¿No será posible asumir que dada la diversidad de situaciones de los estudiantes, diversos enfoques pueden tener distintos grados de pertinencia y valor? 

A fin de cuentas, algunos aprendimos a leer con enfoques distintos (que reposaban en la transparencia ortográfica del castellano escrito) y no nos fue tan mal en una vida donde el texto escrito es central.

Referencias:

Biondi, J., & Zapata, E. (1988). Ortografía: error o problema? Lima: Universidad de Lima, Facultad de Ciencias Humanas.

Biondi, J., & Zapata, E. (2006). La palabra permanente: verba manent, scripta volant : teoría y prácticas de la oralidad en el discurso social del Perú. Lima: Fondo Editorial del Congreso del Perú.

PISA 2012 y algunas cosas más sobre la educación peruana

Sólo quería compartir la entrevista que Ana Trelles tuviese la gentileza de hacerme en ATV+ (+Qn, 04/12/2013, 19:30) a propósito del ruido generado por la publicación de PISA 2012.

Tomado de:

http://servicios.noticiasperu.com/web_/GUI/GUITelevision/FrmVerPauta.php?idPauta=1584395&bool=0

PISA 2012: Volvió el Circo

Como cabía esperar, al publicarse los resultados de PISA el día de hoy, se inició el ritual mediático de autoflagelación nacional que, lamentablemente, no lleva a nada. (Este es un buen pretexto para retomar mis entradas en este blog).

Probablemente la nota más divertida que he visto hasta este momento la ponga Peru21:

·   Titular: Informe PISA 2012: Perú está en el último lugar a nivel de Latinoamérica.

Hasta donde yo sé hay 19 países en América Latina (habla hispana más Brasil) y 43 en América Latina y el Caribe. Sólo 8 participaron en PISA 2012 así que es imposible determinar (con la información de PISA) si somos, o no, los últimos de América Latina.

Por otro lado, el lugar que ocupa el Perú en varias de las tablas PISA es compartido con Colombia. Las diferencias entre los latinoamericanos son pequeñas si se mira al problema desde donde importa: qué es lo que pueden hacer los niños, claro está, esto se pierde si uno hace una tabla tipo tabla de posiciones en las Clasificatorias para el Mundial (algo francamente inútil).

·   Lo más divertido: “Perú cayó tres posiciones en el ranking global del informe PISA 2012 respecto al de 2009”

La tabla producida por la nota periodística muestra que, en 2009, el Perú estaba en el puesto 63 y ahora en el 65. Si combinamos esta información con el texto, debemos concluir que 65-63= 3!!! Ciertamente, estamos mal en aritmética básica.

Más importante que ello es que el perspicaz periodista no notó era que los territorios (no sólo países) que participaron en 2009 no son los mismos de 2012, por lo que la posición en el ranking no es comparable.

Con un poquito más de información pudo haber dicho algo aún más dramático: en el 2000 estábamos en el puesto 43 (sólo 43 territorios implementaron PISA entonces), así que siguiendo la misma “lógica” habría que concluir que hemos caído 20 lugares.

Por supuesto que estas notas no hacen sino sumarse a otros eventos curiosos y más complicados que una nota periodística. Por ejemplo, en alguna oportunidad (15 de julio de 2007) un Ministro de Educación dijo que en PISA el Perú “era el penúltimo en el mundo” ya que sólo superamos a Haití (aproximadamente 140 países, entre ellos Haití, no participan de PISA, así que difícil decir algo sobre el mundo o sobre Haití) o, más recientemente (18 de agosto de 2013), una candidata presidencial dijo que PISA es la “la evaluación internacional que se hace a los niños de segundo grado para ver cuántas palabras leen por minuto (…)” …

Este tipo de tratamiento del tema es de muy poca utilidad, cuando no pernicioso. Por ejemplo, si queremos usar los rankings de PISA debemos, primero, entender qué es PISA. Como señala la página de la Unidad de Medición de la Calidad del Ministerio en su nota sobre los resultados (de este enlace también se puede descargar el Informe Nacional ahí publicado):

Es importante señalar que PISA no es un estudio representativo de la diversidad de las realidades del mundo. Es una evaluación conducida fundamentalmente en países desarrollados (o) con ingresos medios. El Producto Bruto Interno (PBI) por habitante en los países miembros de la OCDE es de 35 141 USD, mientras que en los países no miembros que participan en PISA, entre ellos el Perú, (…) es de 23 116 USD (…). El PBI (per cápita) de Perú asciende a 10 076 USD. (Se trata de USD corregidos por paridad de poder de compra –PPP)

Sólo esta simple pieza de información debería servirnos para prestarle menos atención al ranking (completamente esperable –aunque no justificable- si la “tabla de posiciones” incluye fundamentalmente a los sistemas educativos de países desarrollados) y más a los problemas reales. Para ello es preciso entender que PISA 2012 muestra, al menos, las siguientes cosas que sí importan:

1. Matemáticas. Las habilidades de los estudiantes son muy bajas, uno de cada cuatro estudiantes peruanos logra resolver sólo los problemas más simples de la prueba y dos de cada cuatro, no logra siquiera eso. Al mirar cada uno de los siete aspectos de las matemáticas medidos por PISA 2012, los resultados son igualmente bajos en todos. Es decir, no hay mucho desde donde empezar. Como Perú no participó en PISA 2003, no hay información de tendencias para nuestro desempeño en Matemáticas (así que no sabemos si, en PISA, estamos mejorando o no). Es también muy importante tratar de entender cuánto de las dificultades de lectura afecta los resultados en matemáticas.

2. Ciencias. Las habilidades de los estudiantes son muy bajas, sólo que en este caso la información es más limitada (PISA 2012 se enfocó en matemáticas) y tampoco tenemos información de tendencias pues Perú no participó en PISA 2006.

3. Lectura. Las habilidades de los estudiantes son bajas, un 60 por ciento de los mismos sólo resuelve (si acaso) los problemas más sencillos de la prueba. Ahora bien, el Perú muestra un progreso sostenido en esta área desde 2000 (en realidad 2001 que es cuando Perú implementó PISA 2000) a diferencia de todos los demás países latinoamericanos presentes en PISA que muestran comportamientos oscilantes o tendencias al deterioro (como Argentina). Si ahora tenemos 60 por ciento de nuestros estudiantes en tan lamentable situación, este valor era 80 por ciento en 2001. Si hoy el desempeño promedio de un estudiante peruano se encuentra en el primer nivel de la escala PISA de lectura y aproximándose al segundo, en 2001 estaba “por debajo del nivel 1.” Claro está que la mejora peruana tiene que ver con el punto de partida tan bajo y con el progreso socio-económico general del país y no puede ser atribuido íntegramente a mejoras educativas como se ha mostrado en un artículo reciente.

4. Las brechas de equidad son muy marcadas en el Perú. Cuando el cinco por ciento de los estudiantes con mejores resultados se encuentra alrededor del promedio de la OCDE, la gran mayoría de los estudiantes se encuentra muy distante de dicha situación. Esto se observa tanto en matemáticas como en lectura (en ciencias no es recomendable hacer un análisis similar con los datos de 2012). Para la tendencia 2000-2012 en lectura no se observa ninguna tendencia al cierre de brechas excepto entre la educación estatal y la no estatal, pero ésta hay que verla con pinzas ya que, debido al aumento de la participación de la educación privada en la matrícula, lo que se tiene es una mayor heterogeneidad en el escuela privada que, además, estanca la media. Si se corrigiese el efecto de la migración hacia el privado, esta reducción de brechas no sería necesariamente así.

5. Es importante notar que el desempeño peruano, además, se ve acompañado de una reducción de los niveles de atraso escolar. Cuando en 2001 sólo el 66 por ciento de los jóvenes se encontraba cursando estudios secundarios, en 2012 este porcentaje llegaba a 87 por ciento. Es decir, se ve progreso limitado en lectura en una situación de mayor inclusión que podría tener un efecto distinto. Esto, además, es importante tenerlo en cuenta cuando se compara los resultados de los distintos países (por ejemplo, en México la proporción de estudiantes de 15 años en educación secundaria es muy inferior a la peruana).

¿Qué hacemos con todo esto?

Creo que en este sentido lo dicho por el Ministro de Educación el día de hoy es de fundamental importancia: se necesita cambios dramáticos. O, en mis palabras, no se puede tratar una enfermedad seria con Wawasana relajante©.

Es decir, hay que enfrentar los problemas de fondo que no tienen que ver con la “movilización” por la educación, sino con hacia dónde apunta esa movilización. El fondo del problema, y todos lo sabemos bien, está en lo que pasa en las aulas: tenemos demasiados maestros (sí, también son demasiados en general) que no están motivados, o que carecen de los recursos y el apoyo para hacer su trabajo o que, simplemente, no saben cómo hacerlo. Si fuésemos capaces de garantizar que cada aula tenga un docente competente, motivado y con apoyo, no estaríamos discutiendo nada de esto.

Access Plus Learning: Age Matters

En este post (publicado en el sitio web de la Institución Brookings) se aborda la necesidad de que los sistemas de información educativa se enfoquen en la "población" y no en los "estudiantes", para lo cual se necesita mejorar el reporte de información por edades.

Para leerlo siga el siguiente enlace: Access Plus Learning: Age Matters.

LAMP: primeros resultados

El Instituto de Estadística de la UNESCO (UIS) acaba de publicar los primeros datos producidos a través de su Programa de Evaluación y Monitoreo del Alfabetismo (LAMP). Más allá de la alegría que me provoca ver los resultados a los que dediqué una gran cantidad de esfuerzos, y de ver que a pesar de las crecientes dificultades que experimenta UNESCO aún es posible desarrollar iniciativas valiosas como ésta, quiero llamar la atención sobre un solo tema con relación a esta publicación: la forma como se ha estructurado la publicación de los resultados.

Usualmente, cuando los estudios internacionales de evaluación de aprendizajes publican sus resultados por primera vez, esta publicación tiene dos características: (i) se produce un informe internacional que combina la información de todos los países participantes, y (ii) se produce (prácticamente como el obligado primer capítulo de dichos informes) rankings con los resultados por países.

Los resultados de LAMP recién publicados por el UIS se distinguen de esto exactamente con relación a ambos elementos. Por una parte, no se ha producido un “informe internacional” sino más bien resúmenes por país que contienen un subconjunto básico de la información disponible. En vez de contar con un único informe se pone el énfasis en la situación de cada país por sí misma anticipando e invitando a exploraciones específicas en cada caso. Este atributo, va acompañado de modo prácticamente inevitable por la ausencia de un ranking. La comparabilidad asegura tener un rasero común (definiciones y métodos equivalentes) que enriquecen el análisis evitando el riesgo de establecer “standards” por país que podrían moverse de modo arbitrario a efectos de producir un efecto particular, al tiempo que permiten contrastar situaciones y aprender de diversos contextos.

La publicación de estos resúmenes por país será seguida por un trabajo que corresponde más a cada país a efectos de explotar al máximo el resto de información generada por LAMP: información de contexto sobre las personas, familias y el entorno letrado, información sobre las habilidades que anteceden a la lectura fluida de aquéllos con dificultades, etc.

Quiero felicitar y agradecer a los compañeros de los equipos nacionales y del equipo LAMP en Montreal por haber alcanzado este hito en un largo y tremendamente difícil camino.

Los resúmenes pueden ser consultados en la sección de LAMP en el sitio web del UIS: http://www.uis.unesco.org/Literacy/Pages/lamp-literacy-assessment.aspx

Una posible innovación radical en educación

Hace varios años me contaron ese chiste que decía que si un médico del siglo XIX fuera traído de vuelta a la vida y llevado hoy a un quirófano, no tendría idea acerca de qué hacer; en cambio un buen maestro en una situación similar tomaría un trozo de tiza (o un marcador en caso haya una pizarra acrílica) y retomaría la lección que dejó el día anterior. Obviamente, este chiste parte de una exageración aunque, sin embargo, tiene ciertos elementos de verdad.

En primer lugar, hay algo en la tarea educativa verdadera que no se reduce a la tecnología usada, sino que pasa por la interacción maestro-alumno. En ese sentido, no parece un problema que la educación del siglo XXI tenga algún parecido con la del siglo XIX. Por otra parte, también hay muchas áreas en la que sí es un problema que este parecido subsista.

Los "sistemas educativos" creados el siglo XIX permanecen hoy en día y no resulta claro si esa permanencia es el resultado de que sigan cumpliendo un papel valioso (hay casos en los que esto no parece ser así) o, más bien, es el peso de intereses creados el que pugna por mantenerlo incluso frente a algunos intentos de reforma.

El principal problema que veo es que hemos llegado a una situación en la cual la principal pregunta de política educativa parece ser ¿Cómo arreglamos el sistema educativo? Cuando el interés público necesita que uno se pregunte ¿Cómo aseguramos aprendizajes?

Hasta ahora ambas preguntas han sido tratadas como equivalentes cuando no lo son y esta diferencia podría estar a punto de hacerse más que evidente.

La Fundación de los Premios X ha anunciado que para fines de 2013 lanzará un premio de 10 millones de dólares para quien logre desarrollar una tecnología que permitiría que los 60 millones de niños para las que la escuela no es una opción (la cifra representa aproximadamente el 10% del total de niños que debería estar en la educación primaria, la mayoría de estos 60 millones de niños nunca ingresará a la escuela o ya lo hizo y tuvo que abandonarla) logren desarrollaran sus habilidades básicas de alfabetismo. Esta tecnología deberá de modo necesario funcionar sin el concurso de una escuela (debido a que la escuela justamente no es una opción real para quiénes son su población objetivo).

Antes de seguir, una nota sobre los Premios X: se trata de una iniciativa para brindar un estímulo económico significativo a aquéllos que puedan realizar innovaciones mayores y demostradas. El primer Premio X fue dado hace unos años a la primera iniciativa privada de construcción de una nave espacial capaz de llevar al menos a tres pasajeros fuera de la atmósfera, regresar a salvo y poder reutilizar la nave en pocos días. Esa innovación ha permitido iniciativas privadas que en poco tiempo permitirán reducir los tiempos de vuelo en la tierra: un vuelo suborbital permitirá unir dos puntos cualesquiera del planeta (que cuenten con un espacio-puerto) en aproximadamente dos horas. Una rama de la empresa de Richard Branson (Virgin Galactic) ya está vendiendo los tickets para los primeros vuelos. Desde entonces los Premios X han estado centrados en la industria espacial y la medicina.

La nueva iniciativa de la Fundación de los Premios X es encabezada por tres personajes del mundo educativo: Nicholas Negroponte (MIT), Gordon Brown (ex primer ministro británico y actual enviado especial del Secretario General de las UN para su iniciativa Global Education First), y Ken Robinson (educador crítico del paradigma que subyace a los sistemas educativos modelados bajo un prisma academicista y a imagen de un modelo de producción industrial, ver su más reciente, 2013, participación en TED).

Si se logra concretar esta iniciativa es posible que en unos dos o tres años tengamos una tecnología que permita que los niños puedan desarrollar sus habilidades básicas de alfabetismo sin la mediación de una escuela o de un maestro.

Si bien la iniciativa no está planteada como la búsqueda de un competidor de la escuela ya que: (i) va dirigida a aquéllos a los que la escuela no llega y (ii) no pretende lograr todo lo que la escuela tiene como mandato, lo cierto es que dado que la escuela no logra lo que se supone debe hacer, y que ni siquiera asegura lo más básico, si una tecnología diferente a los sistemas educativos sí lo lograse, entonces estaremos ante un desafío radical a los sistemas educativos actuales: si los niños pueden aprender a leer, escribir, usar números por ellos mismos sólo descansando en una tecnología presumiblemente de bajo costo por niño, ¿Qué sentido tiene que los estados gasten en sistemas educativos varias veces esa cantidad si ni siquiera logran que los niños logren leer de modo competente tras seis años de escuela primaria?

No estoy sugiriendo que la innovación que se desarrolle habrá de reemplazar ineludiblemente a la escuela (aunque tal vez lo haga con relación a varias de las tareas que la escuela debería lograr -probablemente en lo circunscrito a lo cognitivo), pero podrá desafiarla radicalmente.

Tal vez ése sea el terremoto que necesitan los sistemas educativos para reformarse, o las personas para decidirnos a reformarlo.

El éxodo

Hace pocos días se celebró en Lima una nueva edición del CADE Educativo. El tema central que ocupó las reflexiones se vincula al crecimiento de la educación ofrecida por agentes privados y en qué medida ésta es una opción válida a impulsar en el país.

Al respecto quisiera hacer tres comentarios: (i) la oposición entre educación pública y educación privada en el Perú es falaz, ya que la primera (salvo excepciones como Fe y Alegría) no existe pues la educación estatal está, simplemente, privatizada (sirve algún interés particular y no el interés público); (ii) lo peor que nos puede pasar en este debate es generalizar y asumir que bajo la etiqueta "educación privada" se está agrupando a un conjunto homogéneo de realidades cuando, en realidad, éstas son profundamente diversas; y (iii) la migración masiva hacia la educación privada se ha venido procesando de manera muy fuerte en los últimos años y, para entender esto, es necesario partir de un principio epistemológico básico de las ciencias sociales: la gente no es estúpida o, dicho de un modo formal, la gente actúa en base a ideas, creencias, expectativas, experiencias, etc. que tornan significativas y razonables sus decisiones.

Un primer punto a tener presente tiene que ver con la magnitud del éxodo (citando datos de los Censos Escolares):

• En 1993, la matrícula en educación primaria no estatal representaba el 12.3% del total. En 1999 sólo había subido a 12.6%; pero para 2012 su participación relativa se había prácticamente duplicado alcanzado 23.0%
• Esta tendencia sigue  al aumento. En 2012, el 27.3% de los niños que ingresaron a la primaria lo hicieron en una escuela no estatal. En la zona urbana de la provincia de Lima, esta proporción llegó, en 2012, a 56.5%

Un segundo punto a tener en cuenta refiere a las diferencias entre educación estatal y educación privada o, dicho de otra forma, las cosas que hacen que la gente migre de la primera hacia la segunda tan pronto tiene la oportunidad de hacerlo:

• Rendimientos. En promedio, los estudiantes de escuelas no estatales tienen rendimientos mayores que los matriculados en escuelas estatales. Esto no quiere decir que esto sea así en TODAS las escuelas, ni que esas diferencias en rendimiento se expliquen por lo que se hace en las mismas. Sin embargo, esto crea una imagen que es claramente percibida por la gente.

Pero, las escuelas no son sólo rendimientos académicos. Hay muchas otras cosas que nos importan cuando decidimos a donde enviar a nuestros hijos. Algunas de éstas son:

• La seguridad
• El status y la diferenciación social
• Las expectativas que se tiene respecto de la escuela
• La infraestructura
• La enseñanza (bien o mal hecha) de idiomas, cómputo, etc.

En estos ámbitos, la escuela no estatal "gana" (en promedio) a la estatal.

Como en cualquier proceso migratorio, es preciso entender tanto los factores de "atracción" como los de "expulsión." Los anteriormente señalados pueden ser vistos exactamente desde las dos perspectivas ya que son ventajas de la educación privada vis-à-vis la educación estatal. Para decirlo más claramente: la gente se va a la educación privada tan pronto su bolsillo se lo permite porque ha presenciado 40 años de descalabro de la educación estatal. Esto se ilustra de un modo muy simple: en los 70 la gente en Lima pugnaba por vacantes en los hoy llamados colegios emblemáticos que ofrecían una educación decente. La gente estaba dispuesta a que sus hijos pasen mucho tiempo en el transporte público para acceder a esos colegios y, así, se tenía 60 alumnos por clase. Hoy, el número de alumnos por clase es mucho menor en esos colegios y nadie está haciendo desesperadas colas por una vacante ... ¿es algo que debería sorprendernos? en lo más mínimo.

Frente a esta situación hay dos tipos de acciones necesarias: (i) convertir la educación estatal en educación pública, expropiándola del interés privado que hoy la controla y haciéndola una buena educación; ésta es la idea que da sentido a hablar de un fortalecimiento de la educación pública (que en nuestro caso pasa por su resurrección) y seguramente el día que esto suceda la gente solita, sin que medie la acción de nadie, volverá (si así lo desea) a las aulas estatales; (ii) garantizar que tanto las escuelas estatales como las privadas aseguren los derechos de las personas; es decir, es clave que el Estado asuma su rol garante fortaleciendo su carácter supervisor (de TODA la educación independientemente de quién la gestione) y dejando de lado su vocación de control, de gestión inoperante y de prescripción de lo que la gente tendría que hacer.

El síndrome de Helsinki

Hace poco más de 10 años, la  OCDE publicó los primeros resultados de PISA (Programme for International Student Assessment). Dados sus intereses, el primer elemento de información que destacaron fue el siguiente:

Nótese que en este cuadro no está Perú ya que llegamos tarde a esa primera rueda de PISA. Los datos de Perú corresponden a 2001 y se publicaron en 2003. Gráfico tomado de OECD (2001) Knowledge and skills for Life. First results from the OECD Programme for International Student Assessment. OECD:Paris. p.45.

Este cuadro ordena a los países según su nivel de desempeño en la prueba de lectura. Si bien rankings como éste no suelen dar mucha información por sí mismos, éste tuvo la virtud de generar una pregunta clave: ¿Qué es lo que está haciendo Finlandia que muestra desempeños mejores que el resto de países desarrollados y otros que participaron en la prueba?

Esta pregunta desató un gran esfuerzo de investigación así como el interés general de muchos que empezaron a visitar Helsinki con el ánimo de encontrar los secretos de su fórmula de éxito educativo.

En el caso peruano, una de las cosas que podemos hacer con la Evaluación Censal de Estudiantes es muy parecida a ésta. Podemos, por ejemplo, ordenar a los distintos subgrupos de la muestra y, dado que tenemos una serie de datos, no sólo podemos ver quiénes están mejor (y peor), sino también ver quiénes han progresado más (o menos).

Porcentaje de estudiantes de segundo grado en el nivel de desempeño satisfactorio en comprensión lectora. 2007-2012, nacional y por estratos

Elaboración propia a partir de los datos publicados en http://umc.minedu.gob.pe/?p=1357. Nótese que no se ha incluido los intervalos de confianza de las estimaciones para no hacer que el gráfico sea ilegible, pero es necesario tener en cuenta esa información para una adecuada lectura de estos resultados. Por lo mismo, este gráfico es sólo referencial

Las líneas marcan los años extremos en la serie (azul=2007, anaranjado=2012). Estos valores de los años extremos definen la caja que facilita su lectura. Los otros puntos corresponden a los años intermedios.

Hay un par de cosas muy claras que se desprenden de este gráfico (algunas de las cuales ya han sido identificadas en las presentaciones hechas por el Ministerio):

(1) Hay grupos que no sólo tienen mejores desempeños en 2012 sino que también han progresado a un ritmo claramente más marcado (amplitud del cuadro). Este es el caso de:

•  Moquegua; Tacna; Lima Metropolitana y Callao en el caso de las regiones (y en menor medida Arequipa)
• Las escuelas no estatales frente a las estatales a pesar del crecimiento en matrícula del sector no estatal (de menos de 20 a aproximadamente 25 por ciento del total en este período)
• El sector urbano frente al rural
• Las escuelas poli-docentes completas frente a las multigrado/uni-docentes.

Esto deriva en un incremento de las brechas de equidad al que me referiré en un próximo post.

(2) Hay grupos que han permanecido estancados

• Loreto
• Las zonas rurales
• Las escuelas multigrado/uni-docentes

En los dos últimos casos hay que considerar la dinámica de migraciones internas que probablemente esté conduciendo a una mayor homogeneidad (hacia abajo) de las poblaciones rurales y de las que son atendidas en escuelas multigrado.

Creo que esta información debería ser suficiente para motivar una agenda de investigación que evite las lecturas demasiado fáciles acerca de lo que viene sucediendo y, en especial, acerca de identificar qué es lo que funciona mejor para asegurar que los niños aprendan.

Dado que la evaluación censal no puede generar mucha más información, la investigación más detenida se vuelve un imperativo como sucedió con el caso de Finlandia a nivel internacional (también por las limitaciones de un estudio como PISA, especialmente en sus primeras versiones, para poder entender qué explica los cambios educativos).

Varias personas (incluyendo colegas del Ministerio) estamos profundamente interesadas en perseguir esta agenda de investigación ya que resulta crucial para enfrentar los problemas. Esperemos que sea posible hacerlo pronto.

Blogging

Este blog apareció el día que cumplí cincuenta años hace tres meses.

Habiendo pasado este tiempo, me pareció conveniente revisar si fue una buena decisión publicarlo.

Para mantener la costumbre, primero me puse a mirar unos números y lo que me ha llamado la atención es que he tenido un promedio de 11 visitas diarias, lo que significa unas mil en este tiempo.

Lo segundo que me llamó la atención es la distribución geográfica de estas visitas.

Producido con la herramienta gratuita de Stat Planet (http://www.statsilk.com/maps/free-tool-create-interactive-thematic-maps-world) con datos al 16 de mayo de 2013

25 países y, lo que más me sorprendió es que el Perú represente sólo el 60 por ciento de las visitas. Me imagino que muchas de las visitas fuera del país sean de peruanos, pero no puedo saberlo.

Más allá de esto, varios amigos me han manifestado su interés y su apreciación respecto de las cosas que publico. He recibido varias sugerencias, incluso aquélla que llevó a que hoy cambiara los colores usados y el formato de modo que se facilite su lectura (gracias Gustavo).

Esta reacción de la gente cercana me hace pensar que valió la pena empezar con esta iniciativa así que he de mantenerla (por lo menos por ahora). Mañana saldrá un post sobre la ECE y las diferencias entre los distintos estratos de la muestra.

La tres veces coronada ciudad de los rompemuelles

Ahora que estoy conduciendo nuevamente por Lima me encuentro con muchas cosas que cabría comentar. Una que me ha llamado la atención sobremanera es la gran cantidad de rompemuelles que existen por todas partes.

Si uno mira con atención, un rompemuelles en un dispositivo físico que conmina a los conductores a disminuir la velocidad bajo el riesgo de maltratar su auto (de ahí el nombre "rompemuelles" para algo que en otras partes se conoce como giba). Ahora bien, ¿éxisten otros mecanismos para lograr el mismo efecto? Es decir, ¿hay formas no físicas, no impositivas, no amenazantes, de lograr el mismo efecto? Bueno, en muchas partes del mundo se usa un dispositivo distinto de modo aislado o en conjunción con otros elementos como se puede apreciar en esta imagen.

Para los que no hayan notado, la camioneta roja está detenida (no sólo ha disminuido la velocidad) siguiendo la indicación que aparece en la figura octogonal roja a su derecha. No sólo eso, se ha detenido detrás de una línea blanca que está pintada en la pista. Y todo esto sin que medie un bocinazo, un rompemuelles, un grito o alguno de los floridos recursos que pueblan nuestras calles. ¡Sorprendente!

Por supuesto que nosotros también tenemos las mismas señales en Lima y, es más, las usamos todas a la vez: signo de deternerse, línea en el piso, y rompemuelles, todo junto para ser más efectivos....

Evidentemente, la señal de pare funciona en un contexto en el que se verifican determinados supuestos:

1. La gente la ve, le presta atención.
2. La gente entiende su significado, no sólo la contempla.
3. La gente entiende que no es un cartel, sino una norma destinada a que vivamos mejor, de un modo más civilizado,
4. La gente se acostumbra a respetar, no concibe que deba actuar de otra forma,
5. La gente sabe que si no obedece corre el riesgo de generar un accidente pues el que viene del otro lado confía en que todos actuemos civilizadamente.
6. La gente sabe que si no obedece hay una posible sanción social que la misma gente que se ve amenazada por el comportamiento civilizado puede emitir.
7. La gente sabe que si no obedece hay un riesgo: la autoridad puede averiguarlo y aplicar una sanción haciendo que el supuesto beneficio individual e inmediato de no hacer caso a la norma no sólo desaparezca sino que se torne negativo porque no sólo no gané tres segundos, ahora pierdo más tiempo y dinero.

Increíble todo lo que se oculta detrás de un simple hecho de la vida diaria. Si en Lima necesitamos rompemuelles es justamente por que estos elementos no funcionan y, lo más importante, todos estos (excepto el último) son independientes de un gobierno o autoridad política, y dependientes de nosotros mismos de modo directo (el último es dependiente de nosotros de modo mediado pues, a fin de cuentas, nosotros elegimos a las autoridades y les permitimos no hacer su trabajo).

¿Se acuerdan de la publicidad "un lunes cualquiera"? (verla aquí) Si bien era un poco inocente y condenada por ser una publicidad para una empresa que es sinónimo de pésimo servicio, dicho spot muestra un elemento clave de responsabilidad social que usualmente ignoramos: el Perú (y todas sus virtudes y defectos) no es el gobierno, sino nosotros mismos y está en nuestras manos mejorar.

Volviendo a los rompemuelles, éstos son un brutal testimonio de nuestra incivilidad y permanecerán mientras no cambiemos nosotros. Eso supone entender el valor de las normas como una forma de respetarnos a nosotros mismos y a nuestros semejantes (lo que supone asumir que TODOS son nuestros semejantes y no sólo los miembros de mi panaka).

El fallecido Juez Supremo americano Oliver Wendell Holmes alguna vez dijo que los impuestos son el precio que pagamos por tener una sociedad civilizada. Pero no sólo se trata de pagar el precio, sino de vivirla. Los impuestos son, en realidad, el precio que tenemos que pagar para proteger y asegurar la vida civilizada, pero ésta no se compra, sólo se practica.

Termino con una reflexión más sobre la incivilidad de los rompemuelles: hace unos días circulaba por la ciudad y veía con desesperación a una ambulancia tratar de avanzar en medio de un tráfico en el que casi nadie quiere ceder un centímetro de su "posición." Finalmente, logró pasar y tomar una ruta más despejada de autos, pero que que estaba plagada de rompemuelles. Me pregunto si aquéllos que deciden construir estos testimonios de barbarie alguna vez se han preguntado que pasaría si ellos mismos o sus famliares viajasen en ambulancias que tienen que sortear estos obstáculos. ¿Qué pasa cada vez que un vehículo de bomberos es frenado en su carrera por salvar vidas por la estupidez, la incapacidad y la incivilidad encarnadas en un rompemuelles?

Los resultados de la ECE 2012 y nuestra idea de los tiempos

Me he tomado varias semanas para elaborar un comentario sobre los resultados de le ECE 2012 presentados al país por la Ministra de Educación a inicios de abril. Esto no es un accidente; he estado pensando muchas cosas a propósito de dicha presentación y revisando los resultados con cautela como para dar una opinión que valga la pena desde el punto de vista de contribuir al necesario debate sobre el estado de nuestra educación.

A fin de cuentas, creo que todos tenemos interés en que las cosas mejoren. Por lo mismo, todos tenemos interés en que las políticas públicas sean exitosas y no fracasen y todos tenemos interés en leer y compartir buenas noticias sobre nosotros mismos. Habría que estar muy desorientado para desear que las políticas públicas fracasen.

Una forma de contribuir es, justamente, mediante la formulación de opiniones independientes y técnicamente sólidas. Trabajando en el mundo académico, ésa es justamente la tarea que creo tener y a la que trato de contribuir.

Desde este punto de vista, me interesa destacar algunas cosas respecto de los resultados que tienen que ver con: (i) no pretender que los datos dicen lo que uno quiere, los datos no hablan, son evidencia para construir discursos pero somos nosotros los responsables de esos discursos y de cómo usamos la evidencia; (ii) justamente el uso de la evidencia es algo que me preocupa y ése es el eje alrededor del que gira este comentario.

En primer lugar, ¿cómo leer los datos? Básicamente, hay que leerlos atendiendo a lo que son: resultados muestrales de una prueba en comprensión lectora y matemáticas en segundo grado. Nada más y nada menos. Lo primero (resultados muestrales) supone que la lectura debe tener en cuenta los errores muestrales; obviarlos es simplemente inducir a error. Lo segundo (que son resultados de pruebas en dos materias en un único grado) supone no hacer generalizaciones ni crear fantasmas asumiendo cosas que no tienen sentido. Déjenme explicar estos dos puntos:

Resultados muestrales:

Se dice que un 30.9% de los estudiantes ha logrado, en 2012, un desempeño suficiente en comprensión lectora y un 12,8% en matemáticas. Esto es inexacto ya que ambos números contienen un error que hay que considerar para un tratamiento adecuado de los datos. Estos errores son: .39 en el primer caso y .32 en el segundo. ¿Cómo se usan esos errores? El resultado en comprensión es igual al valor obtenido ± un margen de error que es igual al error estándar mencionado multiplicado por un nivel de certeza buscado. Así, si el nivel de certeza buscado es 95% el resultado será 30.9 ± (1.96 * .39), es decir, el intervalo que va de 30.1 a 31.7. Esto significa que si hubiésemos aplicado la prueba a todas las muestras posibles de mismo tamaño de la muestra que se tomó, en el 95% de los casos obtendríamos valores entre 30.1 y 31.7% en comprensión lectora y entre 12.1 y 13.4% en matemáticas. Parece trivial, pero no lo es y déjenme explicarlo.

Si uno mira los resultados de 2011, encontrará que éstos fueron: entre 28.7 y 30.8% para comprensión lectora y entre 12.4 y 14.1% para matemáticas. Es decir, los intervalos de 2011 y 2012 se superponen. Esta es una situación de, siguiendo la jerga creada por las encuestadoras, “empate técnico.” Con propiedad estadística esto debe entenderse como: no hay evidencia suficiente para afirmar que los resultados de 2012 sean diferentes de los de 2011; por lo que hay que asumir que no lo son. Así, no hay un progreso de 1.1 puntos en comprensión lectora, o una caída de 0.4 puntos en matemáticas como lo sugeriría comparar los valores estimados sin considerar el margen de error. Esto es justamente lo que señala, con absoluto profesionalismo, la presentación de resultados hecha por la Unidad a cargo de las pruebas en el Ministerio.

Por otro lado, la ECE 2012 no es un evento aislado y no se trata únicamente de observar qué pasó en el último año. La ECE se viene aplicando desde 2006 (con resultados válidos desde 2007) y es bueno mirar la serie para entender dónde estamos. La serie completa se presenta en este gráfico:

Elaboración propia a partir de la información disponible en el sitio web del Ministerio de Educación. Las  barras muestran los intervalos de confianza de las estimaciones (azul hacia arriba y rojo hacia abajo)

Antes de leer los resultados, por favor, nótese que en el gráfico la escala va de 0 a 100. Esto es importante por qué si uno corta la escala, amplifica los cambios de modo artificial y esto es muchas veces usado tanto para destacar un aspecto positivo como para agravar un aspecto negativo y es igualmente inválido en ambos casos. Hay circunstancias en las que se puede o debe alterar la escala, pero estas excepciones hay que manejarlas como tales y advertir al lector sobre las mismas y el propósito que sirven.

Como se puede apreciar, en ambos casos, se duplica la proporción de estudiantes que alcanzan el nivel satisfactorio en los primeros años y luego se produce un estancamiento.

Del mismo modo debemos ver los demás cambios (o no cambios) que son documentados por la ECE: el progreso en la reducción de aquéllos que no alcanzan siquiera el nivel mínimo de desempeño (que es un área clave que ha destacado la presentación de la Ministra), la evolución de las brechas, los distintos patrones en las regiones, etc.

Asimismo, habría que revisar con atención algunos comportamientos identificados por el Ministerio pero que no se encuentran documentados por la información disponible: el rendimiento de escuelas estatales y no estatales por distritos de Lima o el rendimiento diferenciado de las escuelas “acompañadas.” Hasta donde sugiere la información disponible, no hay un diseño muestral que permita decir algo sobre estos temas por lo que sería conveniente que el Ministerio documente cuál es la evidencia que respalda estas afirmaciones.

En próximos posts trataré de referirme a varios de estos temas.

Cazafantasmas:

A pocos días de publicados los resultados, Idel Vexler (quien fuera viceministro de educación durante prácticamente toda la década pasada) comentó la presentación y destacó (con total precisión) el patrón de cambios ya anotado (progreso hasta el 2010 y  luego estancamiento). Ahora bien, si bien es posible constatar que el progreso se observó cuando Idel Vexler era viceministro y que el estancamiento coincide con su salida del Ministerio no podemos asumir que esa coincidencia en el tiempo signifique algún tipo de causalidad. Pensar que hay una relación causal entre lo uno y lo otro sólo sobre la base de la simultaneidad es tan absurdo como pensar que Idel Vexler es responsable del terremoto que afectó Ica ya que éste también ocurrió cuando él era viceministro.

De modo exactamente análogo, no se puede pensar que el progreso o estancamiento de los últimos años es resultado de lo que ha hecho o dejado de hacer la gestión actual. Ese simplismo puede llevar a la desesperación por mostrar resultados así como a algunas críticas infundadas. La causalidad en los asuntos humanos en muchísimo más compleja y aún falta mucho pan que rebanar en términos de investigación para entender los cambios, los estancamientos y los distintos procesos en cada región. Debemos tener presente que los resultados educativos de hoy son el fruto no sólo de lo que hacemos hoy, sino también de lo que hicimos y dejamos de hacer en nuestro pasado reciente. Del mismo modo, lo que hacemos hoy se traduce en algo de lo que hoy observamos y en mucho de lo que acontecerá en los años por venir. Por ejemplo, el desempeño de los docentes hoy en servicio (y ésta es una variable clave) es el resultado de decisiones que, entre otras, permitieron que el ingreso a la carrera de educación en las universidades se logré con puntajes ínfimos y que se egrese con un conjunto dudoso de competencias. Menciono este ejemplo sólo por una razón: las universidades son autónomas y la decisión de exigir mucho en medicina y prácticamente nada en educación, no es una decisión de ningún gobierno. Las responsabilidades por el estado actual de la educación peruana se reparten entre un conjunto muy amplio de actores.

Sin embargo, lo que me interesa destacar aquí es la noción de tiempo que necesitamos para abordar en serio los problemas de la educación. Si el rendimiento cambió o no cambió 1 punto en un año, es lo menos importante de los resultados no sólo porque no existe evidencia para afirmar dicho cambio (es decir porque no cambió) sino y fundamentalmente porque necesitamos políticas de largo aliento que aborden problemas que también son de largo aliento.

Para eso necesitamos información y análisis y, lamentablemente, la ECE no nos ayuda mucho justamente por su carácter censal. Como ya anoté (ver post previo) la carga operativa de hacer un censo obliga a centrarse en muy pocas cosas y, por lo tanto, es poco lo que sabemos gracias a la ECE.

La semana pasada se presentó un libro reciente producido por Arlette Beltrán y Janice Seinfeld. El libro levanta muchos temas claves de la educación peruana que hay que abordar. Por su parte, el intercambio de ideas que se desarrolló en la presentación mostró algunos de los problemas que tenemos. Por ejemplo, uno de los comentaristas que es tenido como un experto en educación trató de descalificar el valor de la información generada por la ECE a partir de dos “argumentos”: el primero consistente en decir que no se puede asumir que las dos cosas que mide la prueba (o las tres que mide PISA) son cosas que todos debemos manejar por igual y que son las únicas que importan; como nadie afirma esto, tenemos un argumento retórico simple y fallido: se levanta un fantasma y luego se conquista sonrisas atacándolo. El segundo “argumento” fue la total incomprensión acerca de cómo operan pruebas como la ECE (se dijo que el progreso de los primeros años se explica porque se cambió el fraseo de las preguntas y ahora la prueba es más fácil). Me sentí muy satisfecho como ciudadano de este país al ver a la Ministra defendiendo un bien público y el patrimonio que representa para el país contar con las capacidades para desarrollar este tipo de mediciones.

Voy a seguir sobre estos temas en las próximas semanas.

Haya o no Haya, La Haya será

En pocos meses la Corte Internacional de Justicia emitirá su fallo sobre la demanda interpuesta por el Perú con relación a la fijación de la frontera marítima con Chile. En la medida que nos acercamos a dicho momento, las prioridades cambian ya que lo que empieza a estar en juego no son kilómetros cuadrados más o menos de mar, sino la manera como nuestras sociedades han de enfrentar el fallo y el significado de esta reacción para cada uno de nuestros países independientemente, y para nuestro futuro como vecinos.

Un hecho alentador es que ambos gobiernos han expresado reiteradamente su compromiso con acatar el fallo, pero ¿cuál es la actitud de las personas?

Lamentablemente, tenemos razones para temer que el fallo, cualquiera que éste sea, ha de despertar entre las personas sentimientos contrarios al principio fundamental que está en juego: la resolución pacífica, civilizada, legal de las diferencias.

Si hay algo que los pueblos pueden aprender hoy es que lograr este tipo de resolución de las diferencias es mucho más importante que un pedazo de tierra o mar. ¡Qué diferencia con el espíritu militarista de 1879 o, incluso, de 1979!

Es tiempo que nuestros países empiecen a dar no sólo señales oficiales de respeto al fallo, sino de pedagogía política, estimulando entre los ciudadanos una sensación de victoria en el camino a la vida civilizada mucho más importante que unos puntos de crecimiento en el PBI. Asimismo, hay que anticipar y conjurar aquellas voces militaristas que creen que hoy es el momento de renovar arsenales, comprar tanques y demás. Hoy más que nunca es el tiempo de destinar los recursos públicos al desarrollo, a garantizar los derechos fundamentales de las personas, a desarrollarnos como una sociedad civilizada. Hoy que todas las fronteras están claras, es tiempo de pensar en políticas de desarme que pueden concordarse, o no, con los vecinos. Es tiempo de desminar completamente las fronteras (como se debió hacer desde hace mucho cuando se firmó el Tratado de Ottawa -Convención sobre la prohibición del empleo, almacenamiento, producción y transferencia de minas antipersonales y sobre su destrucción) y reemplazar las armas con materiales y equipos para el desarrollo del país. Es tiempo de fortalecer la integración con nuestros vecinos y compañeros de historia.

Perú y Chile tienen cada vez más lazos comunes que nos unen en la construcción de futuro, estos lazos necesitan fortalecerse eliminando todo chauvinismo estúpido (¿hay otro?) y el fallo de La Haya, cualquiera que éste sea, será una victoria conjunta de ambos pueblos sobre la barbarie que aún habita en las mentes de muchos peruanos y chilenos.

Este post se publica intencionalmente el 5 de abril de 2013, 21 años después del que esperemos sea el último golpe de estado en la historia del Perú. Valorar la solución civilizada de los conflictos es exactamente la mejor manera de ponderar el significado de largo plazo de opciones autoritarias que, aunque oclocráticamente celebradas en su momento, terminan siempre minando las posibilidades de vida civilizada. Tener presente que aún un alto porcentaje de peruanos abraza opciones totalitarias y celebra la barbarie es una obligación moral.

A propósito de la ECE 2012

El día dos de abril de 2013 la Ministra de Educación presentó los resultados de la Evaluación Censal de Estudiantes (ECE) 2012, es decir, de la prueba de lectura y matemáticas que se aplica en segundo grado en todo el país desde 2007.

Hay muchas cosas que comentar al respecto: uno podría mencionar lo pobres que siguen siendo los resultados o destacar que se está mejorando poquito a poquito en el promedio nacional aunque las brechas se han incrementado (lo que, aparentemente, empezaría a estar cambiando), etc. En un próximo post me referiré a esos temas, hoy quiero enfocarme en un problema diferente.

¿Han notado que los resultados de la evaluación censal se presentan usando lo que en estadística se llama error estándar? Es decir, se presenta resultados que tienen un margen de error por lo que es necesario indagar si las diferencias son "significativas", es decir, suficientes para decir que son, efectivamente, diferencias. Ahora bien, estos errores son clave para un buen uso de información muestral ya que, efectivamente, una muestra probabilística bien diseñada representa la situación poblacional pero dentro de determinados límites de confianza o probabilidad (por ejemplo, una encuestadora dice que hay un "empate técnico" cuando un candidato tiene 29% de preferencias y otro 30% -la prueba de significancia justamente busca indagar si 30 es, con cierto grado de certeza, más que 29).

¿Resultados censales con errores estándar?

(esto no deja de recordarme mi examen parcial de Estadística Social II en la Universidad, cuando la gran profesora que teníamos nos puso información censal de una manera tal que la mayoría de los estudiantes asumió que era muestral y procedió, equivocadamente, de acuerdo a esto -gracias Ana) 

La explicación de esta situación radica en que quienes conducen las evaluaciones dentro del Ministerio saben bien cómo hacerlo. Es decir, tienen muy claro que la evaluación censal no brinda resultados que se puedan agregar de modo confiable a nivel nacional ya que: (i) la cobertura censal es diferente en distintas partes del país y se presenta lo que se conoce como "sesgo de selección", (ii) no hay garantía de que las pruebas se puedan aplicar de modo equivalente en todas partes, (iii) la información base presenta dificultades para definir el real universo a medir; entre muchas otras razones. Así, durante la "evaluación censal" se evalúa también a una "muestra de control" que es de donde se puede sacar los resultados confiables que se presenta a la comunidad nacional.

Entonces, cabe preguntarse, si la información que se usa viene de una muestra ¿para qué tener un censo?

La respuesta a esta pregunta radica en el origen de la evaluación censal. Esta no se hizo para que podamos saber cómo vamos a nivel país, o de las regiones, sino para que cada padre de familia pueda recibir un informe sobre la situación de su hijo en el entendido que al ver lo mal que están las cosas, éstos tomen un mayor protagonismo y actúen sobre la escuela y sus docentes para que éstos mejoren. Si bien estas razones no están claramente expresadas ni documentadas, algunos actores (especialmente fuera del Ministerio de Educación) lo han tenido siempre muy claro. Es decir, se buscó establecer un mecanismo de rendición de cuentas que dinamizaría la vida escolar. Eso no se puede hacer si la prueba no es censal.

Ahora bien, esta decisión tiene algunos costos: una prueba censal es muy grande y requiere muchos recursos no sólo financieros, sino también profesionales; conducir una prueba censal hace que el Ministerio limite su capacidad de explorar otras cosas que cabría explorar y que la unidad a cargo no puede hacer por la carga de trabajo que implica una evaluación censal.

Por otro lado, más allá de las virtudes de medir competencias básicas en grados tempranos, una evaluación censal en segundo grado limita la información que se puede acopiar: por ejemplo, hay preguntas que permitirían determinar el nivel socio-económico de las familias (variable clave para entender los resultados) que no se puede preguntar a niños de segundo grado.

Es decir, la evaluación censal sirve para informar a los padres (asumiendo que los informes de resultados efectivamente lleguen a éstos), pero nos limita a todos como comunidad nacional en términos de la información que se produce. En 2004, antes de la introducción de la evaluación censal, la evaluación muestral generó mucha más información la que fue muy útil para entender las cosas. Lamentablemente, entre entender y transformar hay un trecho muy importante.

Así, la pregunta es ¿cuánto ganamos con un evento censal? ¿Lo que ganamos compensa lo que perdemos?

En primer lugar, los padres reciben las libretas de notas de sus hijos, así que debemos suponer que ya cuentan con información sobre el desempeño de éstos y que lo hacen de modo regular a lo largo del año escolar. Luego, la información de la evaluación censal sería redundante y extemporánea. Claro está que uno puede objetar y decir que las notas en realidad no informan de modo adecuado sobre los aprendizajes (¿si sólo menos de uno de cada tres niños lee de acuerdo a lo esperado, cómo así la abrumadora mayoría tiene notas aprobatorias?). Si esto es así, lo que tenemos es que los docentes evalúan según quién sabe qué criterio, cuando se supone que deberían evaluar contra los aprendizajes esperados según el curriculum nacional y los curricula regionales. Entonces, ¿debemos tener una evaluación censal sólo por que las notas no sirven? Esta no parece ser una solución muy coherente.

En segundo lugar, tenemos el propósito por el que se estableció la evaluación censal. No sé si yo me he perdido de algo estos años que estuve fuera pero, hasta donde tengo entendido, no hemos presenciado una gran movilización de padres indignados por lo poco que aprenden sus hijos, ¿o sí? Evidentemente, uno podría argüir que los padres no tienen capacidad para movilizarse, pero durante estos mismos años hemos visto que las comunidades se movilizan y, en ocasiones, con mucha vehemencia y capacidad de presión. Un ejemplo muy claro: Conga. A mí esto me sugiere que hay capacidad para actuar y presionar, pero que ésta se moviliza únicamente cuando se trata de algo que le importa a las personas (por cualesquiera sea el motivo). Esto me permite sugerir una hipótesis general: a la población y a sus autoridades (por ejemplo en Cajamarca) les preocupa más la minería que si los niños aprenden a leer o a sumar. Eso sería el caso si, en realidad, se encuentran satisfechos con la educación que tienen, o porque no les parece que sea un problema que amerite el esfuerzo que, por ejemplo, Conga si ameritó. Así, debo imaginar que Conga (u otras casos como éste) es más importante que el aprendizaje de los niños.

Por otro lado, imaginémonos una situación en la que efectivamente la evaluación produzca el resultado que imaginaron quiénes vendieron la idea de tenerla. ¿La movilización de los padres podría, efectivamente, hacer que los niños aprendan lo que no están aprendiendo? La respuesta sería afirmativa si la razón por la que no se enseña de modo efectivo a leer y sumar fuese que los docentes no quieren hacerlo. En ese caso, un poco de presión los podría “motivar”. Pero, ¿es ése el problema? ¿No será más bien que hay muchos docentes que o no saben cómo enseñar o sabiendo hacerlo no cuentan con los medios para hacerlo? La ilusoria e improbable movilización de padres no va a cambiar esto.

Así, la evaluación censal nos brinda menos información de la que necesitamos en aras de producir un resultado que no sólo no se produce (como hemos visto a lo largo de cinco años), sino que no puede producirse.

¿No es tiempo de reevaluar en serio si necesitamos una prueba censal?

¿No sería mejor tener –con los mismos recursos- evaluaciones muestrales que cubran más áreas y en más grados? ¿No cabría tener una evaluación censal cada cierto tiempo, digamos dos o tres años, con el propósito de identificar escuelas que necesitan ser intervenidas/apoyadas de modo decidido? ¿cuál es el lugar de las evaluaciones internacionales en este escenario?