27 diciembre, 2013

PISA 2012: Periódico de ayer ("que nadie más, procura ya leer" -TCA)

Como era de esperar, el cacareo en medios a propósito de PISA ha menguado y, al hacerlo, ha cedido terreno ante temas que tienen una presencia más permanente en éstos: en muy pocos días Tilsa le ganó a PISA (bueno, la verdad es que eso me han dicho algunos amigos pues, confieso con profundo orgullo, que no tengo la menor idea acerca de quién es esa señora).

Más allá de lo anterior y lo que esto dice acerca de la importancia relativa que los medios (y sus lectores/oyentes/y televidentes) dan a la educación y cómo ésta está mediatizada por información supuestamente impactante pero inútil, cabe hacerse algunas preguntas de otro tipo: por ejemplo ¿de qué sirve PISA?

El punto de partida obligado para responder esta pregunta es la intención expresa de aquéllos responsables del estudio: según el Secretario General de la Organización para la Cooperación y el Desarrollo Económico (OCDE), la evidencia que produce PISA ...


(...) goes well beyond statistical benchmarking. By identifying the characteristics of high-performing education systems PISA allows governments and educators to identify effective policies that they can then adapt to their local contexts. [OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I), p. 3]


Entonces debemos esperar que PISA sirva para formular políticas efectivas que impacten de modo positivo en los aprendizajes. Por lo mismo, cabe preguntarse ¿qué ha pasado con los aprendizajes en la OCDE desde que se administró la primera ronda de PISA en 2000? ¿cuál es el impacto en los aprendizajes que se ha verificado gracias al esfuerzo desplegado en PISA todos estos años?

PISA 2000-2012: Cambios en el desempeño medio en lectura
(países de la OCDE; promedio de la OCDE; y Perú)
Elaboración propia a partir de la Tabla I.4.3b de OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I). Las barras muestran los intervalos de confianza de la variación; los puntos verdes son el desempeño medio del año 2000 (único valor a ser leído en el eje inferior). Sólo se incluye a los Estados Miembros de la OCDE con información tanto en 2000 como en 2012.
Como muestra el gráfico, cinco países de la OCDE (Polonia, Israel, Chile, Alemania, y Portugal) han visto incrementos en los niveles medios de desempeño lector en PISA entre 2000 y 2012; 17 países no presentan cambios estadísticamente significativos; y cinco países (Australia, Nueva Zelanda, Finlandia, Islandia, y Suecia) muestran deterioros. Por otro lado, la situación de la OCDE contrasta de modo importante con el progreso observado en Perú (por cierto, nadie publica ni comenta este ranking).

Claro está que no es posible establecer una relación causal entre participar en PISA y que haya mejoras, o que no las haya, o que haya deterioro. Este mismo razonamiento también invalida la pretensión de que PISA es una herramienta efectiva de política ya que los datos no toman decisiones, ni son suficientes para ello.

Ante esta falta de progreso en los países de la OCDE uno puede preguntarse varias cosas:

  • ¿Será que la política no presta atención a la data?
  • ¿Será que la data no dice nada útil?
  • ¿Será que sí ha funcionado y que sin PISA estarían peor?

Ninguna de estas preguntas tiene una respuesta fácil o directa; sin embargo cabe hacérselas para motivar una reflexión más profunda sobre PISA.

¿Quién y qué gana con PISA?

Un primer elemento que destaca cuando se publica los resultados de PISA es el cacareo mediático al que ya me he referido y que no es, en lo absoluto, privativo del Perú: el 3 de diciembre de 2013 muchas vestiduras fueron desgarradas en muchas latitudes básicamente de la misma manera y con los mismos resultados que en el Perú. ¿Quién gana con ello? La respuesta es simple:
  1. la OCDE logra, gracias al ruido, posicionar su estudio como (para citar las palabras del Secretario General de la OCDE en el lugar antes mencionado) the world’s premier yardstick for evaluating the quality, equity and efficiency of school systems (lo que, por cierto, PISA no permite).
  2. la OCDE logra posicionarse a sí misma como la fuente principal de información sobre el desempeño de los sistemas educativos (lo que tampoco es así).
  3. La OCDE logra posicionar su discurso ideológico sobre la educación y su sentido: la educación importa por razones instrumentales (creación de capital humano, competitividad), etc, no como valor y derecho humano fundamental.
En este ámbito, los rankings juegan un rol fundamental pues son lo que vende: nadie haría ruido en los medios con un análisis jerárquico lineal acerca de los factores que afectan el desempeño. En un simposio en el que participé en diciembre de 2012, un representante de la OCDE observó, a propósito de mi presentación, que los rankings "sólo ocupan un par de páginas en los informes PISA que comprenden varios volúmenes" lo que es parcialmente cierto (ya que son bastante más que un par de páginas). Sin embargo, son los rankings lo que los autores optan por colocar en la parte frontal de dichos volúmenes, resúmenes ejecutivos y demás.

Lo anterior, además, representa un beneficio para el Consorcio de empresas que hacen PISA. Estas consolidan una posición dominante en el mercado, y consolidan una importante fuente de ingresos. De acuerdo a la OCDE, participar en una ronda de PISA cuesta 182 mil Euros por país en overheads (es decir, lo que se destina a la coordinación y operación del Consorcio). Con 65 países participando en PISA, el overhead total de una ronda sería cercano a los 12 millones de Euros o poco más de 16 millones de Dólares Americanos (a esto, por supuesto, hay que agregar los costos de implementación nacional y cualquier "adicional" que el país desee implementar en términos de módulos o de volúmenes de observaciones -los dos últimos si se traducen en mayores costos "internacionales").

En este marco, no hay que ser ingenuo sobre la manera cómo la OCDE se ha posicionado frente a la International Association for the Evaluation of Educational Achievement (IEA), que es la organización que tiene más de cinco décadas desarrollando estudios internacionales sobre desempeño estudiantil en base a un esquema de cooperación (y no de venta de servicios y control centralizado) entre los países participantes. La IEA opera entendiendo que la información es un bien público, el Consorcio PISA tiene un enfoque distinto que se traduce en diversos elementos de los estudios.

Este tipo de consideraciones está a la base de la manera como, por ejemplo, la OCDE maneja el tema de la participación China y del Municipio de Shanghai en PISA donde no parece primar consideraciones técnicas en lo absoluto. Tom Loveless ha llamado claramente la atención sobre estos problemas en dos textos recientes: el más reciente y el previo. Una de las cosas curiosas sobre las que Loveless llama la atención es el tamaño de la población de 15 años en Shanghai (según los datos de PISA). En efecto, en estos informes se consigna que la población de 15 años en Shanghai es aproximadamente 4,7 por ciento del total de dicha Municipalidad cuando el promedio que se observa en los demás territorios participantes en PISA 2012 es 12,9 por ciento (y 11,9 y 12,3 en Hong Kong y Macao respectivamente). Dicho de otra forma: con una población total similar a la de Shanghai, el Perú señala que tiene 580 mil personas de 15 años mientras que las autoridades chinas reportan que Shanghai sólo tiene un quinto de dicha magnitud. A esto se añade el hecho que en Shanghai se excluye a la población "no elegible" (es decir, a los hijos de migrantes), así este valor resulta llamativamente bajo a lo que también debe agregarse que la muestra final representa sólo a tres de cada cuatro personas en este total que luce (¿artificialmente?) reducido.

No pretendo decir que detrás de PISA hay una maniobra maquiavélica o algo que se le parezca. Sólo que, como es lógico, detrás de los números de PISA hay personas con visiones, intereses y juegos de poder (algunos muy legítimos) lo que, finalmente, lleva a algunos a tratar de maximizar su beneficio. Así, ciertamente, hay ganadores claros en PISA aunque esta ganancia poco o nada tenga que ver con  mejorar los aprendizajes de las personas. Diversos trabajos de Mary Hamilton destacan varios de los problemas que aquí sólo se esbozan. Del mismo modo, hace unos años la Sociedad Europea de Educación Comparada realizó un evento para poner a "PISA under examination"; la publicación contiene un conjunto amplio de consideraciones que es bueno tener en cuenta para evaluar la pertinencia de un estudio como PISA (en particular, el capítulo de David Scott sobre problemas epistemológicos me resulta de capital importancia).

Toda esta reflexión me permite concluir que es tiempo de desafiar cierto consenso ridículo acerca de PISA y pensar mejor qué, para qué y, consiguientemente, cómo queremos medir aprendizajes. No pretendo sugerir que debemos "matar al mensajero" de las malas noticias, sólo quiero subrayar la necesidad de reflexionar en serio sobre estos temas, especialmente porque tenemos opciones como los estudios de la IEA que se basan en un enfoque asociado al curriculum, y en la colaboración entre pares. Al mismo tiempo, es necesario reflexionar acerca de cómo articulamos la participación peruana en estudios internacionales, con las mediciones que se conducen en el país a efectos de maximizar el potencial beneficio de contar con este tipo de información.

21 diciembre, 2013

El enfoque-comunicativo textual en un mundo ágrafo

En los últimos años, tanto en el Perú como en diversas partes del mundo, se ha difundido y consolidado un enfoque para el desarrollo de competencias comunicacionales (incluyendo la lectura) conocido como el enfoque comunicativo-textual.

Haciendo lo que tal vez sea una sobre-simplificación, este enfoque postula algunas ideas centrales:

1. Lo que es preciso desarrollar son las competencias comunicacionales de las personas. Así, la lectura no es vista en función de las operaciones mecánicas que incluye, sino y fundamentalmente como un acto comunicativo que comparte ese carácter con otras formas de comunicación como la oral, gestual, etc.

2. Este énfasis en la comunicación significa también que la lectura no es un proceso de "absorción" de lo dicho en un texto, sino un proceso de interacción en el que el significado es construido en el proceso que une al que escribe, con el que lee, y con el texto en un contexto comunicativo dado.

3. En este marco, los diversos propósitos, características y situaciones en las que se lee, no son irrelevantes, todo lo contrario, son el corazón del acto comunicativo bajo la forma de lectura (o de escritura).

La tremenda pertinencia de un enfoque como éste es bastante evidente, especialmente si se compara con formas tradicionales de enseñanza de la lectura, en el que el texto es desprovisto de contexto (perdiendo significado) y se sobre-enfatiza la mecánica de la lectura.

En términos prácticos, y de nuevo tremendamente simplificados, esto significa que se debe abandonar estrategias de enseñanza que olvidan la naturaleza comunicativa en favor de la mecánica de la lectura. Por ejemplo, no cabe pensar que la lectura se adquiere de la mejor manera mediante la capacidad para decodificar grafías, unirlas en sílabas y palabras, todas ellas aisaladas y, por lo mismo, desprovistas de contexto que es clave para que tengan significación. Así, no se aprendería a leer "gato" de modo asilado y menos "ga"+"to" (silábicamente) o, peor aún ""g"+"a"+"t"+"o"; sino mediante la interacción de un texto en el que la palabra "gato" sea un componente. Por ejemplo, una pequeña historia en la que un gato juegue un papel central.

Por otra parte, el enfoque comunicativo-textual descansa en el reconocimiento de que el texto escrito es parte de la cultura y, por lo tanto, uno debe tomar en cuenta que las personas están, desde edades muy tempranas, expuestas a textos escritos de donde, las palabras/sílabas/sonidos aislados representan una ruptura con el entorno, digamos, "natural" al que están expuestos los estudiantes.

Todo esto no sólo suena extremedamente razonable, sino que en efecto es de crucial importancia para evitar una disociación perniciosa entre el texto escrito y el significado y, con ello, entre el texto escrito y el mundo.

Biondi y Zapata (1988) mostraron como la disociación entre la forma de enseñanza de la lectura y la realidad del estudiante, conllevaba a profundos problemas vinculados al desarrollo de la capacidad lecto-escritora (de los que las fallas ortográficas son sólo una manifestación) y de percepción del valor del texto escrito.

Al mismo tiempo, sin embargo, hay al menos dos problemas sustantivos a considerar cuando se implementa un enfoque como éste en un país como el nuestro. El primero tiene que ver con las habilidades de los docentes para manejarlo. No voy a entrar en este tema en este post, sin embargo, no es un pregunta trivial.

Este post quiere destacar un segundo elemento que tiene que ver con la realidad del país: ¿cómo opera el enfoque comunicativo-textual en una cultura fundamentalmente oral? ¿cómo opera en un entorno de baja densidad letrada como es una gran parte del país, especialmente, en espacios locales más deprimidos?

Si uno ve, por ejemplo, la información complementaria a las pruebas que produjo un estudio como PISA en 2009, notará que un 30 por ciento de los estudiantes de 15 años de edad matriculados en secundaria declaró tener 10 o menos libros en casa (lamentablemente, no se puede determinar en cuántos casos el valor era cero) al tiempo que un 93% declaraba tener al menos un TV (y 50% dos o más TVs). No es necesraio que detalle estos valores según áreas urbanas  rurales, o según nivel socio-económico ya que es fácil imaginar cómo cambiarían las cosas. A manera de ilustración sólo diré que en Finlandia el porcentaje de estos estudiantes con 10 o menos libros en el hogar es menor al seis por ciento.

El problema que me preocupa es que no es lo mismo plantear un enfoque como éste en un mundo de presencia significativa del material escrito que hacerlo en un país (y en especial en algunas localidades) donde el texto escrito es ajeno. Ilustrando exacerbadamente las cosas, uno podría pensar que la famosa escena entre el Padre Valverde y Atahualpa en la Plaza de Cajamarca ejemplifica lo que significa presentar un texto íntegro a una persona que no ha sostenido relación alguna con el texto escrito a lo largo de su vida.


Guamán Poma de Ayala (1615)
Nueva Crónica y Buen Gobierno. Página 386
Disponible en Det Kongelige Bibliotek
Quisiera una vez más referirme a las investigaciones de Biondi y Zapata (2006) sobre el tema de la oralidad en el Perú. Una cosa que los autores han mostrado con una tremenda sensibilidad y precisión es que el texto escrito en el Perú suele ser una presencia ajena. el libro llegó (si acaso) a los peruanos después de la radio y la TV que tendieron a fortalecer la oralidad del país. Las comunicaciones electrónicas actuales (incluso cuando mediadas por un teclado) se incorporan y fortalecen el caracter instantáneo de la comunicación oral.

No reparar en la profunda oralidad (y casi ausente escribalidad) de la cultura peruana puede tener profundas consecuencias sobre la labor educativa. ¿En qué medida el conocimiento de este atributo de la cultura informa la formación docente y la opción por enfoques pedagógicos para la enseñanza de la lectura? Prefiero dejar esto sólo como pregunta ya que siento que me falta evidencia robusta para afirmar lo que muchos tememos.

Quiero que quede claro que no estoy cuestionando ningún enfoque, sólo digo que ningún enfoque va a funcionar si no toma en cuenta la condición de partida de los estudiantes y las competencias de los docentes para desarrollar dicho enfoque, en contextos específicos y con estudiantes de carne y hueso. La reflexión educativa en el Perú necesita empezar por entender el lugar central de la oralidad y la ajenitud de lo escribal.

Finalmente, una cosa que también me preocupa en este ámbito es la necesidad de buscar "el" enfoque adecuado. ¿No será más bien que, como en cualquier otra profesión, es posible pensar en diversidad de enfoques? ¿No será posible asumir que dada la diversidad de situaciones de los estudiantes, diversos enfoques pueden tener distintos grados de pertinencia y valor? 

A fin de cuentas, algunos aprendimos a leer con enfoques distintos (que reposaban en la transparencia ortográfica del castellano escrito) y no nos fue tan mal en una vida donde el texto escrito es central.

Referencias:

Biondi, J., & Zapata, E. (1988). Ortografía: error o problema? Lima: Universidad de Lima, Facultad de Ciencias Humanas.


Biondi, J., & Zapata, E. (2006). La palabra permanente: verba manent, scripta volant : teoría y prácticas de la oralidad en el discurso social del Perú. Lima: Fondo Editorial del Congreso del Perú.

07 diciembre, 2013

PISA 2012 y algunas cosas más sobre la educación peruana

Sólo quería compartir la entrevista que Ana Trelles tuviese la gentileza de hacerme en ATV+ (+Qn, 04/12/2013, 19:30) a propósito del ruido generado por la publicación de PISA 2012.

Tomado de:
http://servicios.noticiasperu.com/web_/GUI/GUITelevision/FrmVerPauta.php?idPauta=1584395&bool=0

03 diciembre, 2013

PISA 2012: Volvió el Circo

Como cabía esperar, al publicarse los resultados de PISA el día de hoy, se inició el ritual mediático de autoflagelación nacional que, lamentablemente, no lleva a nada. (Este es un buen pretexto para retomar mis entradas en este blog).

Probablemente la nota más divertida que he visto hasta este momento la ponga Peru21:

·   Titular: Informe PISA 2012: Perú está en el último lugar a nivel de Latinoamérica.

Hasta donde yo sé hay 19 países en América Latina (habla hispana más Brasil) y 43 en América Latina y el Caribe. Sólo 8 participaron en PISA 2012 así que es imposible determinar (con la información de PISA) si somos, o no, los últimos de América Latina.

Por otro lado, el lugar que ocupa el Perú en varias de las tablas PISA es compartido con Colombia. Las diferencias entre los latinoamericanos son pequeñas si se mira al problema desde donde importa: qué es lo que pueden hacer los niños, claro está, esto se pierde si uno hace una tabla tipo tabla de posiciones en las Clasificatorias para el Mundial (algo francamente inútil).

·   Lo más divertido: “Perú cayó tres posiciones en el ranking global del informe PISA 2012 respecto al de 2009”

La tabla producida por la nota periodística muestra que, en 2009, el Perú estaba en el puesto 63 y ahora en el 65. Si combinamos esta información con el texto, debemos concluir que 65-63= 3!!! Ciertamente, estamos mal en aritmética básica.

Más importante que ello es que el perspicaz periodista no notó era que los territorios (no sólo países) que participaron en 2009 no son los mismos de 2012, por lo que la posición en el ranking no es comparable.

Con un poquito más de información pudo haber dicho algo aún más dramático: en el 2000 estábamos en el puesto 43 (sólo 43 territorios implementaron PISA entonces), así que siguiendo la misma “lógica” habría que concluir que hemos caído 20 lugares.

Por supuesto que estas notas no hacen sino sumarse a otros eventos curiosos y más complicados que una nota periodística. Por ejemplo, en alguna oportunidad (15 de julio de 2007) un Ministro de Educación dijo que en PISA el Perú “era el penúltimo en el mundo” ya que sólo superamos a Haití (aproximadamente 140 países, entre ellos Haití, no participan de PISA, así que difícil decir algo sobre el mundo o sobre Haití) o, más recientemente (18 de agosto de 2013), una candidata presidencial dijo que PISA es la “la evaluación internacional que se hace a los niños de segundo grado para ver cuántas palabras leen por minuto (…)” …

Este tipo de tratamiento del tema es de muy poca utilidad, cuando no pernicioso. Por ejemplo, si queremos usar los rankings de PISA debemos, primero, entender qué es PISA. Como señala la página de la Unidad de Medición de la Calidad del Ministerio en su nota sobre los resultados (de este enlace también se puede descargar el Informe Nacional ahí publicado):

Es importante señalar que PISA no es un estudio representativo de la diversidad de las realidades del mundo. Es una evaluación conducida fundamentalmente en países desarrollados (o) con ingresos medios. El Producto Bruto Interno (PBI) por habitante en los países miembros de la OCDE es de 35 141 USD, mientras que en los países no miembros que participan en PISA, entre ellos el Perú, (…) es de 23 116 USD (…). El PBI (per cápita) de Perú asciende a 10 076 USD. (Se trata de USD corregidos por paridad de poder de compra –PPP)

Sólo esta simple pieza de información debería servirnos para prestarle menos atención al ranking (completamente esperable –aunque no justificable- si la “tabla de posiciones” incluye fundamentalmente a los sistemas educativos de países desarrollados) y más a los problemas reales. Para ello es preciso entender que PISA 2012 muestra, al menos, las siguientes cosas que sí importan:

1. Matemáticas. Las habilidades de los estudiantes son muy bajas, uno de cada cuatro estudiantes peruanos logra resolver sólo los problemas más simples de la prueba y dos de cada cuatro, no logra siquiera eso. Al mirar cada uno de los siete aspectos de las matemáticas medidos por PISA 2012, los resultados son igualmente bajos en todos. Es decir, no hay mucho desde donde empezar. Como Perú no participó en PISA 2003, no hay información de tendencias para nuestro desempeño en Matemáticas (así que no sabemos si, en PISA, estamos mejorando o no). Es también muy importante tratar de entender cuánto de las dificultades de lectura afecta los resultados en matemáticas.

2. Ciencias. Las habilidades de los estudiantes son muy bajas, sólo que en este caso la información es más limitada (PISA 2012 se enfocó en matemáticas) y tampoco tenemos información de tendencias pues Perú no participó en PISA 2006.

3. Lectura. Las habilidades de los estudiantes son bajas, un 60 por ciento de los mismos sólo resuelve (si acaso) los problemas más sencillos de la prueba. Ahora bien, el Perú muestra un progreso sostenido en esta área desde 2000 (en realidad 2001 que es cuando Perú implementó PISA 2000) a diferencia de todos los demás países latinoamericanos presentes en PISA que muestran comportamientos oscilantes o tendencias al deterioro (como Argentina). Si ahora tenemos 60 por ciento de nuestros estudiantes en tan lamentable situación, este valor era 80 por ciento en 2001. Si hoy el desempeño promedio de un estudiante peruano se encuentra en el primer nivel de la escala PISA de lectura y aproximándose al segundo, en 2001 estaba “por debajo del nivel 1.” Claro está que la mejora peruana tiene que ver con el punto de partida tan bajo y con el progreso socio-económico general del país y no puede ser atribuido íntegramente a mejoras educativas como se ha mostrado en un artículo reciente.

4. Las brechas de equidad son muy marcadas en el Perú. Cuando el cinco por ciento de los estudiantes con mejores resultados se encuentra alrededor del promedio de la OCDE, la gran mayoría de los estudiantes se encuentra muy distante de dicha situación. Esto se observa tanto en matemáticas como en lectura (en ciencias no es recomendable hacer un análisis similar con los datos de 2012). Para la tendencia 2000-2012 en lectura no se observa ninguna tendencia al cierre de brechas excepto entre la educación estatal y la no estatal, pero ésta hay que verla con pinzas ya que, debido al aumento de la participación de la educación privada en la matrícula, lo que se tiene es una mayor heterogeneidad en el escuela privada que, además, estanca la media. Si se corrigiese el efecto de la migración hacia el privado, esta reducción de brechas no sería necesariamente así.

5. Es importante notar que el desempeño peruano, además, se ve acompañado de una reducción de los niveles de atraso escolar. Cuando en 2001 sólo el 66 por ciento de los jóvenes se encontraba cursando estudios secundarios, en 2012 este porcentaje llegaba a 87 por ciento. Es decir, se ve progreso limitado en lectura en una situación de mayor inclusión que podría tener un efecto distinto. Esto, además, es importante tenerlo en cuenta cuando se compara los resultados de los distintos países (por ejemplo, en México la proporción de estudiantes de 15 años en educación secundaria es muy inferior a la peruana).

¿Qué hacemos con todo esto?

Creo que en este sentido lo dicho por el Ministro de Educación el día de hoy es de fundamental importancia: se necesita cambios dramáticos. O, en mis palabras, no se puede tratar una enfermedad seria con Wawasana relajante©.

Es decir, hay que enfrentar los problemas de fondo que no tienen que ver con la “movilización” por la educación, sino con hacia dónde apunta esa movilización. El fondo del problema, y todos lo sabemos bien, está en lo que pasa en las aulas: tenemos demasiados maestros (sí, también son demasiados en general) que no están motivados, o que carecen de los recursos y el apoyo para hacer su trabajo o que, simplemente, no saben cómo hacerlo. Si fuésemos capaces de garantizar que cada aula tenga un docente competente, motivado y con apoyo, no estaríamos discutiendo nada de esto.