martes, 5 de enero de 2010

Contra la Calidad de Bote


En el último número del European English Messenger, boletín de la Sociedad Europea de Estudios Ingleses (ESSE), sale un interesante artículo de Sara Martín, de la Universidad Autónoma de Barcelona, contra los actuales usos y tendencias en la evaluación de la calidad de la investigación, con las ANECAs y Sexenios y demás, basándose en índices de calidad estandarizados y en listados de revistas como ERIH, o en Citation Indexes, y demás casas de citas—es decir, critica la evaluación del envoltorio en lugar de la calidad del contenido.

Recomiendo leerlo, pues formula de modo muy bien dicho muchas de las quejas y objeciones que se venían oyendo más bien por los pasillos y cafeterías que por otros sitios. Son objeciones que tienen su gran parte de razón—como sin duda también tiene su cierta razón y su lógica parcial el actual sistema de evaluación. Aunque yo particularmente soy cada vez más uno de los descolgados del sistema o "rogue scholars" a los que alude la autora.

Algunas observaciones selectas:

—Existe un descontento muy general con la burocratización de la investigación a la que conducen estos procedimientos estandarizados de evaluación de la calidad. Hay una cierta sensación de alienación en el sentido de que nos perdemos en los medios, y en las evaluaciones, y se pierde de vista la finalidad de para qué se investiga. Se hace investigación "para la evaluación", que entre en la cuadrícula—a veces en detrimento de la que el investigador considera más interesante.

—Hay una tendencia a la evaluación cuantificada ignorando de entrada el contenido de las publicaciones, que ni siquiera se presentan completas a la ANECA, por ejemplo. Viene a ser como juzgar un producto por su envoltorio, o un libro por la editorial—si no por su cubierta.

—La jerarquización de revistas con sistemas como el ERIH es engañosa. Se identifica la calidad de un artículo con la de su vehículo, la revista, algo muy engañoso. Y resultan perjudicadas las revistas publicadas en lenguas distintas del inglés, o de países distintos de los anglosajones. Los humanistas europeos, en lugar de colaborar en intercambios mutuos, se ignoran pues con los actuales parámetros no tiene sentido publicar en idiomas distintos del inglés (o en todo caso del propio).



—La publicación en revistas es, según Martín, una cierta reliquia del pasado, y estará cada vez más fuera de lugar en la era de Internet. Al igual que en el negocio de la música, los editores académicos se resisten a un cambio que les perjudica, pero éste será inevitable, y se establecerán redes de investigadores con sus propios sitios web personales, al margen de las editoriales. (Academia, el "facebook para universitarios", podría ser un ejemplo más de lo que está sucediendo, apunto). Si todavía no se han visto desplazadas las revistas todavía es "porque el lugar en el que publicamos tiene una extraña prioridad sobre qué es lo que publicamos". (Yo me atrevo a aventurar que la seguirá teniendo...)

—La jerarquización y oficialización de la investigación crea una atmósfera de desencanto con la investigación sobre todo en las humanidades—y muchos van optando por descolgarse del sistema, o al verse descolgados van reaccionando contra él de una manera que es contraproducente para el resultado que se pretendía conseguir.

"La impresión que tengo es que esta actual jerarquización de la investigación, de la cual ERIH no es más que una muestra, está generando una atmósfera académica desencantada en las humanidades: el sistema de recompensar los logros no se adecúa a la percepción que tenemos de nuestros propios métodos y trabajo. Todos los académicos necesitan alguna forma de reconocimiento, ya que nuestros egos, que son nuestro principal apoyo, son frágiles y mucho más en las humanidades, ya que no nos motivan las escasas expectativas que la sociedad tiene sobre nuestro trabajo, si es que acaso le importa algo. Sin embargo se evalúa a los académicos en humanidades con instrumentos que manifiestan una incomprensión radical de cómo y por qué trabajamos, y eso nos hace experimentar una angustia que desconocen nuestros colegas en otras áreas" (68)

Aquí yo no estoy tan de acuerdo. A los beneficiados por el sistema desde luego no les amarga un dulce ni que les den sellos de Calidad y sexenios y demás—bien que reinan algunos en nuestro departamento, y bien que les refrotan por las narices sus logros a los que no tienen sexenio, y buenas trabas administrativas que buscan ponerles basándose en este sistema. El término gloating viene a la mente.

Otra cosa es que en conjunto todo este sistema sea beneficioso para la atmósfera de trabajo y maneras de funcionar en las humanidades en general. Las ciencias sí parece que se ajustan mejor al sistema, aunque no olvidemos la noticia reciente de que a muchos premios Nobel los filtros académicos de calidad les rechazaban sus investigaciones novedosas.

Se puede leer un pdf del artículo en inglés, pinchando aquí, y poniendo este password, con mayúsculas y espacios y todo, cuando nos pida la clave: John Thomas

Y premio para quien se acuerde de quién era John Thomas.

2 comentarios:

  1. Estimado José Ángel:

    Si te interesa una crítica al abuso de las listas, de los índices y de los impactos hecha por "profesionales de los números, puedes encontrarla en inglés en

    http://www.iciam.org/QAR/CitationStatistics-FINAL.pdf

    O si la quieres traducida (sé que no te hace falta, pero por si sólo quieres echarle una mirada) en

    http://www.rsme.es/gacetadigital/abrir.php?id=832

    La verdad es que muchos matemáticos tampoco sabemos cómo hemos llegado a esto.

    Un saludo: Adolfo

    ResponderEliminar
  2. Gracias por las referencias, Adolfo; muy interesantes. Y eso que en humanidades aún no estamos a los niveles de cuantificación de citas que allí se discuten... ¡y que no lleguemos!

    ResponderEliminar

Se aceptan opiniones alternativas, e incluso coincidentes:

Mi fotoblog

Mi fotoblog
se puede ver haciendo clic en la foto ésta de Termineitor. Y hay más enlaces a cosas mías al pie de esta página.