OEI | Ciencia | Red | Formación | Contactar |

Inicio | Opinión | Reportajes | Noticias | Entrevistas | Multimedia

Salud | Comunidad

¿Rankings universitarios y de publicaciones científicas? ¿Son justas y adecuadas sus mediciones?

18 de octubre de 2016

Álvaro Restrepo. IBERDIVULGA. El uso de indicadores como métodos de evaluación de la calidad de los sistemas educativos, científicos, productivos, entre otros, ha sido ampliamente integrado por los gobiernos hoy en día. Sin embargo, es necesario tener una visión crítica de los mismos, pues su utilización irreflexiva puede generar una lectura errónea de la realidad. Así, el profesor Johann Mouton de la Universidad de Stellenbosch, Sudáfrica, en el 21 Congreso Internacional de Indicadores de Ciencia y Tecnología (14-16 septiembre 2016), ha afirmado que es necesario observar más allá del nivel superficial de los indicadores, ya que si se quiere comprender su significado para la evaluación y política, es imperante considerar el contexto histórico, cultural y social en el que han surgido.

Dicho congreso, organizado por INGENIO y el ENID, tuvo por fin tratar el tema del uso de indicadores de evaluación y de seguimiento en contextos poco “ortodoxos”, enfocándose en las periferias tanto geográficas como del conocimiento. Asimismo, se ha preocupado por la reflexión alrededor del uso de los indicadores de ciencia y tecnología en situaciones donde su validez puede ser cuestionada. Así, la intervención del profesor Mouton titulada “The deep structure of STI Indicator: Contextual knowledge and Scientometrics”, va encaminada al estudio de los indicadores para el contexto sudafricano, tomando dos casos: 1) los rankings universitarios, y 2) las publicaciones doctorales.

La literatura acerca de la cuestión de los indicadores ha proliferado sobretodo en los años 60 y 70, donde se han establecido muchas tipologías y clases. Así, por ejemplo se hallan los cualitativos y cuantitativos dependiendo del empleo o no de métricas. También, existen de carácter objetivo, subjetivo, directo, indirecto, formal e informal. El problema radica en su definición, pues una gran parte de la literatura sigue una visión operacional, es decir que los definen desde sus funciones y no por lo que son. Por ello, Mouton los concibe como una forma de medida, resultado de la medición o de la observación. Para las ciencias sociales, los indicadores sociales son utilizados para medir fenómenos sociales, en otras palabras, son medidas sociales referenciales, dirigidos a objetos que no son directamente observables o medibles.

Los indicadores permiten tanto revelar la existencia de fenómenos como hacer juicios de conocimiento sobre los mismos, porque reúnen evidencia que se considera apropiada y relevante. No obstante, gran parte de los estudios se han enfocado en cuestiones metodológicas y técnicas, creándose incluso manuales de buenas prácticas como el Manifiesto Leiden. Existen 6 reglas para una práctica responsable de la “cienciometría”: 1) la regla de la basura adentro y afuera; 2) la regla de las muestras pequeñas; 3) la regla de la falacia ecológica; 4) la regla de comparar peras y manzanas; 5) la regla de los indicadores parciales; y 6) la regla del no reduccionismo. No obstante, el ponente agrega una séptima: el entender la estructura profunda los indicadores. Esta proposición se fundamenta en el hecho de que los indicadores cienciométricos se refieren a los fenómenos sociales, los cuales son construcciones históricas y culturales, en la medida en que las instituciones e individuos que los definen se encuentran incrustados en dicha dinámica.

En este sentido, Mouton llama la atención sobre la no neutralidad de los indicadores. Así, una vasta mayoría de los indicadores de Ciencia y Tecnología tienen su origen en el Norte y reflejan típicamente las propiedades de los sistemas de ciencia de estas regiones, por lo que su utilización para la comprensión de fenómenos del Sur puede conducir a conclusiones implausibles. No se trata de una epistemología relativista, es posible hacer afirmaciones validas y defendibles, de acuerdo con el ponente, si se especifican las condiciones y los parámetros bajo los cuales se hacen estos alegatos. Con el fin de exponer su tesis, toma el caso de los rankings universitarios y de las publicaciones doctorales, en los que Sudáfrica no queda bien parado.

De este modo, demuestra que la lectura de los indicadores usados por el Ranking de Shangai, por ejemplo, no toman en consideración aspectos esenciales para la comprensión de dicha situación en el contexto sudafricano. Entonces, la integración de su propuesta es desafiante, ya que metodológicamente combina la cienciometría con la bibliometría, análisis históricos, comprensión sociológica de las comunidades científicas, análisis de la política económica, entre otros. Ello implica un escepticismo sano sobre los indicadores que se presentan como a-contextuales.

Finalmente, Mouton establece dos puntos esenciales. El primero es que gran parte de los indicadores con los que trabajamos son diseñados y desarrollados en el Norte, y específicamente aplicados a sociedades modernas industrializadas, incluso post-industriales. Según esto, su aplicación en países en desarrollo no es tan acertada. El segundo se refiere al caso africano, pero no solamente. Los análisis bibliométricos de los sistemas de ciencia siempre se hallarán incompletos a menos que tomen en consideración los legados persistentes de la ciencia colonial, los efectos de los regímenes internacionales de financiación, y el rol de las agencias de ayuda internacional y alegatos filantrópicos en la configuración de las agendas de investigación en estos países. Así las cosas, el ponente hace un llamamiento para la inclusión del escepticismo respecto a los indicadores e incluir un estudio profundo de las realidades a las que responden.

Les invitamos a ver su ponencia (en inglés)

 

Palabras clave:

subir

  
Diseño y contenidos por asenmac