Introducción
La evaluación de la investigación se ha convertido en un foco principal de discusión entre las comunidades científicas y las autoridades de investigación en casi todo el planeta. Esto se debe a que las formas tradicionales de evaluación de la investigación, basadas en el factor de impacto y la determinación de los cuartiles para las revistas científicas, presentan problemas significativos como: 1) un fallo en la calidad estadística, 2) sesgos que discriminan a algunas poblaciones, 3) poca transparencia en el manejo de la información, entre otros (1).
Dentro de esas discusiones han surgido algunas propuestas que pretenden lograr una evaluación de la investigación más adecuada. La Sociedad Americana de Biología Celular organizó un congreso en 2012 donde se discutió el efecto del factor de impacto dentro de las prácticas de los investigadores. En la declaración resultante, conocida como Declaración de San Francisco DORA, se promueve contundentemente que las instituciones abandonen dicho indicador como criterio de evaluación para los investigadores. Por otro lado. el Manifiesto de Leiden promueve 10 principios para hacer responsable la evaluación de la investigación. Por otro lado The Metric Tide ha impulsado el desarrollo de las métricas responsables como factor de medición y evaluación de la investigación.
Sin embargo, he notado una posible confusión entre las métricas responsables y la evaluación responsable, puesto que a veces se utilizan de forma indistinta. Si bien ambos conceptos están estrechamente relacionados, considero que no son lo mismo y es importante que las instituciones conozcan claramente las implicaciones de cada una. El propósito, por tanto, de este post es mostrar las diferencias entre ambos conceptos
Evaluación responsable
Un elemento crucial de la evaluación responsable es la búsqueda de la calidad y promover el impacto de la investigación más allá de la propia comunidad académica. Se podría afirmar que este siempre ha sido el enfoque de todo ejercicio de evaluación de la investigación, incluso cuando se usa el factor de impacto; pero lo que distingue a la evaluación de la investigación es la importancia que se le da a los procesos definidos en las organizaciones de investigación para realizar dicha evaluación.
En efecto, cuando se habla de evaluación de la investigación no basta con que las instituciones amplíen el abanico de indicadores que utilizan para la evaluación, sino que deben tener en cuenta los procesos institucionales que se implementan en dichos ejercicios. El objetivo de enfatizar los procesos consisten en prevenir, al menos, dos fenómenos: 1) discriminación (involuntaria) dentro de la evaluación hacia alguna población; por ejemplo, que se pongan criterios de evaluación adecuados para un área de conocimiento pero inadecuados para otra. 2) generación de incentivos incorrectos por el esquema de evaluación, como, por ejemplo, que a los investigadores les deje de importar la relevancia local de sus investigaciones o que caigan en prácticas poco éticas con tal de subir sus indicadores.
Por lo anterior, la evaluación responsable parte de un enfoque holístico en el cual se tiene en cuenta el contexto en el que se desarrollan las investigaciones. Se promueve el uso de técnicas cualitativas y cuantitativas que se complementen entre sí, y no dejar el énfasis tan sólo al resultado de algún indicador preseleccionado. Asimismo, se tiene en cuenta el contexto social, política, disciplinario y ético en el que se desarrolla investigación, de forma que los puntos de comparación no sean arbitrarios sino contextualizados. Para ello, se le da gran importancia a la revisión por pares y a las narrativas apoyadas en indicadores.
Métricas responsables
Las métricas responsables parten de la cuantificación de las actividades científicas. La principal barrera a superar es que el uso exclusivo del factor de impacto como criterio de evaluación y medición de la actividad científica. En este sentido, al igual que en la evaluación responsable, se busca una mirada compleja de la investigación, integrando una amplia batería de indicadores disponible para medirla.
Las métricas responsables no rechazan el uso de indicadores cuantitativos, sino que buscan ampliar las opciones de métricas disponible en el ejercicio. Para lograrlo, se busca incrementar la gama de fuentes utilizadas para el cálculo de indicadores, partiendo de fuentes abiertas como Open Alex, Google Scholar, Crossref y otras, que abren la puerta a más indicadores y desagregaciones para los análisis institucionales; con ello, las instituciones disponen de una amplia oferta de fuentes de información y métricas, tanto abiertas como comerciales, para definir su propio ejercicio de evaluación.
No obstante, las métricas responsables son enfáticas en determinar que las mediciones deben ser humildes. Esto quiere decir en que no se trata de reemplazar el factor de impacto por algún otro indicador “perfecto” que sea la base de la evaluación. Al contrario, se mantiene que todos los indicadores son imperfectos y que, usados indiscriminadamente en el tiempo, pueden generar incentivos incorrectos a los investigadores o a los sujetos de la evaluación.
Conclusiones
Como se puede deducir de lo anterior, las visiones entre evaluación responsable y métricas responsables no son opuestas, sino que se ocupan de elementos diferenciales dentro del proceso de evaluación de la investigación. Por tanto, si la institución desea realmente cambiar sus estrategias de evaluación de la investigación, debe tener una mirada #holístico que analice tanto los procesos de medición y uso de la investigación, como la tipología de indicadores que se van a utilizar en esos procesos, siempre teniendo en cuenta los objetivos y contextos particulares de la institución.
Sé el primero en comentar