L'art d'avaluar la recerca

Abans de començar, cal dir que en aquesta entrada quan escrivim investigador ens referim indistintament a una investigadora o a un investigador. El mateix quan parlem d'expert, etc.

Per què avaluem?

Hi ha moltes situacions que demanen fer una avaluació de la recerca portada a terme per un investigador, un grup de recerca, un departament, una universitat o institució, etc. Ens cal conèixer o reconèixer la qualitat de la recerca per prioritzar sol·licituds en convocatòries de recerca, per concedir premis o reconeixements, per atorgar complements de productivitat (sexennis de recerca), per seleccionar, acreditar, estabilitzar o promocionar investigadors, per distribuir pressupostos, per establir rànquings, per assignar directors, tutors o tribunals de tesi i per a moltes altres activitats necessàries per al correcte funcionament de la recerca. Però encara hi ha una raó més important i que es pot resumir en la frase atribuïda a Ángeles Blanco que diu “lo que no se evalúa, se devalúa”. No hi ha progrés sense avaluació. Però també cal tenir en compte que el que s’avalua malament es deteriora. Per tant, cal avaluar la recerca i fer-ho de la millor manera possible evitant al màxim situacions que puguin ser percebudes com a injustes per la comunitat investigadora. La feina dels avaluadors malgrat ser poc reconeguda és essencial per construir un bon sistema de recerca.

Què avaluem?

Cal distingir entre l’avaluació del currículum vitae individual o conjunt (en el cas d’un grup de recerca, departament...) i l’avaluació d’un projecte de recerca. En el primer cas ens basem en fets demostrables, com ara les entrades (projectes/ajuts concedits, premis, finançament atorgat...), sortides (publicacions, tesis doctorals, congressos, patents, divulgació...) i altres (estades de recerca, organització de congressos, pertinença a consells editorials, treballs de revisió...). En el cas dels projectes de recerca es tracta de propostes que s’han de concretar i que requereixen una valoració científica (hipòtesis, objectius, fonaments, resultats esperats, retorn socioeconòmic...) i una valoració de viabilitat (planificació, tasques, pressupost, equip de recerca...).

Com avaluem?

Cada convocatòria té les seves especificitats pel que fa a la manera en què s’avaluen les sol·licituds. Per exemple, si es tracta d’una convocatòria d’un grup de recerca que busca un doctorand o postdoc per fer una recerca molt específica, el nombre de candidats generalment és petit i en aquests casos s’acostuma a entrevistar els que tenen millors currículums per prendre la decisió final. Si s’avaluen grups o projectes de recerca, la possible entrevista té menys utilitat. Per altre costat, encara que pugui ser molt útil en determinades convocatòries dels organismes finançadors de la recerca, el nombre de sol·licituds pot ser molt alt i fer inviable l’entrevista als diferents candidats. En aquests casos, la responsabilitat sovint recau sobre una comissió avaluadora designada per l’organisme que finança la convocatòria. Aquesta comissió assigna dos o tres experts, en el que es coneix amb el nom d’avaluació d’experts o també anomenada avaluació per parells (peer review, en anglès), per a cadascuna de les sol·licituds. Els experts donen la seva opinió qualitativa i a vegades també quantitativa però no decideixen el resultat final, que queda en mans de la comissió avaluadora. Els experts i la mateixa comissió s’ajuden d’indicadors per avaluar els currículums dels candidats. No hi ha cap indicador que per si sol permeti concloure que el currículum d’un investigador o d’un grup és superior al d’un altre. Tanmateix si es considera un nombre prou gran d’indicadors, la possibilitat de fer una avaluació acurada augmenta substancialment. Una llista no exhaustiva dels indicadors que es poden utilitzar per avaluar un període determinat de temps (per exemple, els 5 darrers anys) és la següent:

• Nombre total de publicacions. És una mesura de la productivitat d’un investigador o grup de recerca.
• Nombre de cites dels articles publicats. És una mesura de l’impacte real que les publicacions de l’investigador o grup han tingut en la comunitat científica.
• Índex h. Un investigador o un grup tenen un índex h = N, si N dels seus articles ha rebut més de N cites. Un índex h alt indica que estem davant un investigador o grup que tenen molts articles reconeguts per la comunitat científica.
• Índex m. És l’índex h dividit pel nombre d’anys que han transcorregut des de la publicació del primer article. En el cas d'un investigador, un índex m superior a 3 és extraordinari, entre 2 i 3 és excel·lent i entre 1 i 2 està per sobre de la mitjana.
• Nombre de publicacions de primer quartil. Les revistes es classifiquen amb el factor d’impacte (FI) que mesura del nombre de cites que han rebut de mitjana els articles publicats en aquella revista els dos darrers anys i que, per tant, és una manera de quantificar l’impacte esperat de qualsevol article que es publiqui en aquella revista. Un FI de 4 vol dir que si publiques en aquella revista pots esperar tenir 4 cites cada any. Les revistes de primer quartil són les que, dins d’un determinat àmbit, es troben dins del 25% de revistes amb factor d’impacte més alt.
• Nombre de publicacions de primer decil.  Publicacions que dins d’un determinat àmbit es troben dins del 10% de revistes amb factor d’impacte més alt.
• Percentatge de publicacions de primer quartil o decil. Dona una idea de la qualitat de les publicacions de l’investigador o grup de recerca.
• Nombre de publicacions de primer autor. El primer autor és el que normalment porta a terme els experiments i es considera l’autor principal de l’article. Un nombre alt de publicacions de primer autor indica una participació important en tots els articles publicats.
• Nombre de publicacions com a autor de correspondència. L’autor de correspondència acostuma a ser el que planteja, dissenya i dirigeix la investigació. Dona una idea de la capacitat de lideratge d’un investigador o grup de recerca.
• Nombre de patents, molt especialment les que es troben en explotació.
• Convenis/contractes amb la indústria. Cal tenir en compte l’import dels contractes i diferenciar entre contractes de serveis i de transferència del coneixement.
• Estades a l’estranger.
• Nombre de projectes de recerca internacionals. Aquí cal distingir els projectes liderats per l’investigador o grup de recerca dels projectes on l’investigador o grup només és un participant més. Entre aquests projectes s’ha de valorar especialment els investigadors que tenen projectes altament competitius del tipus Starting Grant, Consolidator Grant o Advanced Grant de l’European Research Council (ERC).
• Nombre de projectes de recerca nacionals. Es valoren especialment els projectes del Plan Nacional del Ministeri d'Economia i Competitivitat.
• Nombre de tesis doctorals dirigides. Els grups més actius acostumen a defensar més tesis doctorals.
• Nombre de treballs finals de màster dirigits.
• Nombre de llibres.
• Nombre de capítols de llibre.
• Nombre de treballs de comunicació/divulgació de la recerca (articles, entrades a blogs...). Cada cop més les agències finançadores volen que la recerca duta a terme arribi a la societat per incrementar l'interès ciutadà per la ciència.

Com a indicadors del prestigi de l’investigador o grup de recerca podem tenir en compte:

• Nombre de comunicacions invitades a congressos internacionals.
• Pertinença a comitès editorials de revistes de prestigi.
• Organització de congressos internacionals.
• Nombre de premis de recerca rebuts.

I en l’avaluació de grups podem afegir-hi els indicadors següents que donen una idea de la capacitat del grup per captar investigadors joves (o no tan joves) que generalment prefereixen incorporar-se als grups més potents:

• Nombre d’investigadors ICREA del grup.
• Nombre de postdocs contractats pel grup (Contractes JdlC, Marie Curie...).
• Nombre de predocs contractats pel grup (Ajuts FI, FPI, FU...).
• Nombre de contractats Ramon y Cajal en el grup.

No necessàriament s’han d’utilitzar tots aquests indicadors, però com més se n’utilitzen més elements tenim per prioritzar les sol·licituds. Alguns indicadors com ara el nombre d’articles on el candidat és primer autor tenen més importància en convocatòries per a investigadors joves, i altres com ara el nombre de cites o l’índex h poden ser més rellevants en convocatòries on les sol·licituds estan liderades per investigadors sènior. Cal advertir que aquests indicadors serveixen per comparar currículums d’investigadors del mateix àmbit i d’edats semblants. Si no és així, cal trobar maneres de normalitzar els indicadors.

Conclusió

En l’avaluació de la recerca hi ha un component subjectiu important que el fa més proper a un art que no pas a una ciència. Tanmateix, l’ús d’un nombre gran d’indicadors ajuda els revisors, experts i comissions avaluadores a encertar en les seves decisions. Tot i així, la vida de l’avaluador no és senzilla. Avaluar correctament una convocatòria porta molta feina i la crítica per part dels que veuen rebutjats els seus projectes, promocions, reconeixements o premis és habitual (i en alguns casos ferotge).