MESURER L’IMPACT DE LA RECHERCHE : QU’EN SAVONS-NOUS?
(PREMIÈRE PARTIE)*
MESSAGES CLÉS
- Nous évaluons l’impact de la recherche par souci de reddition de comptes. Les résultats de cette évaluation serviront aussi à améliorer et à orienter la recherche.
-
La recherche dans le domaine de la santé aboutit notamment à la production de connaissances, au renforcement de la capacité de recherche et à la prise de décisions éclairées, sans compter les bienfaits pour la santé et le secteur de la santé et les avantages économiques.
-
Au nombre des modes d’évaluation des retombées de la recherche figurent la bibliométrie, le rendement de l’investissement économique, l’examen par des pairs, l’étude de cas, la modélisation logique et l’analyse comparative. La démarche axée sur les indicateurs et méthodes multiples semble toute désignée.
Les bailleurs de fonds de la recherche sont de plus en plus tenus de mettre en évidence l’utilité de la recherche dans leur collectivité respective i. De fait, la stratégie sur les sciences et la technologie du gouvernement du Canada ii comprend l’obligation de démontrer l’incidence de la recherche. En raison de la nature appliquée de la recherche sur les services et les politiques de la santé, les chercheurs doivent illustrer les avantages des travaux menés iii,iv.
Mesurer l’impact de la recherche peut soutenir une demande de financement accru de la recherche sur les services de santé ou l'amélioration de la méthodologie de recherche et du processus de gestion de la recherche. Pour les bailleurs de fonds, elle signifie la conception de programmes de subventions de recherche. Au bout du compte, la précision des objectifs du programme de financement ou de la subvention comme telle est essentielle au choix de la méthode d’évaluation des résultats du programme ou de la subvention v.
Bien des facteurs compliquent la tâche de démontrer l’utilité de la recherche : les effets de la recherche ne sont pas forcément aisément quantifiables; une certaine période s’écoule entre le financement et les retombées; l’attribution d’un impact à une constatation de recherche particulière est plus difficile que de cerner l'effet d’un ensemble de connaissances provenant de plusieurs sources i. En outre, la distinction entre résultat (effet intermédiaire à moyen terme) et impact (effet ultime à longue échéance) n’est pas très nette vi. De plus, les impacts sont de deux types vii : les impacts instrumentaux qui font ressortir un lien précis entre l’étude et le résultat en question, tel un changement de pratique, tandis que les impacts conceptuels, essentiellement intangibles, débouchent sur l’avancement des connaissances et la prise de décisions éclairées, sans révéler de lien direct.
Buxton et Hanney ont délimité cinq catégories d’impacts (voir le tableau 1), qui regroupent les retombées de la recherche en santé iii. Dans l’élaboration de leur propre cadre de référence de l’impact de la recherche, les Instituts de recherche en santé du Canada s’en sont grandement inspirés (voir le tableau 1) viii, ix.
Tableau 1. Catégories de retombées ou d’impacts de la recherche en santé
Catégories de retombées
|
Catégories d’impacts |
|
2005 viii |
2008 ix |
|
Savoir |
Production de connaissances |
Avancement des connaissances |
Avantages des points de vue de la recherche future et de l’utilisation de la recherche |
Ciblage de la recherche et renforcement de la capacité |
Renforcement de la capacité |
Avantages politiques et administratifs |
Élaboration de politiques éclairées |
Prise de décisions éclairées |
Bienfaits pour le secteur de la santé |
Bienfaits pour la santé et le secteur de la santé |
Impacts sanitaires |
Avantages économiques globaux |
Avantages économiques |
Impacts économiques |
D’autres chercheurs ont également conçu des cadres de mesure de l’impact utiles. Ainsi, John Lavis et ses collègues proposent une ressource décrivant des indicateurs de l’impact de la recherche, des sources d’information connexe et une méthode de détermination de l’impact de la recherche x. Les auteurs préconisent « de classer les indicateurs d’impact en fonction des promoteurs actifs de la recherche, à savoir les chercheurs (indicateurs de production - pousser l’information - de la recherche) les décideurs (indicateurs d’utilisation - tirer l’information - de la recherche) ou les chercheurs et les décideurs ensemble (indicateurs d’échange) » x. Le cadre d’impact de la recherche de Shyama Kuruvilla et ses collègues définit l’impact de la recherche sur les services et les politiques de santé xi. En vertu de ce cadre, la recherche exerce une influence sur quatre plans : la recherche elle-même, les politiques, les services et la société. Ce schéma conceptuel a été adopté par des chercheurs de la London School of Hygiene and Tropical Medicine dans la rédaction de « récits sur l’impact de la recherche » i.
Bien qu’il soit important de définir les effets de la recherche, il reste néanmoins à choisir les indicateurs appropriés qui permettront de mesurer ces effets et à concevoir des modes de collecte des données qui illustreront avec fiabilité et uniformité le comportement de ces indicateurs. Pour faciliter cette tâche, RAND Europe, organisme de recherche sans but lucratif, offre une trousse d’information sur la mesure de l’influence de la recherche qui, bien qu’elle ne soit pas exhaustive, renferme divers modes d’évaluation des retombées de la recherche en précisant leurs avantages et leurs désavantages (voir le tableau 2) i.
Tableau 2. Modes de détermination des retombées de la recherche de RAND Europe i
Mode |
Description |
Bibliométrie |
Analyse des publications et des mentions |
Rendement de l’investissement économique |
Évaluation du taux de rendement de l’investissement |
Examen par des pairs |
Évaluation qualitative par des pairs |
Études de cas |
Examen approfondi de la recherche |
Modélisation logique |
Illustration du fonctionnement d’un programme |
Analyse comparative |
Comparaison entre des entités, dont des programmes ou des régions |
Par suite de son examen de la question, RAND Europe préconise l'adoption d’une démarche faisant intervenir plusieurs indicateurs et modes de détermination de l’impact de la recherche i. En puisant dans ces sources d’information et en s’inspirant de ce qui est connu sur les avantages de la recherche et de la base de données probantes émergentes, les chercheurs et les bailleurs de fonds de la recherche sur les services de santé seront certainement en mesure de mettre en évidence l’utilité de leurs travaux de recherche pour les collectivités.
*Mesurer l’impact de la recherche : Qu’en savons-nous (2e partie) paraîtra au début de 2009.
Références
La documentation consultée en vue de la rédaction du présent numéro de Saisir et Agir a été recensée et analysée par Amanda Hancok, stagiaire à la FCRSS, qui a également participé à la rédaction de la version préliminaire de l'article.
i. RAND Europe. 2006. « Measuring the benefits from research ». Policy Resource.
ii. Gouvernement du Canada. 2007. Réaliser le potentiel des sciences et de la technologie au profit du Canada.
iii. Buxton M. et Hanney S. 1996. « How can payback from health services research be assessed? » Journal Health Services Research and Policy; 1(1): 35-43.
iv. Kuruvilla S., Mays K. et Walt G. 2007. « Describing the impact of health services and policy research”. Journal of Health Services & Research Policy; 12(1): 23-37.
v. Brutscher P-B., Wooding S. et Grant, J. Sous presse. « Health research evaluation frameworks: An international comparison ».
vi. Hovland, I. 2007. « Making a difference: M&E of policy research ». Document de travail 281; présentation des résultats de la recherche de l’ODI dans une version préliminaire aux fins d’examen critique.
vii. Davies, H., Nutley, S. et Walter, I. 2005. « Assessing the impact of social science research: conceptual, methodological and practical issues ». Research Unit for Research Utilisation (RURU), University of St. Andrews.
viii. Instituts de recherche en santé du Canada. 2005. « Élaboration d’un cadre des IRSC pour mesurer l’impact de la recherche en santé – Rapport de synthèse des réunions ».
ix. Instituts de recherche en santé du Canada. 2008. « Un cadre pour mesurer l’impact de la recherche en santé ». Entretien avec Laura McAuley, gestionnaire, Évaluation de l’impact, application des connaissances et commercialisation.
x. Lavis J., Ross S., McLeod, C. et Gildiner, A. 2003. « Measuring the impact of health research ». Journal of Health Services Research and Policy; 8(3): 165-170.
xi. Kuruvilla S., Mays, N., Pleasant, A. et Walt, G. 2006. « Describing the impact of health research: A Research Impact Framework ». BMC Health Services Research; 6: 134.
Lecture complémentaires
Fondation canadienne de la recherche sur les services de santé. « Mettre en évidence l’impact de la recherche sur les politiques et les services de santé », résumé de l’article de Kuruvilla et ses collègues, 2007. Saisir et Agir, numéro 33.
Instituts de recherche en santé du Canada. 2007. Nouvelle étude internationale visant à évaluer l’impact de la recherche portant sur les maladies du cœur et les accidents vasculaires cérébraux (AVC).
Académie canadienne des sciences de la santé. 2007. « Prospectus for a major assessment: The return on investments in health research ».
Académie canadienne des sciences de la santé. 2007. « Forum summary: The return on investments in health research: Defining the best metrics ».
Organisation de coopération et de développement économiques (OCDE). 2007. « Science, Technology and Innovation Indicators in a Changing World: Responding to Policy Needs », sélection d’exposés présentés au Forum Blue Sky II de l’OCDE à Ottawa (Canada) du 25 au 27 septembre 2006.