Introduction

Le projet de cadre d’impact des bibliothèques de l’ABRC a été lancé en 2019 et a été chapeauté par le Comité sur l’évaluation de l’ABRC. Bien qu’il existe de nombreux projets et initiatives sur le thème de l’impact des bibliothèques (ARL, ACRL, etc.), le Comité sur l’évaluation de l’ABRC jugeait que la question de savoir comment est conçu l’impact des bibliothèques nécessitait une réflexion, une étude et un examen. Le cadrage d’impact des bibliothèques est un problème complexe, difficile à saisir et généralement lourd sur le plan méthodologique, mais aussi significatif, précieux et qui en dit long sur la valeur des bibliothèques. Notre objectif était d’apporter une nouvelle perspective au problème en adoptant une approche holistique qui inclurait diverses approches quantitatives et qualitatives.

Dans ce travail, le Comité sur l’évaluation de l’ABRC s’est inspiré d’un récent rapport de la Fédération des sciences humaines (FSH) sur l’impact de la recherche en sciences humaines. Le rapport de la FSH fournit un cadre de réflexion sur l’impact dans la recherche qui reconnaît divers résultats remettant en question toute mesure facile et il soutient que l’impact peut être attribué au travail collectif du milieu de la recherche sur de longues périodes. Le rapport de la FSH utilise le concept de « voies d’impact », des relations complexes entre les intrants, les extrants et les résultats qui peuvent être considérés comme des arcs d’influence qui ne peuvent pas être rendus de manière significative à l’aide de la bibliométrie ou d’indicateurs de causalité.

Le Groupe de travail sur le cadre d’impact des bibliothèques de l’ABRC a vu dans ce rapport des similitudes pour décrire et démontrer l’impact des bibliothèques. Les mesures purement quantitatives et les études de corrélation (souvent présentées comme causales) ne rendent pas justice à l’impact de nos bibliothèques en matière d’enseignement, d’apprentissage et de recherche au sein de nos établissements et à l’extérieur de leurs murs. À l’inverse, les mesures et les études purement qualitatives sont souvent considérées comme anecdotiques ou non généralisables.

Modèles logiques

Ce cadre d’impact des bibliothèques de l’ABRC s’est inspiré de l’idée de voies d’impact et a utilisé des modèles logiques comme moyen de visualiser l’arc d’influence des programmes, des ressources et des services de nos bibliothèques. Les modèles logiques sont principalement utilisés à des fins de planification et d’évaluation de programmes dans les secteurs des services sociaux, du gouvernement et des organismes sans but lucratif. Ils ont été utilisés moins fréquemment dans le contexte des bibliothèques universitaires.

Les modèles logiques comportent les avantages suivants :

• Apporter une approche structurée
• Définir les intrants et les extrants de l’impact
• Nous aider à décrire les différentes formes que peut prendre l’impact
• Exprimer là où nous pensons avoir un impact
• Nous aider à découvrir les hypothèses que nous avons sur notre impact

Nous avons choisi d’adopter un gabarit de modèle logique assez standard avec une modification importante. La moitié inférieure d’un modèle de modèle logique standard est destinée aux stratégies d’évaluation qui s’alignent sur chaque colonne (entrée, sortie, résultats). Dans cette section, nous superposons un continuum qui va des mesures au savoir alors que l’on passe des intrants à gauche aux résultats et aux impacts à droite. Ceci est destiné à reconnaître le rôle légitime des méthodologies qualitatives ou interprétatives dans l’évaluation de l’impact des bibliothèques, alors que l’accent est si souvent mis sur des indicateurs quantitatifs et la « preuve irréfutable » des relations de cause à effet. Le continuum de la masure au savoir n’est pas destiné à s’appliquer dans tous les cas, mais à donner une reconnaissance appropriée de l’interprétation dans le discours d’impact qui a tendance à être plus applicable lors de la description des résultats.

Les modèles logiques ne sont cependant pas sans limites. Une limitation est qu’il apparaît comme un modèle linéaire qui peut suggérer visuellement que les processus de planification commencent par les intrants et se dirigent vers les extrants et les résultats, alors qu’il peut être plus approprié de décrire les processus de planification comme procédant dans l’ordre inverse de la mission à la stratégie, au programme, à l’intrant. Un rendu plus précis peut être circulaire ou à tout le moins bidirectionnel. Malgré ces réserves, nous avons choisi d’utiliser le modèle logique standard pour des raisons pratiques, car un modèle plus fluide ou circulaire serait difficile à utiliser comme gabarit.

Pour plus d’information sur les modèles logiques, consultez Enhancing Program Performance with Logic Models, University of Wisconsin-Extension, février 2003.

Comment utiliser le cadre

Le cadre d’impact des bibliothèques de l’ABRC est offert sous la forme d’un ensemble d’exemples visant à démontrer comment les modèles logiques peuvent être appliqués aux programmes, aux services et aux ressources de la bibliothèque. Les modèles logiques du cadre ne sont pas censés être exhaustifs ou complets en eux-mêmes. Bien que les modèles logiques présentés ici puissent être utiles de manière autonome, leur valeur réside principalement dans l’application du modèle et dans le processus de réflexion sur les modèles logiques pour les besoins locaux. Par exemple, un modèle logique créé par un établissement sur un dépôt institutionnel peut sembler différent de celui contenu dans le cadre en raison des circonstances et du contexte locaux. De plus, l’un des points forts du modèle logique est qu’il peut être utilisé pour l’évaluation d’activités au niveau micro (par exemple, le programme d’enseignement d’un bibliothécaire individuel), ainsi que pour des initiatives au niveau macro (par exemple, l’intégration structurée de l’enseignement de la bibliothèque dans cours de premier cycle).

Les utilisations du cadre d’impact par modèles logiques comprennent :

• L’approche du modèle logique peut être utilisée pour définir des stratégies d’évaluation lors de l’élaboration ou de l’évaluation de programmes. La rigueur du modèle peut aider à clarifier les stratégies d’évaluation.
• La structure et la rigueur du modèle logique seront également utiles pour formuler les questions de recherche liées à l’impact. Par exemple, les modèles logiques peuvent éclairer un programme de recherche en aidant à identifier où l’impact a été documenté et où il ne l’a pas été, ou quelles hypothèses sont faites sur l’impact dans un domaine particulier.
• Le cadre peut également être utilisé dans le cadre du perfectionnement professionnel des méthodes d’évaluation (par exemple, dans le cadre de l’atelier des bibliothèques canadiennes sur l’évaluation de l’ABRC).
• En tant que cadre pour rassembler, collecter et partager les projets/histoires d’impact de l’ABRC.

Nous espérons que ce projet ne sera pas statique, mais qu’il constituera un cadre vivant qui pourra grandir et s’étendre à mesure que cet important travail sera entrepris par les membres des établissements de l’ABRC et la communauté canadienne d’évaluation des bibliothèques.

Notes sur les gabarits de modèles logiques

Priorité institutionnelle et mandat de la bibliothèque

Chaque exemple de modèle logique du cadre d’impact a un intitulé qui situe chaque programme sous les rubriques Priorité institutionnelle ou Mandat de la bibliothèque. La priorité institutionnelle vise à suggérer une portée plus large du point de vue stratégique relativement au programme. Ce sont des thèmes stratégiques communs à la plupart des établissements : apprentissage étudiant et expérience; activités de recherche et création; et engagement communautaire et sensibilisation. Le mandat de la bibliothèque est destiné à suggérer plus généralement les fonctions de la bibliothèque. Ces catégories figurent généralement dans les énoncés de mission des bibliothèques : ressources, services et espaces. Pris ensemble, ils peuvent former une matrice qui peut être utilisée pour tracer différents types de programmes de bibliothèque et leur domaine général d’impact institutionnel.

 

	Apprentissage étudiant et expérience	Activités de recherche et création	Engagement communautaire et sensibilisation
Ressources	Ressources éducatives libres	Collections en soutien à la recherche
Services	Formations en bibliothèque	Dépôts institutionnels
Espaces	Espaces d’apprentissage de la bibliothèque

Résultats

Le gabarit de modèle logique utilisé dans ce cadre comprend trois colonnes sous Résultats et impact intitulées Résultats à court terme, Résultats intermédiaires et Résultats à long terme. Alors que ces étiquettes suggèrent une distinction basée sur la proximité temporelle, nous avons choisi de superposer les catégories : Apprentissage, Action et Conditions. Par conséquent :

• Les résultats à court terme sont définis comme liés à l’apprentissage, c’est-à-dire à des changements dans la prise de conscience, les connaissances, les attitudes, les compétences, les opinions, les motivations ou les aspirations.
• Les résultats intermédiaires sont définis comme liés à des actions, à savoir des changements de comportement, de pratique, de prise de décision, etc.
• Les résultats à long terme sont définis comme liés à des changements de conditions, telles que les conditions sociales, économiques ou de développement. Ces impacts ont tendance à être plus éloignés et, il est vrai, plus difficiles à mesurer.

Remerciements

Un merci particulier aux membres de l’équipe du projet Cadre d’impact des bibliothèques : Justine Wheeler (coprésidente, Université de Calgary), Tania Gottshalk (coprésidente, Université Thomson River), Carisa Polischuk (Université de la Saskatchewan), Kristen Romme (Université Memorial), Tristan Muller (Université du Québec à Montréal) et Denis Ouellette-Roussel (Université du Québec à Montréal); et aux membres du groupe de travail sur le cadre d’impact : Mark Robertson (président, Université Brock), Mary-Jo Romaniuk (Université de Calgary), Shailoo Bedi (Université de Victoria), et Julie Morin (ABRC). Merci également au Comité sur l’évaluation de l’ABRC pour son soutien à ce projet.