Trousse à outils de visualisation de données de l’ABRC

« Les consultants en gestion soulignent fréquemment que ‘ce qui est mesuré, c’est ce qui est fait’. Les critiques craignent que cela signifie que les organisations soient induites en erreur par les mesures. Pour éviter cela, les dirigeants sont confrontés à l’obligation de déterminer au plus haut niveau les questions clés auxquelles leurs organisations doivent faire face, plutôt que de simplement réagir aux éléments les plus faciles à mesurer et à suivre » (Marcum & Schonfeld, 2014, p. 3).

Connaway, L. S., Harvey, W., Kitzie, V., & Mikitish, S. (2017). Academic library impact: Improving impact & essential areas to research. Chicago: ACRL.

• Résume les progrès incroyables accomplis et les meilleures pratiques développées par la profession pour capturer et souligner les contributions des bibliothèques universitaires à l’apprentissage, à la réussite et à l’expérience des étudiants.

Farney, T. (2018). Using digital analytics for smart assessment. Chicago, ALA Editions.

• Votre bibliothèque recueille d’énormes quantités de données, probablement plus que vous ne le pensez et presque certainement plus que ce que vous analysez. L’auteur vous explique comment maximiser vos efforts : vous apprendrez comment améliorer votre collecte de données, nettoyer vos données et combiner différentes sources de données.

Franklin, T., Harrop, H., Kay., D., & van Harmelen, M. (2011). Exploiting activity data in the academic environment. Repéré au siteweb Activity Data.

• Ce site web synthétise le travail du programme de données sur les activités financé par le JISC afin de vous aider à comprendre comment vous pourriez bénéficier de l’exploitation des données d’activités. Comprend une section spéciale sur les sources de données de la bibliothèque.

Marcum, D., & Schonfeld, R. C. (2014). Driving with data: A Roadmap for evidence-based decision making in academic libraries. New York, NY: Ithaka S+R.

• Statistiques d’utilisation conformes à COUNTER, évaluations des services, analyse comparative par les pairs : les bibliothécaires collectent différents types de données depuis un certain temps, utilisent des données pour mesurer l’utilisation de leurs ressources, la qualité de leurs services et la façon dont ils se comparent à des établissements similaires. But could library leaders collect data differently? Mais les responsables de bibliothèques pourraient-ils collecter les données différemment? Dans ce dossier, Deanna Marcum et Roger Schonfeld suggèrent une approche où les responsables de bibliothèques commencent non pas par les données faciles à recueillir, mais par les problèmes qu’ils essaient de résoudre. Que faut-il pour créer un environnement décisionnel fondé sur des preuves au sein de la bibliothèque universitaire?

Orcutt, D. (2009). Library data: Empowering practice and persuasion. Santa Barbara, CA: Libraries Unlimited.

• Les preuves numériques sont partout et la meilleure façon de les gérer et de les exploiter est une préoccupation croissante dans le monde universitaire en général et le monde des bibliothèques universitaires en particulier. Les bibliothèques ne sont pas seulement des entrepôts et des personnes-ressources pour les usagers des bibliothèques en quête de données numériques, mais elles sont également des collectrices et des utilisatrices de leurs propres données, ce qui fait partie intégrante du fonctionnement de la bibliothèque elle-même.

• Quels indicateurs clés de performance sont jugés importants? En quoi sont-ils liés aux priorités stratégiques de votre établissement?
• Possédez-vous la structure organisationnelle, les compétences techniques et les systèmes en place pour assembler, gérer et analyser les données?
• Avez-vous les données dont vous avez besoin? Vos systèmes et processus en permettent-ils la collecte? De combien de temps disposez-vous et combien coûtera la collecte de données?
• Si vous n’avez pas les données, comment en amorcerez-vous la collecte? Pouvez-vous les obtenir d’une autre unité de l’établissement d’enseignement? Quels sont les risques et les avantages de recueillir de l’information auprès d’intervenants externes?
• Avez-vous suffisamment de données pour les faire parler? Depuis combien de temps recueillez-vous des données et quel volume amassez-vous par année? Quels sont les risques et avantages de prendre des décisions comme personne seule ou encore uniquement à l’interne?
• Devriez-vous combiner diverses sources de données pour dégager un portrait plus complet? Si oui, existe-t-il des éléments de données fiables et communes pour permettre les combinaisons (p. ex. les numéros des étudiantes et étudiants)? Si non, est-il possible d’ajouter cet élément à l’ensemble de données pour rendre l’analyse possible?
• L’analyse servira-t-elle l’exercice d’analyse que vous avez en tête (p. ex. en fonction des indicateurs clés de performance)? Ou engendra-t-elle de nouvelles analyses?
• Rappelez-vous que les données, comme les statistiques, sont sujettes à interprétation. Qu’est-ce que « trafic élevé sur le site web » signifie réellement?
  • Que le site est jugé de valeur et utilisé?
  • Que les mêmes personnes utilisent le site très fréquemment, mais que la plupart ne l’utilisent pas?
  • Que les personnes essaient différentes options parce qu’elles ne trouvent pas ce qu’elles cherchent?
• Les données peuvent être quantitatives ou qualitatives. Les données peuvent être préexistantes ou recueillies au besoin.
• Les données peuvent concerner un groupe localement, toute une succursale, un réseau voire l’établissement complet et elles peuvent également être d’envergure régionale ou nationale ou encore propres à une association.
• Il existe diverses manières de recueillir des données, de la collecte manuelle en cochant des cases sur une feuille au téléchargement automatisé depuis une source en ligne, de la recherche formalisée à la publication de rapports.
• Les données automatisées peuvent être acquises par saisie manuelle, lors de l’activité (p. ex. la circulation d’un livre témoigne de son utilisation, de son utilisateur, de la période temporelle) ou par les journaux de données générés par un système (p. ex. nombre de vues d’une page web).
• Il existe différents programmes pour compiler et manipuler les données, allant de simples calculs sur une feuille de papier aux feuilles de calcul Excel ou encore en recourant à des logiciels d’analyse statistique comme SPSS ou SAS, des modules d’analyse à même votre logiciel de gestion de la bibliothèque ou encore en achetant des services de données.

« De nombreux établissements universitaires utilisent des mesures étalons pour identifier leurs forces et leurs faiblesses par rapport à des établissements similaires. Par exemple, l’étalonnage peut être utilisé pour démontrer si une institution ou sa bibliothèque est financée ou dotée de personnel à des niveaux comparables à des établissements similaires dans une zone géographique, avec un effectif similaire ou avec d’autres caractéristiques connexes. Une institution ou une bibliothèque peut utiliser l’étalonnage pour éclairer les stratégies qu’elle élabore afin d’améliorer sa qualité et son efficacité institutionnelles » (ACRL, 2018, p. 21).

Exemples de base

• Dépenses institutionnelles de la bibliothèque par rapport à leurs pairs
• Nombre de membres des corps étudiant et professoral par rapport à leurs pairs
• Dépenses de la bibliothèque par membre des corps étudiant et professoral par rapport à leurs pairs
• Budgets des collections (physique et électronique) par rapport à leurs pairs
• Ressources en ligne (revues, livres et bases de données) par rapport à leurs pairs
• Nombre d’employés de la bibliothèque par rapport à leurs pairs

Exemples plus complexes

Lewin, H. S., & Passonneau, S. M. (2012). An analysis of academic research libraries assessment data: A look at professional models and benchmarking data. The Journal of Academic Librarianship, Volume 38(2), 85-93.

Sources de données d’étalonnage

• Association of Academic Health Sciences Libraries
• Association of College and Research Libraries
• Association of Research Libraries
• Association des bibliothèques de recherche du Canada
• ACBES Recensement des bibliothécaires universitaires du Canada
• ACPPU Almanach de l’enseignement postsecondaire
• National Center for Education Statistic – Library Statistics Program
• Conseil des bibliothèques universitaires de l’Ontario
• Statistique Canada – Études postsecondaires

Rapport principal

ACRL. (2018). Standards for Libraries in Higher Education. Chicago, IL: ACRL.

• Les normes pour les bibliothèques de l’enseignement supérieur sont conçues pour guider les bibliothèques universitaires dans l’avancement et le maintien de leur rôle de partenaires dans l’éducation des étudiantes et étudiants, la réalisation des missions de leurs établissements et le positionnement des bibliothèques en tant que chefs de file en matière d’évaluation et d’amélioration continue sur leurs campus. Les bibliothèques doivent démontrer leur valeur et documenter leurs contributions à l’efficacité institutionnelle globale et être prêtes à faire face aux changements dans l’enseignement supérieur, y compris l’accréditation et d’autres mesures de reddition de comptes.

Exemples de base

• Nombre de titres (physiques et électroniques)
• Pourcentages des dépenses du nombre total en matériel de bibliothèque, p. ex. pourcentage des dépenses de livres par rapport aux dépenses totales de matériel de bibliothèque.
• Dépenses en matériel de bibliothèque par rapport aux dépenses totales pour la bibliothèque, p. ex. pourcentage des dépenses en matériel de bibliothèque par rapport aux dépenses totales de la bibliothèque.
• Dépenses totales en matériel de bibliothèque par étudiant, p. ex. par étudiante de premier cycle, par étudiant des cycles supérieurs.
• Dépenses totales en matériel de bibliothèque par employé facultaire, p. ex. par professeure à temps plein ou par professeur à temps partiel.

Exemple plus complexe

• Corrélation entre la croissance des dépenses pour les collections électroniques à la bibliothèque et la croissance de la productivité de recherche.
  Par exemple : Rawls, M. M. (2015). Looking for links: How faculty research productivity correlates with library investment and why electronic library materials matter most. Evidence Based Library & Information Practice, 10(2), 34-44.

Rapport principal

Harker, K. R., & Klein, J. (2016, septembre). Collection assessment. SPEC Kit 352. Washington, DC : Association of Research Libraries.

• Cette étude collecte de l’information sur les membres du personnel de la bibliothèque qui collectent et analysent les données, à quelles fins les résultats sont utilisés, avec qui les données sont partagées et de quelle manière les questions d’évaluation sont traitées. L’étude a également cherché à savoir si les méthodes, données et outils disponibles sont conformes aux objectifs de l’évaluation des collections.

« Les bibliothèques permettent aux utilisateurs de découvrir de l’information dans tous les formats grâce à une utilisation efficace de la technologie et à l’organisation des connaissances. » (ACRL, 2018, p. 9).

Exemples de base

• Nombre d’usagers consultant le site web de la bibliothèque
• Nombre d’usagers consultant les ressources électroniques sous licence : COUNTER propose un code de pratique qui permet aux éditeurs et aux fournisseurs de faire rapport de l’usage de leurs ressources électroniques de manière cohérente. Cela permet aux bibliothèques de comparer les données reçues de différents éditeurs et fournisseurs.
• Nombre de documents téléchargés
• Nombre de livres empruntés

Exemple plus complexe

• Établir une corrélation entre l’usage des ressources de la bibliothèque et la production universitaire. Voir par exemple : Janetti, M., & Cox, B. (2013). Measuring the value of library resources and student academic performance through relational datasets. Evidence Based Library and Information Practice, 8(10), 163-171.

Rapport principal

• MINES for Libraries : Alors que les bibliothèques donnent accès aux ressources électroniques par portails, collaborations et entente consortiale, le protocole Mesurer l’impact des services électroniques en réseau (MINES) pour les bibliothèques offre un moyen pratique de recueillir de l’information auprès des usagers dans un environnement où ils n’ont plus besoin d’entrer physiquement dans la bibliothèque pour accéder aux ressources.

« Les bibliothèques participent à la mission éducative de l’établissement pour développer et soutenir des apprenants instruits qui peuvent découvrir, repérer et utiliser efficacement les ressources pour la réussite scolaire, la recherche et l’apprentissage tout au long de la vie » (ACRL, 2018, p. 9).

Exemples de base

• Nombre de séances de formation en groupe offertes (sur place et virtuellement)
• Nombre de personnes participant (sur place et virtuellement) aux séances de formation
• Nombre de cours auxquels participent les bibliothécaires
• Nombre d’étudiants rejoints par la participation des bibliothécaires aux initiatives de littératie

Exemple plus complexe

• Établir une corrélation entre le nombre de participants aux séances de formation en bibliothèque et la rétention étudiante. Voir par exemple : Eng, S. (2015). Linking library to student retention: A statistical analysis. Evidence Based Library & Information Practice, 10(3), 50-63.

Rapport principal

Oakleaf, M. (2010). Value of academic libraries: A comprehensive research review and report. Chicago, ACRL.

• La publication Value of Academic Libraries: A Comprehensive Research Review and Report de l’ACRL est une revue de la littérature quantitative et qualitative, des méthodologies et des meilleures pratiques actuellement en place pour démontrer la valeur des bibliothèques universitaires, développée pour l’ACRL par Megan Oakleaf de l’iSchool à la Syracuse University.

« Les bibliothèques sont des biens communs intellectuels où les usagers interagissent avec des idées dans des environnements physiques et virtuels pour étendre l’apprentissage et faciliter la création de nouvelles connaissances » (ACRL, 2018, p. 9).

Exemples de base

• Ratio de sièges en bibliothèque par rapport à l’ETP de la population étudiante
• Type d’espaces d’apprentissage et de technologies connexes offert à la communauté
• Nombre d’heures d’ouverture en semaine durant la session universitaire
• Nombre de jours d’ouverture lors de l’année fiscale
• Statistique d’entrée. P. ex. Pour l’ETP étudiant. Lors de la plage horaire étendue des sessions d’automne et d’hiver.

Exemple plus complexe

• Établir une corrélation entre l’utilisation de la bibliothèque et les notes scolaires : l’influence de la bibliothèque se manifeste par deux facteurs qui témoignent de la bibliothèque comme lieu où la population étudiante peut étudier seule et où elle peut avoir accès à de l’équipement spécialisé. Voir par exemple : Stemmer, J. K., & Mahan, D. M. (2015). Assessing the library’s influence on freshman and senior level outcomes with user surveys. Evidence Based Library & Information Practice, 10(2), 8-20.

Rapport principal

Lippincott, J. K., & Duckett, K. (2013). Library space assessment: Focus on learning. Research Libraries Issues: A Report from ARL, CNI, and SPARC, (284), 21-21.

• L’atelier Library Space Assessment: Bringing the Focus to Teaching and Learning, tenu lors du Library Assessment Conference en novembre 2012, était conçu pour aider les participantes et participants à réfléchir en profondeur au lien entre la rénovation complète des espaces et l’apprentissage étudiant.