Bibliométrie et impact de la recherche

Le 31 mai dernier, à la bibliothèque MacOdrum de l’Université Carleton à Ottawa, se tenait la première rencontre de la Communauté de pratique de bibliométrie et d’impact de la recherche. Cet événement était organisé conjointement par l’Université de Waterloo, l’Université de Carleton, l’Université McGill, l’Université Laval et l’ÉTS.

Il y avait surtout des bibliothécaires universitaires, mais aussi des analystes d’agences gouvernementales et des représentants de bureaux de la recherche. Ne manquaient que les chercheurs! M présentation portait sur les formations sur les mesures d’impact données aux étudiants de 4 programmes de premier cycle.

Les principales réflexions de la journée :

• La désambiguïsation des affiliations et noms de chercheurs est toujours au cœur des analyses de citations, vivement une adoption généralisée d’ORCID pour améliorer le processus!
• Les chercheurs et décideurs ne sont pas toujours conscients du contexte d’utilisation des citations; l’utilisation de données normalisées est essentielle, notamment pour tenir compte des variations selon les disciplines.

Le programme complet est disponible ici, et les présentations seront diffusées sous peu : faites-moi signe si l’une d’elles vous intéresse. Voici mes notes sur ce qui a retenu mon attention.

 

Publish or Perish

J’avais déjà entendu parler de ce logiciel gratuit, qui a été utilisé par les bibliothécaires de l’Université Concordia pour fournir des bibliographies et données bibliométriques de chercheurs à leur Bureau de la recherche, afin de monter des dossiers de candidature à des prix d’excellence. Je l’ai téléchargé et fait une recherche rapide avec l’auteur Jocelyn Lauzon. Il va sans dire qu’un profil Google Scholar à jour donne des résultats intéressants! Pas certaine que tous iront consulter les réserves face aux données de Google Scholar cependant. J’ai pu exporter facilement les références dans EndNote, mais les données étaient incomplètes (titre de la revue abrégé, pas de résumé…). J’ignore si ce logiciel me sera utile un jour, mais au moins j’ai essayé quelque chose de nouveau.

Les données bibliométriques d'un chercheur dans Publish or Perish

 

Le dépôt institutionnel de l’Université de Carleton

Mon coup de cœur de la journée! Le tout nouveau dépôt institutionnel (DI) CURVE intègre un paquet de métadonnées telles que plusieurs identifiants d’auteur (ORCID, Scopus, et même Twitter et autres médias sociaux!) qui permettent de mettre en valeur de nombreuses données liées. Le DI est basé sur celui de l’Université Erasmus de Rotterdam. On peut mettre en évidence des articles qui ne sont pas encore publiés grâce à des APIs d’éditeurs et intégrer des données de géolocalisation. Outre les thèses et mémoires, le dépôt contient les publications du corps professoral et des travaux d’étudiants.

 

Services de bibliométrie en bibliothèque

Nos collègues de l’ÉTS ont lancé un service d’analyse de production scientifique qui a été mis en valeur à plusieurs reprises dans l’infolettre Substance ÉTS. Voir un exemple de fiche bibliométrique produite pour un chercheur.  De son côté, l’Université Laval a créé quatre nouveaux postes de bibliothécaires, dont un en communication savante, ainsi qu’un poste à mi-temps en bibliométrie et impact de la recherche. Ce dernier site propose plusieurs infographies avec licence CC.

Les discussions sur les services de bibliométrie ont mis en évidence l’importance d’impliquer le chercheur visé lorsque la demande de données provient du bureau de la recherche ou d’un département. Plusieurs chercheurs sont d’ailleurs surpris d’apprendre que les données bibliométriques ne sont pas confidentielles.

 

Réseaux complexes de citations

Une présentation geek à souhait, où on a présenté qu’une analyse des données bibliométriques par la technique Main Path Analysis permet de créer un sommaire épuré de la littérature sur un sujet particulier. Pas facile à expliquer, mais en gros, on extrait d’un réseau complexe de citations les publications qui forment le squelette des connaissances – autrement dit, les articles « fondateurs » et émergents, qu’il vaut la peine de connaître lorsqu’on s’intéresse à un nouveau sujet. Une image valant mille mots (source : http://www.leydesdorff.net/histcite/ ), voici le sentier principal des 30 articles les plus cités parmi 7696 documents portant sur le fullerene. Fascinant!

 

Lectures suggérées

• Snowball Metrics Recipe Book, où on veut s’assurer de comparer les institutions entre elles en utilisant les mêmes indicateurs (Royaume-Uni);
• The Metrics Tide, où on a analysé le rôle de la bibliométrie dans l’évaluation de la recherche (Royaume-Uni);
• Measuring Research Output through Bibliometrics, qui contient des recommandations sur l’utilisation des indicateurs bibliométriques et a servi de base pour la rédaction d’un guide (U. Waterloo).

J’ai une liaison avec un dentiste

AhHA! J’ai votre attention! Mais non, je vous fais marcher. En ma qualité de bibliothécaire de liaison en médecine dentaire depuis maintenant deux ans, voici le résumé de deux séances qui m’ont intéressée. On y a décortiqué les caractéristiques de ce bibliothécaire particulier, dont le modèle de service, la description de tâches et les compétences ont bien changé à travers les ans. Toutes ces réflexions me seront fort utiles pour la rédaction en cours d’un article collaboratif sur le soutien des bibliothécaires dans l’enseignement de la médecine dentaire au Canada.

Anchors Aweigh! Navigating New Directions for Library Liaisons

J’aurais bien aimé assister à cette table ronde, qui a abordé le sujet sous trois angles. La magie du virtuel me permet d’y revenir.

Evolution of Library Liaisons

D’abord, Rebecca K. Miller et  Lauren Pressley ont discuté de l’importance d’apparier stratégiquement les activités de liaison avec les objectifs et priorités de l’institution d’enseignement. Leur présentation a repris les conclusions de leur étude de 2015 : SPEC Kit 349 : Evolution of Library Liaisons, où on a comparé les données d’un sondage récent sur les activités de liaison avec celles obtenues en 1992 et en 2007. Pour définir ce poste, on peut se baser sur les lignes directrices de RUSA (2010) ou de l’ABRC (2010) qui datent déjà un peu; en effet, les nouvelles tâches de base incluent notamment la promotion du dépôt institutionnel et la consultation sur les mesures d’impact des publications. Les répondants du sondage provenaient de 70 des 124 bibliothèques membres de l’ARL (57%). L’étude a mis en évidence que les bibliothécaires de liaison ont généralement un certain niveau d’indépendance dans la définition de leur rôle, domaines d’expertise et objectifs. Les tâches de liaison ont augmenté et se sont complexifiées, de même que la structure administrative des programmes de liaison. Les compétences des bibliothécaires de liaison recherchées actuellement sont la communication, la collaboration et la proactivité. En contrepartie à ces nouvelles exigences, la quasi-totalité des bibliothèques soutiennent activement le développement professionnel des bibliothécaires. Enfin, bien que des statistiques soient colligées pour les différentes activités de liaison (rendez-vous de référence, séances de formation documentaire, dépenses en développement de collections, etc.), moins de la moitié des institutions évaluent présentement de façon formelle l’impact général des programmes de liaison.

« Many respondents reported that library liaisons “keep the library relevant” because they are engaged in relation­ships and partnerships that enable the library to grow and evolve in appropriate and valuable directions. »

Reimagining Liaison Librarianship

Le sujet de l’évaluation de l’impact des activités de liaison au sein de l’organisation a ensuite été abordé par Judy Ruttenberg.  C’était le thème principal du Library Liaison Institute tenu en 2015 et qui réunissait une cinquantaine de bibliothécaires provenant des universités Cornell, Columbia et de Toronto (voir le rapport du colloque). À leur arrivée, les participants étaient d’accord sur deux points : 1) les bibliothécaires de liaison ont trop de tâches et pas assez de temps, et 2) les bibliothèques devraient se définir selon les besoins de leurs utilisateurs, et non par les services qu’elles rendent. Les participants ont ensuite tenté, au moyen de scénarios et de mises en situation, d’articuler quels changements de mentalités seraient nécessaires pour améliorer la situation actuelle. On pourrait résumer les grandes lignes de l’exercice ainsi :

Situation actuelle	Situation désirée
Centrée sur les services	Centrée sur l’impact
Avancer les objectifs des bibliothèques	Avancer les objectifs de l’université
Procurer de l’information	Procurer des conseils
Servir	Collaborer

Le webinaire de M.J. D’Elia Running a Value Proposition Exercise in Your Library résume une partie des activités du Library Liaison Institute. On y donne des pistes pour créer et tester des propositions de valeur dans une bibliothèque. Ce modèle est utilisé dans le domaine des affaires : définition des clients, segmentation, description des produits et services, bénéfices pour les utilisateurs, etc. Une proposition de valeur type : Notre [produit ou service] aide [segment de la clientèle visé] qui veut [tâche qui doit être réalisée] par [description de notre solution]. Un exemple dans notre contexte : Notre dépôt institutionnel aide les professeurs en début de carrière à augmenter l’impact de leurs publications en favorisant l’accès à leur recherche. On doit ensuite tester la proposition auprès de l’usager. Au retour du colloque, les trois bibliothèques universitaires participantes ont entrepris des réflexions et des actions stratégiques sur leurs propres programmes de liaison.

Subject Liaisons in Academic Libraries: An OA Dataset

Pour clore cette table ronde, Anne Langley et Neil Nero ont présenté un jeu de données, disponible en libre accès, portant sur les activités de liaison. Les réponses de 1808 participants à un  questionnaire de 29 questions sont ainsi colligées ici. On y apprend notamment que 80 % des répondants soutiennent les activités de plus d’un département ou discipline. Ce jeu de données pourrait par exemple servir d’étalon dans l’évaluation des pratiques en cours chez vous.

Steering Change in Liaisonship: A Reverse Engineering Approach

Eric Resnis et Jennifer Natale ont également fait le constat que les changements technologiques ont engendré une confusion quant aux rôles et responsabilités des bibliothécaires de liaison à l’Université Miami d’Oxford, en Ohio. La liaison est souvent disciplinaire, mais peut aussi être fonctionnelle et être liée à un service particulier, comme le Data Librarian. De plus, les activités menées en silo et sans normalisation, selon les priorités et styles de chacun, résultent en une qualité de service variable selon les unités et départements. On a donc décidé d’analyser en profondeur le programme de liaison avec l’objectif d’impliquer activement les bibliothécaires dans la réflexion. L’approche choisie permet de conserver les éléments satisfaisants tout en posant un regard critique sur les modifications à apporter.

Pour ce faire, trois ateliers ont été organisés. On y a successivement abordé les caractéristiques communes de l’emploi, les bonnes pratiques qui pourraient servir de cadre pour un service de qualité, et les modèles de service utilisés dans d’autres universités. À la fin de l’exercice, il n’y avait pas vraiment de consensus sur le rôle et les attentes des bibliothécaires de liaison…

Néanmoins, les discussions ont alimenté la création d’un cadre conceptuel pour le programme de liaison disciplinaire, où quatre éléments centraux ont été identifiés, chacun étant assorti d’un objectif :

1. Engagement;
2. Enseignement et apprentissage;
3. Gestion et développement des collections;
4. Soutien à la recherche.

De plus, quatre liaisons fonctionnelles impliquent une collaboration active entre tous les bibliothécaires, soient : la communication savante et le libre accès, les données numériques et de recherche, les services aux étudiants, et les collections spéciales et archives. On a ensuite mis au point un plan d’implantation.

Pour l’évaluation du programme de liaison, on a choisi une approche à deux niveaux. Le programme lui-même est évalué par le biais d’un questionnaire auprès d’un échantillon de professeurs. Les bibliothécaires sont invités de leur côté à consigner annuellement leurs activités selon 3 catégories : responsabilité professionnelles de base (librarianship), services et mission professorale (scholarship). On évalue ensuite la proactivité et la progression de l’individu selon trois échelons de qualité appliqués aux quatre éléments discutés ci-dessus.

En conclusion, ces présentations m'ont convaincue que nous sommes maintenant à un carrefour où il est primordial de procéder à une réflexion de fond sur le rôle des bibliothécaires de liaison dans notre organisation.

Visualisation de données : de la théorie à la pratique

La beauté de l’information

J’ai eu la chance il y a 5 ans de visiter le Tate Modern de Londres, temple merveilleux de l’art contemporain. Dans la librairie du musée, parmi tous les livres d’histoire de l’art, de graphisme et de photographie disponibles, j’ai déniché Information is Beautiful, de David McCandless. Ce bouquin regroupe des dizaines d’infographies ébouriffantes que vous pouvez admirer sur le site éponyme, certains étant interactifs en prime. C’est donc en tant que fan finie que j’ai assisté à la présentation de ce journaliste, designer et graphiste, qui marquait l’ouverture du congrès. 

« Je vois ce que tu veux dire ». Selon McCandless, la visualisation des données (ou #dataviz) consiste à combiner les deux langages propres à la vision et au raisonnement, afin de donner de la profondeur et de la dimension aux données. Il y a bien sûr des lunes que la représentation des données repose sur un graphisme attrayant, mais on porte depuis quelques années une attention particulière à l’esthétisme du produit final afin d’attirer l’attention des lecteurs, d’établir des relations entre les données et de distinguer des tendances parmi des milliers de points d’information, le tout sans compromettre l’intégrité des données. La visualisation de données a pris son envol grâce à de nombreux outils, dont voici une compilation non exhaustive. Le designer décrit son objectif ultime comme étant de fournir du soutien cognitif aux décisions basées sur des données probantes.

David McCandless se distingue par le point de vue original des questions qu’il se pose; il admet d’ailleurs avoir un intérêt pour les sujets bizarres. Les films basés sur une histoire vraie reflètent-ils vraiment la réalité? Quel sont les liens entre l’état matrimonial des utilisateurs Facebook et le moment de l’année? Est-ce que les horoscopes prédisent tous la même chose? La réalisation de chaque visualisation peut prendre plusieurs mois de travail. Ultimement, une bonne représentation visuelle s’appuiera sur quatre éléments : 1) de bonnes données; 2) un design approprié; 3) une histoire ou un concept accrocheur; 4) un objectif clair.

The Data ‘Shop: Gangway for a Crash Course in Data Visualization! 

Je me suis inscrite à cet atelier avec pour objectif de faire une ninja de la visualisation de données de moi-même, espérant aller au-delà des graphiques en pointe de tarte. Comme je viens tout juste d’analyser les citations des publications de 2015 et 2016 des chercheurs de la Faculté de médecine dentaire (FMD), je voulais aussi découvrir des façons de rendre mon rapport plus agréable à lire. La présentation, les fichiers de données et les étapes à suivre de cet atelier sont disponibles ici. Il faut installer les logiciels libres OpenRefine et Tableau Public au préalable.

Une courte présentation nous a d’abord proposé des trucs pour optimiser des graphiques de base. C’est fou comment de simples principes de design peuvent rendre un graphique plus attrayant : trier les données en ordre croissant, utiliser une seule couleur pour focaliser sur un point de données en particulier, varier l’intensité de la couleur… Dans le graphique suivant, à l’origine, j’avais utilisé une couleur vive différente pour chaque série et mes pointes de tarte étaient triées selon le nombre de citations plutôt qu’en ordre croissant de nombre de périodiques cités. Je pense que le message est plus clair maintenant!

Distribution des citations de périodiques dans les publications de la FMD (2015-2016) et arrimage avec les collections UdeM pour les titres cités 5 fois ou plus.

Malheureusement, un problème avec le sans-fil du Centre des congrès nous a empêchés de nettoyer un ensemble de données avec OpenRefine. Cependant, j’ai pu refaire les étapes ici et constater que j’aurais pu économiser pas mal de temps en exportant ma base de données EndNote de citations dans Excel, puis utiliser OpenRefine afin d’uniformiser les titres de périodiques cités. On le saura la prochaine fois!

Ensuite, nous avons exploré quelques fonctionnalités de Tableau Public. (Important : la sauvegarde se fait sur un serveur en accès libre, donc ne pas y déposer des données à diffusion restreinte!) Tout en étant assez facile d’utilisation, Tableau a un potentiel fantastique pour faire parler un ensemble complexe de données (voir une vidéo); je pense par exemple aux statistiques du BCI, qui se résument à de longs tableaux sans saveur. J’avais justement un tableau insipide sur les facultés de médecine dentaire canadiennes à insérer dans un article collaboratif en préparation... Voyez comment il prend vie ici! Chaque point de données est cliquable.

J’ai aussi essayé de faire une représentation de type treemap avec Tableau pour présenter le regroupement en 6 catégories des 85 périodiques cités 10 fois ou plus dans les publications 2015-2016 de la FMD, mais il me faudra explorer davantage les options d’affichage pour obtenir un résultat satisfaisant. Voici ce que j’avais obtenu en bidouillant d’abord avec Excel 2016. La grosseur des blocs est proportionnelle au nombre de citations. Les différents axes de recherche de la Faculté y sont bien mis en évidence.

Périodiques cités 10 fois ou plus dans les articles de la FMD, 2015-2016.

Enfin, nous avons brièvement exploré l’outil d’analyse de textes numériques Voyant. Ceux qui connaissent déjà les nuages de tags créés par Wordle seront heureux de pouvoir analyser des textes plus longs au moyen de fonctionnalités plus variées. Je vais d’ailleurs illustrer la page couverture de mon rapport avec un Wordle des mots courants dans les titres d’articles publiés par les chercheurs de la FMD!

Engaging Faculty in Collection Strategies with Data Visualizations

Vous arrive-t-il parfois de ressentir un *tilt* dans votre cerveau?! Voici mon moment de grâce du congrès. Une idée toute simple de Beth Bohstedt, mais il fallait y penser : diffuser les statistiques des collections auprès des enseignants au moyen d’une infographie, où les données sont mises en valeur grâce à la visualisation.

Photo : @MissReadings sur Twitter

Je pourrais faire de même avec mes données de citation, au lieu de produire seulement un rapport détaillé! Outre Tableau, la présentatrice a utilisé Canva, Piktochart et Venngage. On va regarder ça plus attentivement! Vous comprendrez que je suis revenue ravie de mes expériences en visualisation de données à l’ACRL.