Évaluation par les pairs pour le programme de bourses d'études supérieures en recherche du Canada au niveau du doctorat (BESRC D)
Titre
Bienvenue dans le module d'apprentissage pour les pairs évaluateurs du programme de bourses d'études supérieures en recherche du Canada au niveau du doctorat.
Le module concerne spécifiquement les demandes de financement présentées aux IRSC et vise à familiariser les évaluateurs avec les tenants et les aboutissants du programme, ce qui les aidera à bien se préparer au processus d'évaluation par les pairs.
Boutons de la barre de lecture
Ce cours est conçu pour être suivi de manière autonome.
Utilisez la barre de lecture ci-dessous pour reprendre la lecture, passer d'une diapositive à l'autre, couper ou rétablir le son et activer les sous-titres codés. Vous pouvez également consulter la table des matières et réduire ou déplacer la barre de lecture.
Objectifs
À l'issue de ce module, vous saurez :
- décrire les caractéristiques principales du programme de BESRC D;
- appliquer les critères de sélection des demandes en tenant compte de considérations importantes;
- utiliser l'échelle de cotation et rédiger une évaluation de qualité;
- résumer les étapes du processus d'évaluation par les pairs du programme.
Objectif 1 : Programme de BESRC D
La section qui suit décrit le programme de BESRC D et les critères d'admissibilité des candidats.
Caractéristiques du programme
Le programme de BESRC D des IRSC vise à soutenir l'excellence en recherche dans tous les domaines de la recherche en santé. Ce soutien permet aux titulaires d'une bourse de se concentrer pleinement sur leur doctorat, de bénéficier des conseils des meilleurs mentors dans leur domaine de recherche et de contribuer au secteur canadien de la recherche pendant et après la période de validité de leur bourse au Canada ou à l'étranger.
Admissibilité des candidats
Les candidats au programme de BESRC D doivent avoir terminé l'équivalent temps plein d'au plus 36 mois d'études dans leur programme de doctorat le 31 décembre de l'année de présentation de la demande. De plus, ils ne peuvent pas être membres d'un corps professoral, être en voie de titularisation ou être en congé d'un tel poste.
En amont du processus d'évaluation par les pairs, les IRSC auront filtré les demandes non conformes aux critères d'admissibilité. Toutefois, s'ils remarquent qu'une demande qui aurait dû être rejetée a été glissée dans le concours, les évaluateurs sont priés de l'écarter et de la signaler aux représentants des IRSC.
Directives de mise en forme
Afin de garantir que tous les candidats disposent exactement du même espace pour rédiger leur proposition de recherche, des directives de mise en forme sont imposées, notamment en ce qui a trait à la taille de la police, aux espacements et aux limites de pages.
Au même titre que les critères d'admissibilité, la vérification du respect de ces directives ne relève pas de la responsabilité des évaluateurs. S'ils constatent une transgression dans une demande qui leur est confiée, ils sont malgré tout invités à en faire part aux représentants des IRSC dans les plus brefs délais.
Une liste exhaustive des directives est offerte sur la page Web Formats acceptés pour les demandes et les PDF en pièces jointes.
Objectif 2 : Critères d'évaluation et considérations importantes
La section qui suit est consacrée aux critères d'évaluation et aux considérations qui entrent en ligne de compte dans l'évaluation des demandes présentées aux concours du programme de BESRC D.
Attribution des demandes
La principale mission des évaluateurs du programme de BESRC D est d'évaluer les candidats.
Il leur est demandé d'appliquer leurs connaissances spécialisées de façon générale au vaste éventail de demandes qui leur sont confiées. Il n'est donc pas essentiel que leur expertise corresponde directement au domaine de recherche visé par une demande.
Au moment de procéder à l'évaluation d'une demande, il leur incombe de se conformer aux principes de l'évaluation par les pairs des IRSC : la confidentialité, l'absence de conflits d'intérêts, l'équité et la transparence.
Critères d'évaluation
L'évaluation d'une demande devrait reposer sur les critères suivants : potentiel en recherche, et expérience et réalisations pertinentes au sein et à l'extérieur du milieu universitaire.
Les diapositives qui suivent porteront sur les critères de sélection qui s'affichent à l'écran.
D'autres renseignements sur le sujet figurent à l'Annexe A du Guide de l'évaluateur pour le programme de BESRC D.
Indicateurs utilisés pour l'évaluation du potentiel en recherche
Le critère « Potentiel en recherche » compte pour la première moitié de la cote. Les indicateurs utilisés pour l'évaluation de ce critère sont les suivants :
- Qualité de la proposition de recherche
- Démonstration de la capacité à mener la recherche proposée et du potentiel en la matière
- Qualité des contributions
- Acuité de jugement et esprit critique
- Caractère responsable et éthique de la proposition de recherche
- Originalité de la proposition de recherche et esprit d'initiative
- Efficacité de la communication
Remarque : Au moment d'examiner les lettres d'évaluation, il convient de garder à l'esprit que les candidats n'ont pas la possibilité de justifier leur choix de répondants dans leur demande.
Indicateurs utilisés pour l'évaluation de l'expérience et des réalisations pertinentes
Le critère « Expérience et réalisations pertinentes au sein et à l'extérieur du milieu universitaire » compte pour la deuxième moitié de la cote. Les indicateurs utilisés pour l'évaluation de ce critère sont les suivants :
- Formation pertinente (par exemple, études universitaires, expérience concrète ou enseignement traditionnel)
- Bourses, prix et distinctions
- Dossier universitaire
- Activités professionnelles, universitaires et para-universitaires et collaboration avec des superviseurs, des collègues, des pairs, des étudiants et des membres de la communauté
Élargir l'évaluation des contributions à la recherche et des retombées
Les IRSC sont signataires de la Déclaration de San Francisco sur l'évaluation de la recherche (DORA), qui souligne la nécessité d'améliorer la façon dont les résultats de la recherche sont évalués. Lorsqu'ils évaluent les demandes, les pairs évaluateurs sont ainsi invités à ratisser large et à ne pas se limiter aux indicateurs traditionnels de productivité.
Pour mesurer la productivité des candidats dans le respect des principes de la DORA, il convient d'appliquer les recommandations suivantes :
- Fournir des commentaires sur les contributions à la recherche et les retombées.
- Tenir compte de la situation du candidat et de son incidence possible sur sa productivité, comme son historique de congé et son stade de carrière, ses domaines de recherche et ses acquis expérientiels, son cheminement de carrière, ses responsabilités familiales ou encore les répercussions de la pandémie.
- Ne pas s'appuyer uniquement sur des indicateurs comme l'indice h ou les facteurs d'impact et considérer la qualité des contributions et de leurs retombées.
Des outils de perfectionnement des compétences sont accessibles en ligne pour mettre en pratique les principes de la DORA dans les évaluations.
Évaluation de l'intégration du sexe et du genre
Au moment de procéder à l'évaluation d'une demande, une attention particulière doit être accordée à l'intégration du sexe et du genre aux projets proposés.
Explorez les ressources qui s'affichent à l'écran pour vous familiariser avec les questions de sexe et de genre dans la recherche en santé. Tous les liens s'ouvriront dans une nouvelle fenêtre, ce qui vous permettra de retourner au module lorsque vous le souhaiterez.
Évaluation de la recherche en santé des Autochtones
Les évaluateurs sont invités à s'appuyer sur les ressources qui s'affichent à l'écran s'ils sont amenés à examiner des demandes qui font intervenir des membres des Premières Nations, des Inuits et des Métis. Ces ressources offrent des éléments de contexte, des cadres d'éthique et des orientations fondées sur les distinctions qui les aideront à réaliser des évaluations éclairées, conformes aux principes d'équité et empreintes de respect.
Question 1
Mettez vos connaissances à l'épreuve!
Dans la demande que vous évaluez, le candidat a joint un document de 2 pages décrivant son rôle dans des publications à auteurs multiples ainsi que les facteurs liés à son environnement qui ont influé sur sa capacité à publier.
Quel critère d'évaluation s'applique?
- Aptitudes et potentiel en recherche
- Expérience et réalisations pertinentes au sein et à l'extérieur du milieu universitaire
- Tout ce qui précède
Question 2
Parmi les éléments suivants, lequel n'entre pas en ligne de compte dans l'évaluation de l'expérience et des réalisations pertinentes au sein et à l'extérieur du milieu universitaire?
- Lettre d'évaluation du candidat par le répondant
- Relevés de notes du premier cycle universitaire et des cycles supérieurs
- Résumé du projet de recherche
- Section « Congés et incidence sur les activités de recherche » du CV commun, s'il y a lieu
Objectif 3 : Échelle de cotation et rédaction d'une évaluation de qualité
La section qui suit concerne l'échelle de cotation et la réalisation d'une évaluation de qualité.
Échelle de cotation – demandes admissibles à un financement
Les évaluateurs sont tenus d'évaluer chaque demande selon l'information fournie et ne doivent pas chercher à obtenir des renseignements supplémentaires ou des opinions de l'extérieur pour compléter leurs évaluations.
Ils doivent accorder une cote sur une échelle de 0,0 à 4,9 pour chaque critère d'évaluation. Le calcul de la cote globale de chaque demande évaluée dans RechercheNet repose sur la pondération automatique des différentes cotes attribuées.
Seules les demandes affichant une cote globale de 3,5 ou plus sont admissibles à un financement. Elles sont classées dans trois catégories :
Les demandes dont la cote est située entre 4,5 et 4,9 font preuve d'excellence à l'égard de la plupart ou de la totalité des aspects. Ces demandes ne présentent que des lacunes minimes.
Les demandes dont la cote est située entre 4,0 et 4,4 font preuve d'excellence à l'égard d'une bonne partie des aspects pertinents et se révèlent acceptables à l'égard de tous les autres. Pour ces demandes, des améliorations sont possibles.
Les demandes dont la cote est située entre 3,5 et 3,9 font preuve d'excellence à l'égard de quelques aspects pertinents et se révèlent acceptables à l'égard de tous les autres. Pour ces demandes, des améliorations s'imposent.
Échelle de cotation – demandes non admissibles à un financement
Les demandes affichant une cote globale de 3,4 ou moins ne sont pas admissibles à un financement. Elles sont classées dans deux catégories :
Les demandes dont la cote est située entre 3,0 et 3,4 traitent des aspects pertinents d'une manière générale. Pour ces demandes, des améliorations importantes s'imposent.
Les demandes dont la cote est située entre 0,0 et 2,9 ne présentent pas d'arguments suffisamment convaincants ou comportent des lacunes ou des failles importantes.
L'échelle au complet doit être utilisée dans l'évaluation des demandes.
Critères de qualité
Pour chaque demande, les évaluateurs doivent rédiger une courte évaluation mettant en lumière ses forces et ses faiblesses par rapport à chaque critère d'évaluation pour justifier les cotes attribuées. Ils sont priés de tenir compte des critères de qualité des évaluations suivants :
- Caractère approprié – Les commentaires sont justes, compréhensibles, confidentiels et respectueux.
- Rigueur – L'évaluation est exhaustive, complète et crédible.
- Utilité – Les commentaires de l'évaluation répondent aux besoins des évaluateurs, des candidats et des bailleurs de fonds.
Les IRSC ont élaboré un aide-mémoire et une feuille de travail dont les évaluateurs peuvent se servir pour appliquer les critères de qualité des évaluations aux demandes qui leur sont confiées. Le module d'apprentissage « Effectuer des évaluations de qualité » doit également être suivi.
Rédaction d'une évaluation
Les évaluateurs sont invités à suivre les recommandations suivantes au moment de rédiger leurs évaluations :
- Utiliser les descripteurs de l'échelle de cotation des IRSC qui correspondent à la cote attribuée.
- Justifier et mettre en contexte chaque commentaire dans un souci de clarté et de cohérence.
- Tenir compte d'une vaste gamme de contributions et de retombées et concilier l'usage d'indicateurs quantitatifs et d'éléments qualitatifs pour démontrer le caractère exhaustif de l'évaluation.
- Privilégier la simplicité par l'emploi d'un langage clair et précis.
- Éviter tout propos sarcastique, irrévérencieux, tendancieux ou teinté d'arrogance afin de produire une évaluation professionnelle et objective.
- Employer « la personne candidate » plutôt que les pronoms personnels « il » ou « elle ».
Des outils de perfectionnement des compétences sont accessibles en ligne pour aider les évaluateurs à améliorer la qualité de leurs évaluations.
Intelligence artificielle et évaluation des demandes de bourses
L'essor de puissants outils d'IA ne dispense aucunement les pairs évaluateurs de lire les demandes qui leur sont attribuées et de rédiger des évaluations justes et rigoureuses dans leurs propres mots. Le fait de saisir des renseignements sur les demandes dans des plateformes d'intelligence artificielle générative comme ChatGPT ou DeepL porte atteinte à la vie privée et entraîne une perte de propriété intellectuelle, les données saisies étant susceptibles d'être stockées et réutilisées par ces plateformes.
De ce fait, l'utilisation d'outils d'IA générative accessibles au public dans l'évaluation des demandes est strictement interdite, et les évaluateurs devront accepter de se conformer aux Lignes directrices sur l'utilisation de l'intelligence artificielle dans l'élaboration et l'évaluation des propositions de recherche dans RechercheNet.
Question 3
Vrai ou faux? Pour assurer le traitement équitable de toutes les demandes, les évaluateurs ne doivent pas chercher à obtenir des renseignements supplémentaires sur une demande en plus d'en évaluer le contenu.
Question 4
Oui ou non? L'évaluation d'une demande vous donne du fil à retordre, notamment pour fournir votre rétroaction au candidat. Vous décidez alors de tirer parti de ChatGPT pour écrire vos commentaires ainsi que pour comparer plusieurs sections de la proposition de recherche avec des projets existants. Est-ce acceptable?
Objectif 4 : Processus d'évaluation
La section qui suit concerne le processus d'évaluation par les pairs du programme de BESRC D.
Processus d'évaluation par les pairs
Les étapes suivantes du processus d'évaluation par les pairs seront présentées :
- Attribution des demandes aux comités
- Repérage des conflits d'intérêts
- Évaluation des demandes assignées
- Soumission des évaluations et des cotes
- Réévaluation de certaines demandes, au besoin
Attribution des demandes aux comités
Les demandes sont attribuées à un comité spécialisé dans le domaine scientifique indiqué par les candidats et familier avec les activités de recherche proposées, puis sont confiées à deux évaluateurs.
L'évaluation du potentiel des candidats à acquérir les compétences requises pour devenir chercheurs indépendants en recherche biomédicale ou clinique incombe au Comité A.
L'évaluation du potentiel des candidats à acquérir les compétences requises pour devenir chercheurs indépendants en recherche sur les services de santé ou en recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations incombe au comité B.
La page Comités d'évaluation par les pairs et mandats offre de plus amples renseignements sur les deux comités.
Repérage des conflits d'intérêts
Avant de procéder à l'évaluation des demandes qui leur sont confiées dans RechercheNet, les évaluateurs sont tenus d'accepter l'Accord sur les conflits d'intérêts et la confidentialité ainsi que l'Avis de confidentialité, qui comprend la version enrichie du formulaire de déclaration volontaire sur l'équité, la diversité et l'inclusion. Cette étape permet aux IRSC de mesurer la diversité des profils des évaluateurs.
Le formulaire est accompagné d'un avis de confidentialité, qui décrit l'objectif poursuivi par les IRSC ainsi que les utilisations prévues des données de déclaration volontaire.
Repérage des conflits d'intérêts
Une fois cette étape initiale terminée, les évaluateurs peuvent accéder aux demandes qui leur sont assignées en cliquant sur la tâche « Gérer les conflits/Capacité d'examiner », puis les sélectionner une par une en cliquant sur leur numéro en hyperlien.
Ils doivent alors consulter des renseignements pertinents sur chacune des demandes afin de déterminer si leur évaluation les place en conflit d'intérêts et, le cas échéant, ont la responsabilité de le signaler. Pour plus d'informations à ce sujet, veuillez cliquer sur le bouton qui s'affiche au bas de l'écran.
Comme mentionné précédemment, l'attribution des demandes n'est pas fondée sur l'expertise particulière des évaluateurs. Ces derniers sont invités à évaluer la qualité globale des propositions de recherche qui leur sont confiées en appliquant leurs connaissances spécialisées de façon générale. Un éventuel manque d'expertise ne peut donc pas constituer un conflit d'intérêts.
Évaluation des demandes assignées
Après s'être assurés de bien connaître les critères d'évaluation du programme de BESRC D, les évaluateurs peuvent commencer leurs évaluations en cliquant sur la tâche « Effectuer des évaluations », puis en cliquant sur leur numéro en hyperlien.
Sur la nouvelle page, ils doivent inscrire leur cote numérique et veiller à rédiger des commentaires qui décrivent les forces et les faiblesses de la demande évaluée par rapport à chaque critère d'évaluation.
La rétroaction étant susceptible d'être consultée par le candidat, le propos doit être constructif et refléter la cote attribuée.
RechercheNet ayant tendance à se déconnecter souvent, les évaluateurs sont incités à enregistrer fréquemment leur travail en cliquant sur « Sauvegarder l'ébauche » ou à faire un copier-coller de leurs évaluations depuis un logiciel de traitement de texte.
Soumission des évaluations et des cotes
Lorsque leurs évaluations sont prêtes à être soumises, les évaluateurs doivent les sélectionner, puis cliquer sur « Soumettre les évaluations sélectionnées ».
Il est prépondérant que les évaluateurs soumettent leurs évaluations et leurs cotes au plus tard à la date convenue avec les représentants des IRSC. Si un évaluateur estime qu'il ne sera pas en mesure de respecter l'échéance fixée, il est prié d'en informer les représentants des IRSC dans les plus brefs délais.
Réévaluation de certaines demandes, au besoin
Une fois toutes les évaluations soumises, un calcul est effectué pour repérer les demandes ayant obtenu des cotes présentant une grande divergence. Les évaluateurs des demandes concernées doivent alors en discuter afin de rapprocher leurs cotes. Dans ce cas de figure, les évaluateurs reçoivent par courriel une demande de participation à la réévaluation d'une demande accompagnée des coordonnées de l'autre évaluateur. Leur accès à cette demande sera alors réactivé dans RechercheNet. L'objet de la démarche est de permettre aux deux évaluateurs de prendre connaissance des points de vue de leur collègue et d'en tenir compte. Au terme de la discussion, les évaluateurs ne sont pas dans l'obligation de modifier leur cote, mais doivent néanmoins soumettre leur nouvelle évaluation.
Après leur soumission, les réévaluations sont examinées par les IRSC en vue de déterminer si l'écart subsistant entre les cotes expose la demande à une décision injuste. Le cas échéant, les IRSC demanderont à un troisième évaluateur d'examiner la demande. La cote finale sera alors fondée sur la moyenne des cotes accordées par les trois évaluateurs. À noter que tout membre du comité peut être appelé à agir comme troisième évaluateur.
Après la soumission de l'ensemble des évaluations, un classement des demandes évaluées par chaque comité est établi. Les recommandations de financement suivent le rang occupé par les demandes dans le classement, jusqu'à épuisement du budget.
Résumé
Félicitations! Vous avez terminé le module d'apprentissage destiné aux pairs évaluateurs du programme de BESRC D.
Vous devriez désormais être en mesure de décrire les caractéristiques principales du programme de BESRC D, d'appliquer les critères d'évaluation des demandes en tenant compte de considérations importantes, d'utiliser l'échelle de cotation et de rédiger une évaluation de qualité, et de résumer les étapes du processus d'évaluation par les pairs du programme.
Sondage
Nous vous invitons à répondre à notre sondage afin de faciliter le suivi mis en place par les IRSC et d'améliorer la qualité de l'apprentissage.
Autres ressources
Pour accéder aux ressources complémentaires pour les pairs évaluateurs du programme de BESRC D, cliquez tout simplement sur les liens qui s'affichent à l'écran.
- Date de modification :