By: Dawn Richards, Deb Baranec, Eileen Davidson, Trudy Flynn

Le français suit / French follows

What is peer review anyway?

The peer review process can be strange and slightly confusing if you’re not in academia or new to the process. At its simplest, peer review is a process used by an organization that funds research to review grant applications that have been submitted to be considered for funding. Funding organizations include the Canadian Institutes of Health Research, a health or other charity, and research foundations. While the exact process may be different depending on the organization, generally grant applications are ‘assigned’ to people who are called ‘reviewers’. Organizations will select reviewers who have the experience or expertise to assess the applications.

Often, a group of reviewers is assigned to each application and will discuss how they rate it at a virtual or in-person peer review meeting. Before the meeting, reviewers spend time reading and assessing each application based on a set of criteria created from the specific objectives of that research funding competition. They will share their assessments at the peer review meeting and discuss them with other reviewers. Reviewers may decide to change their assessment based on the discussions that take place with other peer reviewers at a meeting.

*  Ref: Peer Review Overview – https://cihr-irsc.gc.ca/e/39380.html

Patient partners as peer reviewers of grant applications

Some organizations that do peer review are now including patient partners in the process. Patient partners bring lived experience and expertise that complements the expertise of other reviewers who may be researchers, clinicians, and others (e.g., people from community- and not-for-profit organizations, etc.).

Organizations may involve patient partners in different ways. Sometimes patient partners are asked to read and review only part of the grant application and sometimes they’re asked to review the grant application the same as any other reviewer. Patient partners are asked to bring all of their skills and experiences to the review which may include their patient perspective and for some it may also mean critiquing the proposed research. For many patient partners, peer review of grant applications is a new concept and a different way to be involved in research.

As patient partners who have been involved in peer review, we thought it would be helpful to use our own experiences to offer some advice to other patient partners as well as to people and organizations who are running peer review that involves patient partners. Our hope is that we can help make this a smooth and informed process for everyone who is involved.

The table below is structured for different points in the peer review process of grant applications and there is a column for what patient partners might find helpful to ask/know about the process and there is a column to help people and organizations consider what might be most helpful to share about their processes with patient partners.

Tips on involving patient partners in peer review of grant applications – questions to ask and things to consider based on the time point in the process

Note: Downloadable PDFs of the below tables are available here:

Patient Partners download here.

People/Organizations download here.

Before/preparing for the peer review meeting

Patient Partners

• Do I have the ‘right’ lived experience for this (e.g., maybe I live with one condition and I’m being asked to review a grant application about another condition)? Do I feel comfortable with this?
• Do I have the time for this role, and what is the amount of time it might take?
• How many applications am I expected to review and about how long will each application take to review?
• Is there a template to fill out as I review each application? How does scoring work?
• Do I need to read and review the entire application or just part of the application?
• Is there an orientation session – how will the process be explained to me?
• Do I have a contact for one-on-one support if I have questions while I’m reviewing?
• Will I need to use technology to submit my reviews? Who can help me if I have issues with the technology?
• Will I be part of a peer review meeting or will I just submit my reviews? If there is a meeting, is it virtual or is it in-person? If it is in person, where is it (and how will that affect me), and will my expenses be paid or pre-paid to attend?
• How long will the meeting be?
• What does the whole process look like in terms of the overall timeline from when I am assigned my reviews to the peer review meeting itself, meetings, etc.?
• How many other patient partners are reviewing and what is the size of the whole review panel?
• Can patient partners be in contact or talk to each other before the meeting to support each other? If not, can I talk to a patient partner who has done this before and who might be able to mentor me informally?
• Is there a research glossary I can use if some of the research terms are not familiar to me?
• Have I kept my reviews concise and constructive, and do my scores (if there are scores) reflect my comments?
• Is the process confidential, and do I need to sign any paperwork about this?
• Has the competition’s approach to conflict of interest been explained to me (i.e., what do I do if I know the researcher or research team on an application that has been assigned to me?)?
• Will there be food and drinks supplied (whether the meeting is virtual or not), and who can I talk to if I have dietary restrictions?
• If I need childcare, will it be paid for?

People/Organizations

• Do the patient partners you have invited to review represent a diversity of perspectives?
• Will you share expectations of patient partners (e.g. do they review the whole application or just a section?)?
• Will you host an orientation session with all patient partners so you can: review the entire process, including any templates or information about scoring; clearly explain the timeline for the process; provide an overview of any technology used; and, go over any logistics related to the meeting (e.g., how long it is, if it’s virtual or in-person, etc.); and so patient partners can ask questions and meet the chair of the peer review panel, etc.?
• If the review meeting is in person, have you arranged for pre-payment of patient partner reviewer’s expenses related to travel? Will reimbursement be timely and can someone support filling out an expense report?
• Have you taken into account all logistics related to food and drinks supplied (whether the meeting is virtual or not), and dietary restrictions? (e.g., for virtual meetings, having food delivered is appreciated if it’s possible)
• Will childcare costs be covered for patient partner peer reviewers?
• Will patient partners who are peer reviewers be able to talk to each other as they review the applications so they can support each other? Does your organization have a way that patient partner reviewers can mentor each other?
• Will you make the process as simple as possible for patient partner reviewers?
• Will you provide a key contact at your organization for patient partners to ask questions?
• Is there a research glossary for patient partners to use if some of the research terms are not familiar to them?
• Are patient partner reviewers familiar with declaring conflicts of interest if they know researchers who have applied to the competition?
• If there is any paperwork related to confidentiality of the review, is this in easy to read, understandable language that you will review and explain to patient partners?
• Will you communicate clearly about there being an honorarium or not? Will there be tax paperwork provided by your organization based on this?

At the peer review meeting

Patient Partners

• Has the approach to the meeting and how it ‘works’ been explained well to me?
• If the review meeting is virtual, do I have to be at the entire meeting with my camera on?
• Will I be asked to comment on applications that weren’t ‘assigned’ to me?
• When will I be asked to share my comments in the order of the reviewers?
• Are there breaks in the meeting, and are those enough for me? What if I need to move during the meeting (no matter the format)?
• If the meeting is virtual, what is the technology that will be used? What happens if I need help?
• How does it work if/when I have a conflict of interest with an application that is being reviewed?
• Am I allowed to change my scores in the meeting based on the conversation that takes place with other peer reviewers?

People/Organizations

• Have you explained how the meeting ‘works’ to patient partners?
• Has the meeting ‘decorum’ been explained to everyone (e.g., if people need to move/stretch between breaks, cameras being on/off during virtual meetings)
• Have you scheduled enough breaks during review for reviewers? Keep in mind that many patient partners (and all reviewers) would benefit from more frequent breaks.

After the peer review meeting

Patient Partners

• Is all of my paperwork related to the reviews submitted?
• Will I receive notes or minutes from the peer review meeting, and know which applications were funded?
• Can I provide feedback on my experience, how will this feedback be collected, and am I comfortable with this? (e.g., will it be via anonymous survey or through a meeting, etc.)?
• Will I receive feedback on my contributions so I might learn from the process?
• Will I be able to share my experiences with other patient partners who are asked to peer review for this organization?
• Would I like to peer review again for this organization, and if so, have I let my contact there know?
• If I am out of pocket for any expenses for the meeting, when can I expect to be reimbursed? When can I expect to receive my honorarium (if there is one)?

People/Organizations

• Have you been clear about notes or minutes from the peer review meeting being provided back to peer reviewers and the timeline associated with this?
• Do you have a feedback mechanism so you can learn about how the process was for patient partners (and is this appropriate in the event someone has negative feedback)? Have you made it clear how feedback will be used to improve the experience for other patient partner reviewers?
• Do you have a plan to provide feedback to patient partners on their reviews so they may learn from the experience?
• Have you checked to see if patient partners who participated in the review meeting would be interested in reviewing again? What about in mentoring other patient partners (formally or informally)?
• Have you taken care of all expenses and honoraria for patient partners related to the meeting in a timely way?

Given that more organizations are starting to involve patient partners in this process, we hope this blog is helpful to explain what peer review of grant applications is (generally), and the types of questions/items that need to be considered when fully integrating patient partners in peer review of grant applications. We believe that involving patient partners in peer review of grant applications can help lead to more relevant research being funded and done. We’ve been part of review meetings where patient partners have brought unique perspectives that other peer reviewers have not considered.

Participation des patients partenaires à l’évaluation par les pairs : conseils pour toutes les parties

Qu’est-ce que l’évaluation par les pairs?

Le processus d’évaluation par les pairs peut paraître étrange et un peu déroutant si vous ne le connaissez pas déjà ou ne travaillez pas dans le milieu universitaire. Pour faire simple, il s’agit d’un processus suivi par un organisme de financement de la recherche, comme les Instituts de recherche en santé du Canada (IRSC), un organisme de bienfaisance du domaine de la santé ou d’un autre domaine ou encore une fondation de recherche, afin d’évaluer des demandes de subvention. Bien que le détail puisse varier d’un organisme à l’autre, l’idée reste la même : les demandes de subvention sont assignées à des personnes qu’on appelle des « évaluateurs », choisies par l’organisme en fonction de leur expertise et expérience.

Chaque demande est généralement confiée à un groupe d’évaluateurs qui la lit et l’examine en tenant compte d’un ensemble de critères fondés sur les objectifs du concours en question. Les évaluateurs se réunissent ensuite en personne ou virtuellement pour présenter leurs constatations et débattre des cotes à attribuer à la demande. Les évaluateurs peuvent par la suite décider de modifier leur évaluation en fonction des discussions qui ont lieu au cours de la réunion.

*  Aperçu  de l’évaluation par les pairs des IRSC : https://cihr-irsc.gc.ca/f/39380.html

Les patients partenaires comme pairs évaluateurs

Certains organismes font désormais appel à des patients partenaires pour l’évaluation par les pairs. Ce n’est pas un hasard : l’expérience et l’expertise de ces derniers viennent compléter celles des chercheurs, des cliniciens et des autres personnes (issues par exemple d’organisations communautaires et d’organismes sans but lucratif) occupant normalement le rôle d’évaluateur.

Il n’y a pas qu’une seule façon de procéder. Certains patients partenaires ont pour tâche de lire et d’analyser une partie précise de la demande, alors que d’autres évaluent la demande au complet comme le ferait n’importe quel autre évaluateur. Les patients partenaires sont invités à puiser dans toutes leurs connaissances et leurs expériences pour effectuer leur travail, notamment en faisant part de leur vécu en tant que patient ou en critiquant la recherche proposée. Cela dit, pour bon nombre d’entre eux, il s’agit d’une façon complètement nouvelle de prendre part à la recherche.

Étant nous-mêmes passées par là, nous avons décidé de tirer parti de notre expérience pour donner quelques conseils non seulement aux patients partenaires, mais aussi aux gens et aux organismes qui font appel à leurs services. Nous espérons ainsi éclairer toutes les parties afin d’assurer le bon déroulement du processus.

Les tableaux ci-dessous sont structurés en fonction des différentes étapes du processus d’évaluation. Ils comportent une colonne indiquant ce que les patients partenaires pourraient juger utile de demander ou de savoir, ainsi qu’une colonne destinée à aider les organismes et les responsables de l’évaluation par les pairs à déterminer les renseignements à communiquer aux patients partenaires.

Conseils sur la participation de patients partenaires à l’évaluation par les pairs : questions à poser et éléments à prendre en compte à chaque étape

Les PDF téléchargeables des tableaux ci-dessous sont disponibles ici :

Patients partenaires ici.

Responsables et organismes ici.

Avant la réunion d’évaluation par les pairs

Patients partenaires

• Mon expérience est-elle pertinente (p. ex. la demande porte-t-elle sur une maladie autre que la mienne)? Suis-je à l’aise d’évaluer cette demande?
• Ai-je le temps d’occuper le rôle d’évaluateur? Combien de temps dois-je m’attendre à y consacrer?
• Combien de demandes dois-je évaluer et combien de temps dois-je consacrer à chacune d’entre elles?
• Existe-t-il un modèle d’évaluation à remplir pour chaque demande? Comment fonctionne l’attribution des cotes?
• Dois-je lire et évaluer l’ensemble de la demande ou seulement une partie?
• Y a-t-il une séance de formation? Comment le processus me sera-t-il expliqué?
• Puis-je communiquer avec une personne-ressource si j’ai des questions au cours de l’évaluation?
• Devrai-je utiliser certains outils technologiques pour soumettre mes évaluations? À qui puis-je m’adresser si je rencontre des difficultés avec ces outils?
• Dois-je participer à une réunion d’évaluation par les pairs ou seulement soumettre mes évaluations? S’il y a une réunion, aura-t-elle lieu virtuellement ou en personne? Si elle a lieu en personne, où se déroulera-t-elle (et quelles seront les conséquences pour moi)? Les frais à engager pour y assister seront-ils remboursés ou payés à l’avance?
• Quelle sera la durée de la réunion?
• Quel est le calendrier du processus dans son ensemble, depuis l’attribution des demandes à évaluer jusqu’à la réunion d’évaluation par les pairs, en passant par les autres rencontres?
• Combien d’autres patients partenaires participent à l’évaluation et combien de membres le comité d’évaluation compte-t-il en tout? Dans le cas contraire, puis-je parler à un patient partenaire qui a déjà effectué des évaluations et pourrait me conseiller de manière informelle?
• Existe-t-il un glossaire que je pourrais consulter si je rencontre certains termes que je ne connais pas?
• Mes évaluations sont-elles concises et constructives, et mes cotes (le cas échéant) concordent-elles avec mes commentaires?
• Le processus est-il confidentiel? Dois-je signer un document à ce propos?
• L’approche du concours en matière de conflits d’intérêts m’a-t-elle été expliquée (p. ex. que dois-je faire si je connais le chercheur ou l’équipe de recherche ayant soumis la demande qui m’a été confiée)?
• M’offrira-t-on quelque chose à boire et à manger (que la réunion se déroule en personne ou non)? À qui puis-je m’adresser si j’ai des restrictions alimentaires?
• Si j’ai besoin de services de garde, ces frais seront-ils remboursés?

Responsables et organismes

• Les patients partenaires que vous avez recrutés permettent-ils d’avoir des points de vue différents?
• Communiquerez-vous aux patients partenaires ce qu’on attend d’eux? Par exemple, devront-ils évaluer une demande dans sa totalité ou une partie seulement?
• Organiserez-vous une séance de formation avec tous les patients partenaires afin, entre autres, de passer en revue l’ensemble du processus (notamment les modèles et les renseignements sur la cotation), d’expliquer clairement le calendrier du processus, de donner un aperçu des outils technologiques utilisés, de régler les questions logistiques relatives à la réunion (par exemple, sa durée et sa formule [virtuelle ou en personne]) et de permettre aux patients partenaires de poser des questions et de rencontrer la présidence du comité d’évaluation?
• Si la réunion d’évaluation a lieu en personne, avez-vous pris des dispositions pour que les frais de déplacement des patients partenaires soient payés à l’avance? Les remboursements seront-ils effectués rapidement? Sera-t-il possible d’avoir de l’aide pour remplir une note de frais?
• Les aspects logistiques liés aux boissons et aux aliments fournis ainsi que les restrictions alimentaires ont-ils été pris en compte, que la réunion se déroule virtuellement ou en personne (si possible, la livraison de nourriture est appréciée lors des réunions virtuelles)?
• Les frais de garde d’enfants seront-ils remboursés?
• Pendant l’évaluation, les patients partenaires pourront-ils discuter les uns avec les autres afin de se soutenir mutuellement? Votre organisation dispose-t-elle d’un moyen permettant aux patients partenaires de se mentorer l’un l’autre?
• Allez-vous simplifier au maximum le processus pour les patients partenaires?
• Allez-vous désigner une personne-ressource au sein de votre organisation qui sera en mesure de répondre aux questions des patients partenaires?
• Existe-t-il un glossaire que les patients partenaires peuvent consulter s’ils rencontrent certains termes qu’ils ne connaissent pas?
• Les patients partenaires savent-ils comment déclarer un conflit d’intérêts s’ils connaissent les auteurs des demandes?
• S’il existe des documents relatifs à la confidentialité de l’évaluation, sont-ils rédigés dans un langage facile à lire et à comprendre et les expliquerez-vous aux patients partenaires?
• Indiquerez-vous clairement si le versement d’une rétribution est prévu? Votre organisation fournira-t-elle des documents de nature fiscale à cet égard?

Durant la réunion d’évaluation par les pairs

Patients partenaires

• La réunion et son fonctionnement m’ont-ils été bien expliqués?
• Si la réunion d’évaluation est virtuelle, faut-il que je laisse ma caméra allumée durant toute la réunion?
• Serai-je invité à commenter des demandes qui ne m’ont pas été attribuées?
• À quel moment serai-je invité à faire part de mes commentaires?
• Y aura-t-il des pauses pendant la réunion? Sont-elles suffisantes pour moi? Qu’en est-il si je dois me déplacer pendant la réunion (virtuelle ou en personne)?
• Si la réunion est virtuelle, quel sera l’outil technologique utilisé? Que se passera-t-il si j’ai besoin d’aide?
• Si je me trouve en situation de conflit d’intérêts avec une demande faisant l’objet d’une discussion, que se passera-t-il?

Responsables et organismes

• Avez-vous expliqué le fonctionnement de la réunion aux patients partenaires?
• Les règles de bienséance ont-elles été expliquées à tous les participants (p. ex. déplacements et étirements entre les pauses, activation et désactivation des caméras pendant les réunions virtuelles)?
• Avez-vous prévu suffisamment de pauses? Gardez à l’esprit que des pauses fréquentes seraient bénéfiques à de nombreux patients partenaires (ainsi qu’à tous les évaluateurs).

Après la réunion d’évaluation par les pairs

Patients partenaires

• Tous mes documents liés aux évaluations ont-ils été soumis?
• Recevrai-je les notes ou le procès-verbal de la réunion et saurai-je quels projets ont été financés?
• Puis-je formuler des commentaires sur mon expérience? Quelle sera la méthode utilisée pour ce faire (p. ex. un sondage anonyme ou une réunion)? Me convient-elle?
• Recevrai-je des commentaires sur mon travail afin que je puisse apprendre du processus?
• Pourrai-je discuter de mon expérience avec d’autres patients partenaires recrutés comme évaluateurs par cet organisme?
• Aimerais-je participer au processus d’évaluation par les pairs de cet organisme de nouveau et, si oui, l’ai-je indiqué à ma personne-ressource?

Responsables et organismes

• Avez-vous clairement indiqué que les notes ou le procès-verbal de la réunion seront remis aux évaluateurs et le moment auquel ils le seront?
• Disposez-vous d’un mécanisme de collecte des commentaires vous permettant de savoir comment le processus s’est déroulé pour les patients partenaires (et ce processus convient-il également aux commentaires négatifs)? Avez-vous expliqué clairement la façon dont les commentaires seront utilisés pour améliorer l’expérience des autres patients partenaires?
• Prévoyez-vous fournir aux patients partenaires des commentaires sur leur travail afin qu’ils puissent tirer des leçons de leur expérience?
• Avez-vous demandé aux patients partenaires qui ont participé à la réunion s’ils souhaiteraient revivre cette expérience? Seraient-ils prêts à encadrer d’autres patients partenaires (de manière officielle ou informelle)?

Étant donné que de plus en plus d’organismes font appel à l’expertise des patients partenaires, nous espérons que ce billet de blogue a réussi à expliquer grosso modo ce qu’est l’évaluation par les pairs et à montrer les types de questions à poser et les aspects dont il faut tenir compte pour bien intégrer les patients partenaires au processus d’évaluation. Ayant nous-mêmes participé à des réunions durant lesquelles des patients partenaires ont soulevé des points auxquels les autres évaluateurs n’avaient pas pensé, nous sommes convaincues que l’apport de patients partenaires se traduit par le financement et la réalisation de recherches de meilleure qualité.