LA REQUÊTE

[1]           Le ministère de la Sécurité publique (ci-après appelé le « MSP ») demande à la Commission de réviser la décision du commissaire Hardy[1] qui accueille les appels de MM. Gravel, Tarzia et Grondin. Ceux-ci contestaient leur échec à l’examen oral tenu dans le cadre de la procédure d’évaluation du concours d’avancement de classe[2] en vue de pourvoir des emplois réguliers de constable spécial à la sécurité dans les édifices gouvernementaux, classe principale, soit chef d’équipe, pour le compte du MSP.

[2]           Le commissaire Hardy conclut que l’utilisation de la grille de correction de l’examen oral constitue une irrégularité dans la procédure d’évaluation et il annule l’examen. Il ordonne au MSP de décider, dans les 30 jours de sa décision, soit d’inscrire sur la liste de déclaration d’aptitudes du concours les noms de tous les candidats qui ont réussi l’examen préalable écrit, soit de soumettre l’ensemble des candidats ayant réussi cet examen écrit à un nouvel examen oral ou à un autre moyen d’évaluation qu’il jugera approprié, et ce, dans les six mois de sa décision.

CONTEXTE ET DÉCISION CONTESTÉE

[3]           MM. Gravel, Tarzia et Grondin, tous membres du Syndicat des constables spéciaux du gouvernement du Québec (ci-après appelé le « Syndicat »), avaient fait valoir 11 moyens d’appel par le biais de leur procureur mandaté par le Syndicat pour les représenter.

[4]           Parmi les onze motifs d’appel soulevés par le Syndicat (paragraphe 5 de la décision), le commissaire retient seulement le 10^e motif qui lui permet de conclure à l’irrégularité de l’échelle de correction de l’examen oral.

[5]           Pour faciliter la compréhension de la présente décision, il apparaît utile de reproduire ici cette échelle, utilisée à chacune des six questions de l’examen oral :

CRITÈRE :        (RELATIONS INTERPERSONNELLES, RÉSOLUTION DE PROBLÈMES OU MOBILISATION)

[Texte de la mise en situation]

Note :    Pour les questions à 10 éléments de réponse, la zone modérée était accessible au candidat qui fournissait de 4 à 7 éléments et la zone élevée à celui qui en donnait de 8 à 10.

[6]           Chacune des six questions était corrigée sur 5, le total de l’examen étant sur 30. Comme le seuil de passage était établi à 60 %, la note globale de passage était de 18, sans égard au résultat obtenu pour une question particulière (paragraphe 15 de la décision).

[7]           L’application de la grille de correction se faisait en deux temps par les évaluateurs qui administraient l’examen oral, appelé également entrevue structurée.

[8]           Premièrement, ils procédaient à l’évaluation quantitative des éléments de réponse fournis par les candidats. Cette évaluation quantitative leur permettait de situer le candidat dans l’une des trois zones de performance : faible, modérée ou élevée.

[9]           Ensuite, une fois la zone de performance établie, les évaluateurs effectuaient l’évaluation qualitative de la réponse en déterminant si les éléments abordés étaient complets et permettaient d’accomplir le travail attendu. La note 3 était pour eux la note de passage. Elle était accordée si le candidat avait fait le travail minimalement, sans être excellent (paragraphes 13 et 14 de la décision). À l’occasion de cette évaluation qualitative, les évaluateurs ayant témoigné pour le MSP ont dit prendre également en considération la présence ou non, dans la réponse des candidats, d’éléments de réponse qu’ils qualifient de majeurs ou de primordiaux (paragraphes 32, 37, 45 et 46 de la décision).

[10]        L’analyse du commissaire Hardy de l’utilisation de l’échelle de correction de l’examen lui permet de conclure à une irrégularité de la procédure d’évaluation en raison essentiellement de deux motifs reliés à l’évaluation qualitative.

[11]        Le premier s’appuie sur une démonstration faite par le procureur des appelants qui fait ressortir des différences dans les résultats obtenus par les trois appelants, et ce, bien que chacun ait fourni le même nombre d’éléments de réponse attendus qualifiés d’importants. Pour le commissaire Hardy, cette démonstration fait ressortir une faiblesse au niveau de l’évaluation qualitative s’insérant dans le cadre d’une entrevue que l’on voulait structurée (paragraphe 151 de la décision).

[12]        Le second motif d’irrégularité provient d’un vice de construction de l’échelle de correction identifié par le commissaire Hardy (paragraphes 152 à 160 de la décision).

DEMANDE DE RÉVISION

[13]        La requête en révision du MSP soulève cinq motifs qu’il intitule ainsi :

1º         par l’imprécision de ses décisions relatives à l’objection de l’intimé (MSP) quant à l’ajout d’un motif d’appel en cours d’audience, la Commission a privé celui-ci de la possibilité de se faire entendre correctement sur ce sujet;

2º         la Commission, en s’appuyant, pour rendre sa décision, sur un ouvrage spécialisé, à caractère scientifique, et sans obtenir l’avis d’un spécialiste du domaine lors de l’audience, n’a pas permis à l’intimé de se faire entendre correctement;

3º         la Commission a commis une erreur manifeste de fait et de droit lorsqu’elle considère et interprète des données fournies lors de l’argumentation par le procureur des appelants;

4º         la Commission a commis une erreur manifeste de fait en concluant que la grille de correction présente un vice de construction;

5º         la Commission a commis une erreur manifeste de fait en rejetant la grille de correction, en contradiction avec son appréciation positive du comité d’évaluation.

[14]        La Commission en révision résume l’argumentation exposée par les parties au regard de chacun de ces cinq motifs dans les sections respectives où elle procède à leur analyse. Auparavant, la Commission en révision résume les critères d’intervention en matière de révision interne.

CRITÈRES D’INTERVENTION EN RÉVISION

[15]        Le recours en révision du MSP est en application de l’article 123 de la Loi sur la fonction publique[3] (ci-après appelée la « Loi ») qui se lit comme suit :

« 123. Une décision de la Commission doit être rendue par écrit et motivée. Elle fait partie des archives de la Commission.

La Commission peut, pour cause, réviser ou révoquer une décision qu'elle a rendue. »

[16]        Cette disposition ne précise pas les cas qui donnent ouverture à ce recours. Toutefois, la Commission s’est déjà prononcée[4] sur ces causes qui sont les mêmes que celles où le législateur a apporté des précisions à cet égard, pour ce même type de recours[5]. Ces causes sont les suivantes :

1.    s’il est découvert un fait nouveau qui, s’il avait été connu en temps utile, aurait pu justifier une décision différente;

2.    lorsqu’une partie n’a pu, pour des raisons jugées suffisantes, se faire entendre;

3.    lorsqu’un vice de fond ou de procédure est de nature à invalider la décision.

[17]        Les deux premiers motifs de révision soulevés par le MSP relèvent de la deuxième cause qui donne ouverture à ce recours. Les trois autres motifs concernent le vice de fond ou de procédure qui est de nature à invalider la décision.

[18]        Au sujet du vice de fond ou de procédure de nature à invalider la décision, les tribunaux supérieurs se sont penchés à plusieurs reprises sur les paramètres visant à circonscrire ce motif. Ainsi, ils ont clairement établi que le pouvoir du tribunal à cet égard n’équivaut pas à un droit d’appel et qu’il ne saurait être une invitation à substituer son opinion et son appréciation de la preuve à celle du premier décideur ou encore une occasion pour une partie d’ajouter de nouveaux arguments[6].

[19]        L’intervention d’un tribunal en révision est subordonnée à la démonstration d’une erreur grave, manifeste et déterminante dans la première décision[7]. Plus récemment, la Cour supérieure[8] rappelait que l’exigence de prudence et de déférence liée aux critères d’intervention en matière de révision interne visant un vice de fond est toujours celle indiquée par la Cour d’appel[9]. Ainsi, pour réviser une décision contestée, il doit s’agir d’un vice de fond qui rend la décision non seulement mal fondée, mais illégale et invalide.

[20]        C’est en appliquant ces critères que la Commission en révision analyse les motifs soulevés par le MSP.

1.            Imprécision d’une décision relative à une objection du MSP au sujet de l’ajout d’un motif d’appel en cours d’audience

[21]        Avant d’aborder l’argumentation des parties sur ce sujet, la Commission en révision croit utile de faire un bref rappel des événements entourant la formulation de l’objection par le MSP afin de bien comprendre les motifs à l’appui des argumentations.

[22]        Au début du deuxième jour des huit journées d’audience qui se sont échelonnées sur une période de quatre mois, la procureure du MSP s’est objectée à une question au cours du contre-interrogatoire de son premier témoin. Cette objection était basée sur le fait que la question portait sur la construction de l’examen qui ne faisait pas partie des 11 motifs d’appel des appelants. Le procureur des appelants a alors indiqué que son 10^e motif d’appel était suffisamment large pour couvrir l’aspect abordé par sa question.

[23]        Le commissaire Hardy a alors indiqué qu’à première vue le 10^e motif d’appel était suffisamment large. Toutefois, il a pris l’objection sous réserve en indiquant que si le MSP ne revenait pas sur celle-ci lors de son argumentation, la Commission comprendrait qu’il ne la maintenait pas. La procureure du MSP a alors répondu que si son objection n’était pas accueillie, elle devrait alors faire une preuve additionnelle par le biais du témoignage de M. Cournoyer, le concepteur de l’examen, qu’elle n’avait pas prévu faire entendre, comme il appert des enregistrements de l’audience.

[24]        Deux jours plus tard[10], alors que l’audience ne peut procéder en raison de l’absence du procureur des appelants, la procureure du MSP annonce spontanément qu’elle fera entendre M. Cournoyer dans le cadre de la poursuite de sa preuve. Ce dernier a effectivement témoigné sur plusieurs aspects concernant l’examen, notamment sa construction.

[25]        La procureure du MSP est revenue sur son objection au cours de son argumentation et celle-ci est tranchée par le commissaire Hardy qui la rejette en considérant que le 10^e motif d’appel est suffisamment large pour inclure la construction de l’examen (paragraphe 87 de la décision).

1.1.        Argumentation du MSP

[26]        Le MSP soulève que la gestion imprécise des objections par le commissaire Hardy l’a empêché de présenter une preuve sur l’ensemble des motifs d’appel que la Commission était prête à recevoir. Il indique que cette situation a été de nature à l’induire en erreur quant à sa preuve.

[27]        Le MSP souligne par ailleurs que le procureur des appelants a reçu avant l’audience un dossier complet des documents visés par cette affaire, même ceux sous ordonnance de confidentialité. Il est d’avis que permettre l’ajout de nouveaux motifs d’appel a pour effet de réduire à néant l’utilité des séances d’échanges et d’information qui se tiennent avant la tenue de l’audience pour permettre aux appelants de préciser leurs motifs d’appel.

1.2.        Argumentation de MM. Gravel, Tarzia et Grondin

[28]        Ils sont d’avis que le MSP a eu tout le loisir de faire valoir son opinion et son point de vue sur le motif d’appel concernant la construction de l’examen. La procureure du MSP a décidé en cours d’instance de faire témoigner M. Cournoyer, conseiller expert en mesure et évaluation et concepteur de l’examen. Il a eu toute l’opportunité de répondre aux questions et d’expliquer l’instrument lui-même et la valeur de celui-ci. C’est dans ce but précis qu’il a témoigné.

1.3.        Analyse

[29]        Ce motif de révision relève du cas d’ouverture à la révision interne lorsqu’une partie n’a pu, pour des raisons jugées suffisantes, se faire entendre.

[30]        Il ressort des enregistrements de l’audience qu’au cours des discussions entourant l’objection formulée par la procureure du MSP, cette dernière a elle-même indiqué qu’elle devrait faire une preuve par le témoignage de M. Cournoyer au sujet de la construction de l’examen, si son objection n’était pas retenue. Le commissaire Hardy a alors répondu que cette preuve pourrait être administrée, le cas échéant.

[31]        Deux jours plus tard, sans faire mention de son objection, la procureure du MSP a informé le commissaire Hardy de sa décision de faire témoigner M. Cournoyer. Au cours de son témoignage d’une durée d’une demi-journée, M. Cournoyer a eu l’occasion de fournir des explications concernant la construction de l’examen et l’utilisation de la grille de correction.

[32]        La Commission en révision ne voit pas comment dans ces circonstances le MSP peut soutenir qu’il a été empêché de présenter une preuve sur la construction de l’examen. La teneur du témoignage de M. Cournoyer porte effectivement sur cet aspect. Une gestion plus précise de l’objection formulée par la procureure du MSP aurait peut-être été préférable, mais elle n’a pas eu pour effet d’empêcher le MSP de présenter sa preuve.

[33]        Par ailleurs, le MSP soutient que la tenue des séances d’échanges et d’information préalablement à l’audience serait réduite à néant par l’ajout de nouveaux motifs d’appel. À cet égard, le Règlement sur les appels à la Commission de la fonction publique[11] prévoit spécifiquement que la Commission peut autoriser l’ajout d’un motif d’appel à ceux qui ont été précisés à la suite d’une séance d’échanges et d’information[12]. Cet ajout doit bien sûr se faire de façon à permettre à la partie intimée de faire valoir son argumentation. Ainsi, la présence des séances d’échanges et d’information ne constitue pas a priori un empêchement à l’ajout de nouveaux motifs d’appel, lorsque la Commission le juge approprié, dans le respect des règles de justice naturelle.

[34]        En ce qui a trait à la communication des documents au procureur des appelants avant l’audience, la Commission en révision rappelle, comme elle l’a déjà exprimé que la preuve documentaire ne compte que pour une infime partie de la preuve[13]. Toute la preuve relativement à la procédure d’évaluation, plus particulièrement en l’espèce l’utilisation de l’échelle de correction, était entre les mains du MSP. Obliger les appelants à alléguer très précisément leurs motifs d’appel avant l’enquête équivaudrait pour plusieurs à annihiler tout simplement leur droit de faire sanctionner par la Commission le principe de la sélection au mérite prévu à la Loi[14].

[35]        En résumé, la Commission en révision ne retient pas ce motif puisque le MSP a eu l’occasion par le biais du témoignage de M. Cournoyer de présenter sa preuve au regard de la construction de l’examen. Ainsi, les inconvénients soulevés à l’égard de la gestion de l’objection qu’il qualifie d’imprécise ne se sont pas concrétisés.

2.            Référence à un ouvrage spécialisé, à caractère scientifique, sans obtenir l’avis d’un spécialiste du domaine lors de l’audience

2.1         Argumentation du MSP

[36]        Bien que le commissaire ait annoncé aux parties au début de la troisième journée d’audience qu’il pourrait référer dans sa décision à un ouvrage intitulé L’entrevue structurée - Pour améliorer la sélection du personnel[15], le MSP considère que cette simple annonce ne suffisait pas pour lui permettre de connaître et de commenter les sections de ce livre retenues par le commissaire Hardy et les déductions qu’il pourrait en tirer.

[37]        Le MSP procède de plus à répertorier les quatre endroits dans la décision du commissaire Hardy où il réfère à des passages de ce livre.

[38]        Enfin, le MSP réfère à des décisions des tribunaux supérieurs[16] qui ont examiné la règle généralement reconnue voulant qu’un tribunal doit fonder sa décision sur la preuve produite par les parties et celle qu’il peut admettre d’office.

[39]        Il conclut que la Commission peut prendre connaissance d’office des faits généralement reconnus et des renseignements qui relève de sa spécialisation ou de son domaine de compétence. Il n’en demeure pas moins que le commissaire aurait dû, avant de référer à un ouvrage spécialisé pour orienter sa décision, obtenir l’éclairage et l’interprétation d’un expert du domaine et également permettre aux parties de commenter ou de contredire la substance.

2.2         Argumentation de MM. Gravel, Tarzia et Grondin

[40]        Selon MM. Gravel, Tarzia et Grondin, M. Cournoyer, conseiller expert en mesure et évaluation, connaissait très bien l’ouvrage de référence cité par le commissaire Hardy et des questions lui ont même été posées par la Commission lors de l’audience au regard de cet ouvrage.

[41]        Le MSP a eu l’occasion de faire toute la preuve qu’il jugeait appropriée concernant le moyen d’évaluation.

2.3         Analyse

[42]        Ce second motif de révision soulève l’application d’une règle de justice naturelle selon laquelle un tribunal ne peut retenir dans sa décision un élément de preuve que si les parties ont été à même d’en commenter ou d’en contredire la substance.

[43]        Pour l’examen de ce motif de révision, il convient d’examiner les quatre références faites par le commissaire Hardy à l’ouvrage spécialisé sur les entrevues structurées.

[44]        À la première de ces références (paragraphe 66 de la décision), c’est M. Cournoyer lui-même, en réponse à une question de la Commission, qui réfère à une page particulière de cet ouvrage où se trouve un exemple de grille à cinq gradations qu’il considère semblable à celle de l’examen.

[45]        Pour la seconde référence (paragraphe 121 de la décision), le commissaire Hardy cite cet ouvrage lorsqu’il traite des premier et deuxième motifs d’appel de MM. Gravel, Tarzia et Grondin, qu’il ne retient pas. Rappelons que dans ces motifs d’appel, les appelants tentaient de faire une distinction entre un examen oral et une entrevue structurée. La référence à cet ouvrage est pour indiquer qu’il est généralement reconnu qu’une entrevue très structurée ressemble davantage à un examen oral. Le commissaire ajoute également qu’au sens commun la notion d’examen oral peut inclure une diversité d’entrevues plus ou moins structurées. Ainsi, cette référence est totalement étrangère aux motifs qui amènent le commissaire Hardy à conclure à l’irrégularité de l’échelle de correction.

[46]        La troisième référence (paragraphe 142 de la décision) est faite pour expliquer la nature de l’examen oral qui constituait un mode d’évaluation par questions qui utilise une échelle à ancrages comportementaux. Le commissaire complète cette référence en y ajoutant celle que le témoin Cournoyer a lui-même effectuée à cet ouvrage (paragraphe 143 de la décision). Il s’agit d’une référence somme toute très neutre, sans incidence sur les conclusions tirées par le commissaire Hardy sur l’échelle de correction.

[47]        Enfin, la quatrième référence (paragraphe 171 de la décision) est effectuée à l’occasion des observations du commissaire sur l’obligation d’écoute et d’assistance dans le cadre d’un examen oral. Comme le commissaire l’indique lui-même, il traite de cet aspect, sans en faire un motif additionnel à la décision qu’[il] vient d’annoncer, [et il] tient à faire part de son opinion à cet égard dans la mesure que les deux parties ont soumis une argumentation développée sur cet aspect (paragraphe 166 de la décision).

[48]        Ainsi, l’examen des références démontre que celles-ci ne sont nullement rattachées aux deux motifs qui amènent le commissaire Hardy à conclure que l’échelle de correction de l’examen oral constitue une irrégularité dans la procédure d’évaluation. Contrairement aux prétentions du MSP, ces références ne servent pas à orienter sa décision. D’une part, elles ne supportent pas son appréciation de la faiblesse de l’évaluation qualitative qui provient de la preuve au regard des éléments de réponse qualifiés d’importants. D’autre part, le commissaire Hardy identifie un vice de construction de l’échelle de correction de l’examen en considérant uniquement l’échelle elle-même, qui est particulière à l’examen oral, sans s’appuyer sur un passage de cet ouvrage spécialisé.

[49]        Dans les décisions citées par le MSP pour appuyer ce motif de révision, la Commission en révision constate que, dans chacune d’entre elles, les références servaient de fondement aux motifs de la décision ou d’un étalon de mesure pour appuyer une conclusion. Ainsi, il n’est pas permis de faire avec ces décisions une quelconque analogie avec celle du commissaire Hardy.

[50]        En conséquence, ce motif de révision n’est pas retenu.

3.            ERREUR MANIFESTE DE FAIT ET DE DROIT LORSQUE LA COMMISSION CONSIDÈRE ET INTERPRÈTE DES DONNÉES FOURNIES LORS DE L'ARGUMENTATION PAR LE PROCUREUR DES APPELANTS

3.1         Argumentation du MSP

[51]        Le MSP reproche au commissaire Hardy d’avoir adhéré à la démonstration faite par le procureur des appelants à partir du décompte en pourcentage des éléments de réponse primordiaux obtenus dans chacune de leur réponse par rapport aux notes accordées (paragraphes 99, 100 et 151 de la décision). Ce raisonnement ferait abstraction des caractéristiques mêmes de l’évaluation qualitative, en imposant de revenir à un calcul d’un nombre d’éléments de réponse fournis, sans considération de la qualité de ces réponses, tant sur le plan de la cohérence que sur celui de leur caractère complet et adéquat. La conclusion que tire le commissaire Hardy de cette démonstration est ainsi déraisonnable et étrangère à la qualité même de l’évaluation.

[52]        Au regard de cette démonstration, le MSP réitère en outre son argumentation soumise en réplique lors de l’audience. D’une part, il ne faut pas comparer les questions les unes par rapport aux autres, puisqu’elles n’évaluent pas les mêmes compétences, ne traitent pas des mêmes sujets et ne contiennent pas les mêmes éléments de réponse. D’autre part, les résultats présentés ne sont pas incohérents si l’on compare, par exemple, les pourcentages d’éléments fournis et la gradation des résultats (questions 1, 3, 5 et 6) et si l’on se rappelle que l’évaluation porte non seulement sur le nombre d’éléments fournis mais aussi sur la qualité des réponses (questions 2 et 4).

[53]        Par ailleurs, le MSP allègue que les données présentées par le procureur des appelants, qu’au moment de son argumentation, n’ont pu être soumises à un expert en mesure et évaluation et qu’elles n’ont pas fait l’objet de commentaires d’un tel expert lors de l’administration de la preuve. Le MSP aurait pu aussi faire de tels calculs et présenter lui-même le témoignage d’un expert sur le sujet.

[54]        Enfin, le commissaire Hardy ne pouvait déduire des réponses de M. Cournoyer que l’échelle à l’étude était unique en son genre et que, comme telle, c’était la première fois qu’elle était utilisée (paragraphe 160 de la décision). Il faut plutôt comprendre qu’il s’agit d’une variante de grilles d’évaluation du même genre, même assez similaires (paragraphe 62 de la décision). Les modifications apportées l’ont été pour introduire des indicateurs afin de faciliter le travail des évaluateurs (paragraphes 65 et 68 de la décision).

3.2         Argumentation de MM. Gravel, Tarzia et Grondin

[55]        MM. Gravel, Tarzia et Grondin soutiennent que le commissaire Hardy n’a pas conclu d’une manière déraisonnable, irrationnelle ou absurde en considérant et interprétant les données fournies lors de leur argumentation puisqu’elles sont tirées des faits révélés par la preuve testimoniale.

[56]        La présence d’éléments de réponse primordiaux a été introduite par les évaluateurs eux-mêmes afin de justifier la valeur qualitative des réponses qu’ils avaient fournies.

[57]        MM. Gravel, Tarzia et Grondin sont également d’avis que les éléments concrets suivants révélés par la preuve laissent croire à la faiblesse du moyen d’évaluation : les éléments primordiaux diffèrent quelque peu entre les évaluateurs alors que selon M. Cournoyer, l’expert ayant conçu l’échelle de correction, il ne devrait y en avoir aucun.

[58]        Les données présentées en argumentation ne sont que le reflet de leurs réponses lors de l’examen oral. Elles n’avaient nullement besoin d’être présentées par un expert et elles pouvaient être colligées par quiconque.

[59]        MM. Gravel, Tarzia et Grondin concluent que ces données ne dénaturent pas l’instrument d’évaluation, qu’elles sont le reflet concret de son application et qu’elles démontrent l’irrégularité du moyen d’évaluation.

3.3         Analyse

[60]        Le MSP considère que le commissaire Hardy a commis une erreur manifeste de fait et de droit en prenant en considération les données compilées par MM. Gravel, Tarzia et Grondin qui à son avis ont pour effet de dénaturer l’examen oral. Le commissaire ferait ainsi abstraction de la seconde étape de l’évaluation des réponses fournies par les candidats, qui se veut qualitative, pour la réduire à la première étape seulement, qui constitue une évaluation quantitative.

[61]        Bien que le MSP intitule ce motif de révision comme une question de fait et de droit, la Commission en révision est d’avis qu’il s’agit d’abord et avant tout d’une question de fait.

[62]        Il est vrai qu’à première vue les données compilées par MM. Gravel, Tarzia et Grondin constituent un exercice mathématique au regard de la quantité d’éléments de réponse qualifiés d’importants ou de primordiaux. Or, une telle qualification des éléments de réponse n’est pas présente dans l’énumération des éléments de réponse attendus pour chacune des questions. De plus, le concepteur de l’examen a témoigné que la grille de correction n’était pas conçue en fonction de l’importance ou non de certains éléments de réponse.

[63]        Cependant, cet aspect du caractère primordial ou important de certains éléments de réponse est ressorti à l’occasion des témoignages des évaluateurs pour expliquer en partie leur cheminement lorsqu’il procédait à l’évaluation qualitative des réponses des candidats. D’ailleurs, ils ont tous avec grand naturel, comme le note le commissaire Hardy, identifié ces éléments compte tenu de leur[s] connaissances et leurs expériences du milieu dans lequel les mises en situation étaient campées (paragraphe 147 de la décision). En outre, à l’instar de l’argument soulevé par MM. Gravel, Tarzia et Grondin, la Commission en révision est d’avis que la compilation qu’ils ont présentée de ces éléments lors de leur argumentation provient de la preuve administrée.

[64]        Ainsi, dans son appréciation de la preuve administrée, le commissaire Hardy considère qu’il doit tenir compte de cet aspect qui, à son point de vue, fait ressortir une faiblesse au niveau de l’évaluation qualitative s’insérant dans le cadre d’une entrevue que l’on voulait structurée (paragraphe 151 de la décision).

[65]        En conséquence, cette conclusion du commissaire Hardy est supportée par la présence d’éléments de réponse qualifiés d’importants ou de primordiaux qui est apparue à l’occasion de l’administration de la preuve. Bien que ce concept ne fasse pas partie de la grille de correction, ce sont les évaluateurs qui l’ont eux-mêmes introduit.

[66]        Ainsi, la Commission en révision ne peut considérer que le commissaire Hardy ait commis une erreur en retenant cet aspect dans son analyse. Il lui a peut-être accordé une importance qui ne se justifierait pas, en théorie, si on isole la grille de correction des témoignages des évaluateurs qui l’ont appliquée, comme l’invite à le faire le MSP avec ce motif de révision. Mais, la preuve doit être appréciée globalement.

[67]        Au sujet de l’argument soulevé par le MSP quant à l’interprétation erronée du commissaire Hardy des réponses de M. Cournoyer sur les modifications apportées à l’échelle de correction et sur l’introduction d’innovations, c’est au regard de la validation de l’échelle de correction par des tests appropriés que le commissaire Hardy formule des commentaires à cet égard (paragraphe 160 de la décision). Or, l’écoute des enregistrements du témoignage de M. Cournoyer démontre, comme le constate le commissaire Hardy, qu’avec ses réponses, ce témoin évite les questions traitant de la réalisation de tests sur l’échelle de correction.

[68]        En conclusion, le commissaire Hardy n’a pas fait une appréciation manifestement erronée de la preuve lorsqu’il conclut à une faiblesse de l’évaluation qualitative en tenant compte de la présence d’éléments de réponse primordiaux ou importants. De plus, il n’appartient pas à la Commission en révision de substituer son appréciation de la preuve à celle du commissaire Hardy.

4.            LA COMMISSION A COMMIS UNE ERREUR MANIFESTE DE FAIT EN CONCLUANT QUE LA GRILLE DE CORRECTION PRÉSENTE UN VICE DE CONSTRUCTION

4.1         Argumentation du MSP

[69]        Le MSP reproche au commissaire Hardy de se laisser distraire par les chevauchements apparents entre les trois zones de performance de la grille de correction.

[70]        La preuve administrée ne le justifiait pas de refaire l’échelle de correction avec neuf échelons (paragraphe 154 de la décision) en s’appuyant uniquement sur une définition d’un dictionnaire voulant qu’une « échelle » constitue une « suite continue ou progressive ». Une seule définition d’un dictionnaire n’est pas suffisante pour invalider un instrument d’évaluation.

[71]        Contrairement à l’opinion exprimée par le commissaire Hardy, la cote 3, qui se trouvait dans chacune des zones de performance, correspond toujours à un même degré de performance (modéré) et les évaluateurs utilisent un même repère pour se prononcer. Quant au reste, les variations laissent place à l’appréciation par les évaluateurs de la qualité des réponses, ce qui était justement la responsabilité qu’ils assumaient dans le concours.

4.2         Argumentation de MM. Gravel, Tarzia et Grondin

[72]        Les commentaires de MM. Gravel, Tarzia et Grondin sont regroupés avec ceux qu’ils ont exposés au regard du précédent motif. Ils sont résumés à la section 3.2 de la présente décision.

4.3         Analyse

[73]        Il est vrai que le commissaire Hardy procède à une reconstruction de l’échelle de correction en la composant de neuf échelons, alors que celle réellement utilisée dans l’examen comporte seulement cinq échelons. De plus, le MSP a raison d’affirmer que, selon la preuve administrée, la cote 3, correspondant au seuil de passage, possède toujours la même valeur peu importe qu’elle se trouve dans l’une ou l’autre des trois zones de performance. Il en est de même pour les cotes 2 (faible) et 4 (très bien) que l’on trouve respectivement dans deux zones de performance.

[74]        Cela étant dit, la Commission en révision considère que l’approche développée par le commissaire Hardy résulte fondamentalement des chevauchements de cotes pouvant être attribuées dans les trois zones de performance. Le MSP tente bien de minimiser l’impact de ces chevauchements en insistant sur le volet qualitatif de l’évaluation. Il n’en demeure pas moins que ces chevauchements demeurent présents et que l’échelle de correction permet d’attribuer la cote 3 peu importe la zone de performance.

[75]        Le commissaire Hardy ne peut se résoudre à considérer qu’une échelle de mesure de la qualité des réponses des candidats, dans le cadre d’une entrevue structurée, puisse contenir un point d’ancrage invraisemblable, selon l’expression même utilisée par le concepteur de l’examen (paragraphes 60 et 159 de la décision), alors qu’un évaluateur témoigne qu’il est possible de l’attribuer.

[76]        La conclusion du commissaire Hardy sur le vice de construction de l’échelle de correction repose sur son appréciation de la preuve administrée, sans s’appuyer sur des hypothèses ou de fausses prémisses. Le MSP n’a pas démontré que le commissaire Hardy commet une erreur grave, évidente et déterminante. Il invite de la sorte la Commission en révision à procéder à une autre appréciation de la preuve qu’il voudrait voir différente. En conséquence, ce quatrième motif ne peut pas être retenu.

5.            LA COMMISSION A COMMIS UNE ERREUR MANIFESTE DE FAIT EN REJETANT LA GRILLE DE CORRECTION, EN CONTRADICTION AVEC SON APPRÉCIATION POSITIVE DU TRAVAIL DES ÉVALUATEURS

5.1         Le MSP

[77]        Selon le MSP, la décision du commissaire Hardy comporterait une contradiction en concluant à un vice de construction de l’échelle de correction utilisée par les évaluateurs, tout en indiquant qu’il n’a pas été démontré que leur interprétation des réponses fournies par les appelants présente un caractère subjectif et non impartial (paragraphe 128 de la décision). Le commissaire Hardy note même une très grande cohérence dans les notes prises par les évaluateurs des réponses formulées (paragraphe 125 de la décision). Au cours de leur témoignage, les évaluateurs ont donné des explications pour justifier les cotes qualitatives qu’ils ont attribuées, en indiquant le caractère incomplet ou inadéquat des réponses fournies.

[78]        En conséquence, considérant la qualité reconnue de leur travail et l’évidence qu’ils ont pu travailler correctement avec l’échelle de correction, le commissaire Hardy ne pouvait conclure que cette échelle constitue une irrégularité, sans créer une contradiction dans sa décision.

5.2         Argumentation de MM. Gravel, Tarzia et Grondin

[79]        À leur avis, l’appréciation du travail effectué par les évaluateurs constitue un aspect distinct de l’irrégularité de l’échelle de correction constatée par le commissaire Hardy et qu’il explique très bien.

[80]        Pour MM. Gravel, Tarzia et Grondin, l’utilisation qui peut être faite des réponses obtenues avec l’échelle de correction n’est pas contradictoire avec le travail réalisé par les évaluateurs dans l’appréciation des éléments de réponse.

5.3         Analyse

[81]        Il est vrai que le commissaire Hardy considère que les évaluateurs ont correctement apprécié les éléments de réponse fournis par MM. Gravel, Tarzia et Grondin. Il s’exprime ainsi sur cette question :

« [128]  Quant au caractère subjectif et non impartial de l'interprétation des réponses, il n'a pas été démontré. Les évaluateurs ont exprimé souvent l'idée que les éléments de réponse contestés n'avaient pas été accordés parce que, dans l'ensemble, la réponse n'était pas assez complète. Souvent cela s'est exprimé par des mots comme : "On ne sentait pas qu'il contrôlait bien la situation." "Il ne faisait qu'effleurer le sujet." Ces commentaires expliquaient l'appréciation qui s'était dégagée pour eux des éléments de réponse fournis et constituaient leur interprétation, avec laquelle les appelants peuvent ne pas être d'accord, mais qui n'est pas apparue partiale à la Commission. Les moyens 4, 5 et 6 sont rejetés. »

[82]        De plus, l’interprétation par les évaluateurs des réponses fournies s’est matérialisée par l’attribution d’une cote en utilisant l’échelle de correction. Cette interprétation n’est pas apparue partiale au commissaire Hardy.

[83]        Ainsi, d’un côté, le commissaire Hardy décide que les évaluateurs ont correctement effectué leur travail d’appréciation des réponses en utilisant l’échelle de correction de l’examen, alors que, d’un autre côté, il statue que l’utilisation de cette échelle de correction constitue une irrégularité. Le MSP voit dans cela une contradiction.

[84]        Ce motif de révision soulève la question suivante : le commissaire Hardy pouvait-il décider que l’utilisation de l’échelle de correction constitue une irrégularité, malgré le travail impartial des évaluateurs réalisé avec cette échelle ? La question pourrait également être formulée de cette manière : l’irrégularité de l’échelle de correction constatée par le commissaire Hardy empêchait-elle nécessairement les évaluateurs d’effectuer correctement leur travail ?

[85]        La Commission en révision ne croit pas que l’irrégularité de l’échelle de correction décidée par le commissaire Hardy devait absolument empêcher les évaluateurs d’effectuer correctement leur appréciation des réponses des appelants. Il ne faut pas perdre de vue, comme la Commission en révision l’a exprimé précédemment, que ce sont les chevauchements de cotes entre les trois zones de performance qui ont conduit principalement le commissaire Hardy à conclure à l’irrégularité de l’échelle de correction.

[86]        La preuve administrée n’a pas fait ressortir que ces chevauchements avaient eu une incidence dans l’appréciation des réponses de MM. Gravel, Tarzia et Grondin. Bien que les dangers créés par ces chevauchements ne se soient pas concrétisés avec eux, ils ne sont pas pour autant éliminés.

[87]        Il faut garder à l’esprit que la compétence exercée par la Commission, en application de l’article 35 de la Loi, porte sur la procédure utilisée pour l’évaluation des candidats à un concours. Elle peut être entachée d’une irrégularité sans qu’il soit nécessaire que la Commission constate que la procédure ait effectivement eu un impact négatif sur un appelant.

[88]        Ainsi, la Commission en révision ne considère pas que la décision du commissaire Hardy comporte une contradiction puisque les évaluateurs pouvaient correctement évaluer MM. Gravel, Tarzia et Grondin, malgré l’irrégularité de l’échelle de correction constatée par le commissaire. En conséquence, ce motif de révision n’est pas retenu.

[89]        POUR CES MOTIFS, la Commission en révision rejette la requête en révision du ministère de la Sécurité publique.

                                                                                Original signé par :