Bergeron et Québec (Ministère de l'Emploi et de la Solidarité sociale)				2013 QCCFP 12
COMMISSION DE LA FONCTION PUBLIQUE
CANADA
PROVINCE DE QUÉBEC
DOSSIER No :		1301034
DATE :	12 juillet 2013
___________________________________________________________
DEVANT LE COMMISSAIRE :			Me Robert Hardy
___________________________________________________________
JEAN-PAUL BERGERON
Appelant
Et
MINISTÈRE DE L’EMPLOI ET DE LA SOLIDARITÉ SOCIALE
Intimé
___________________________________________________________
DÉCISION
(Article 35, Loi sur la fonction publique, L.R.Q., c. F-3.1.1)
___________________________________________________________

L'APPEL

[1]           M. Jean-Paul Bergeron a participé, le 12 mai 2012, à un concours de promotion[1] tenu pour pourvoir des emplois réguliers de cadre, classe 5, au ministère de l’Emploi et de la Solidarité sociale (ci-après le « MESS »).

[2]           Le 6 juillet suivant, lui était adressée une lettre lui annonçant que sa candidature ne pouvait être retenue parce qu’il avait obtenu un résultat global, aux deux examens de la procédure d’évaluation, inférieur au minimum requis. Cette procédure comportait un premier moyen d’évaluation, visant à vérifier les habiletés fonctionnelles de gestion, qui n’est pas remis en cause. Le second était un test de jugement situationnel et c’est ce moyen que M. Bergeron conteste à plus d’un chef.

[3]           À son appel, est joint un document de cinq pages qui expose ses griefs, reproches qu’il a résumés en seize points après avoir eu l’occasion de participer, le 14 février 2013, à une séance d’échanges et d’information[2] préalable à l’audience.

[4]           Aux fins de situer de façon préliminaire le litige, la Commission retient que M. Bergeron considère que :

-       La procédure d’évaluation serait entachée d’une illégalité, car elle serait en contravention avec l’article 49 de la Loi sur la fonction publique (ci-après appelée la « Loi ») qui prévoit qu’une telle procédure doit permettre de constater impartialement la valeur des candidats;

-       Le manque de rigueur intellectuelle dans l’élaboration et la validation du test de jugement situationnel constituerait une irrégularité; par rapport aux questions et réponses attendues, il y aurait eu négligence, ce qui pourrait être constaté au regard de certaines réponses attendues qui seraient déraisonnables, arbitraires et abusives;

-       Le même manque de rigueur se constaterait dans les exemples présentés dans un document diffusé pour permettre aux candidats de se préparer au genre d’examen utilisé;

-       Ces irrégularités auraient eu pour effet de biaiser la perception de certains candidats et d’influencer leur façon de répondre aux questions;

-       L’absence de transparence sur le mode d’attribution des points et une erreur dans une première convocation auraient également accentué l’impact négatif des autres défauts constatés.

LES FAITS

[5]           La Commission a entendu en premier lieu une longue preuve du MESS sur la façon dont le test de jugement situationnel avait été élaboré. Elle a été présentée par M. Antoine Devinat psychologue et directeur principal de l’équipe de mesure et évaluation, pour la firme CFC Dolmen, pour qui il travaille depuis 12 ans et qui est spécialisée notamment dans le développement et l’utilisation d’outils de mesure dans le cadre de processus d’évaluation de compétences. Détenteur d’un baccalauréat en psychologie et d’une maîtrise en psychologie du travail et des organisations de l’Université de Montréal, il est également chargé de cours à la même institution et présente une série d’expériences qui l’ont amené entre autres à ce jour à évaluer plus de 2 500 professionnels et gestionnaires. Présentement, il s’adonne principalement à de la gestion de projets.

Développement du test de jugement situationnel

[6]           M. Devinat a été le premier à développer chez CFC Dolmen, il y a maintenant plus de dix ans, un test de jugement situationnel qui a servi de base aux travaux subséquents de l’entreprise dans ce domaine et il connaît bien le test utilisé à l’occasion du concours tenu par le MESS car il a joué un rôle-conseil dans le processus de création de cet outil.

[7]           Il s’agit d’un examen comportant 20 questions qui visent à évaluer cinq compétences, à raison de quatre questions par compétence, chacune des questions présentant un choix de quatre réponses pour chaque mise en situation exposée. L’exercice consiste pour un participant à établir un ordre de choix comportemental, allant du meilleur au moins bon dans les circonstances présentées.

[8]           M. Devinat explique les quatre étapes suivies dans l’élaboration de l’examen.

[9]           La première a consisté à analyser et documenter l’emploi à pourvoir, soit celui de cadre, classe 5, au MESS. À cette fin, on s’est référé à la description d’un emploi de ce type, ainsi qu’au profil gouvernemental de compétences (I-18) à partir duquel certaines d’entre elles ont été priorisées. Puis on a procédé à la collecte d’incidents critiques, des exemples de cas, auprès de personnes déjà en situation de superviser des gens qui occupent un tel emploi, qualifiées ici comme étant des « experts ».

[10]        La seconde étape a été d’élaborer une première version de questions, en nombre supérieur au besoin pour tenir compte que plusieurs vont être éliminées au fil de l’élaboration de l’examen. À cela s’est ajoutée la rédaction des directives à donner au participant, le choix de réponse à suggérer pour chaque mise en situation et la grille de correction.

[11]        En troisième lieu, une phase d’expérimentation de l’examen a mené à administrer le questionnaire à un échantillon de personnes du MESS représentant la population ciblée, des cadres, surtout de classe 5, provenant de différentes régions du Québec.

[12]        Enfin, la quatrième étape a été celle de l’analyse des résultats de cette expérimentation. Par exemple, le temps de réponse observé pour compléter l’examen, les commentaires reçus quant à la clarté des choix de réponse des mises en situation, la pertinence des mots utilisés, le profil de réponse qui s’est dessiné à partir des réponses fournies par les personnes composant l’échantillon. Avec ces résultats, l’équipe de travail sur ce projet de questionnaire a développé une seconde version qui a été soumise aux experts associés au processus depuis le début du projet. C’est à ce stade que la version finale a été complétée pour s’assurer que chaque compétence à évaluer occupait une place équivalente dans le questionnaire et que les mises en situation et la grille de correction étaient appropriées. Enfin, l’opération s’est complétée par la rédaction du descriptif de l’examen et le choix des exemples de question.

[13]        Sur le plan de l’attribution des points, M. Devinat explique qu’il existe quatre façons de calculer le score d’un participant :

-       Selon la première, un point lui est accordé s’il a identifié la meilleure réponse parmi les quatre choix;

-       D’après la seconde, identifiée comme l’approche de « la meilleure et la pire », le participant va obtenir un pointage plus élevé s’il réussit à identifier les deux, et un score qui va en diminuant s’il n’identifie qu’un seul élément sur deux ou encore aucun des deux; dans ce cas, souvent le score peut s’étendre de 2 à moins 2 en étant associé à une forme de correction négative, le résultat le plus faible, moins 2, étant attribué au participant qui va avoir complètement inversé le meilleur et le pire choix de réponse;

-       La troisième approche, dite de Likert, demande au participant d’évaluer la qualité de chaque choix de réponse sur une échelle qui peut aller de 1 à 6;

-       Enfin, la plus reconnue actuellement par les chercheurs dans le domaine de psychométrie, selon M. Devinat, et utilisée dans le cadre du concours, est un dérivé de la seconde approche enrichie d’une technique de classement qui prend un peu plus en considération les deux autres choix que la meilleure et la pire des réponses. Si le participant présente une séquence parfaite, c’est-à-dire identifie dans le bon ordre les quatre choix de réponse, il obtient le maximum de quatre points. S’il obtient la meilleure et la pire, on lui attribue trois points, deux s’il identifie la meilleure seulement, et uniquement un point s’il ne réussit à reconnaître que la pire solution. Il obtient zéro dans les autres cas de figure.

[14]        À l’avis de convocation (I-4) à la séance d’examens adressé à M. Bergeron, était joint notamment une brève description de l’examen de jugement situationnel, dans laquelle on référait les candidats à une adresse du site intranet du MESS pour se préparer à ce type d’examen. On pouvait y trouver des directives (I-7) sur comment compléter le test et on fournissait trois exemples de question, ainsi que les réponses attendues. Appelé à commenter ces documents, M. Devinat mentionne qu’il s’agit de questions choisies par le comité d’experts parmi celles qui n’avaient pas été retenues pour la version finale de l’examen. Non pas, précise-t-il, parce qu’elles n’étaient pas appropriées, mais parce qu’il avait déjà souvent été attribué, à la compétence à laquelle elles référaient, le maximum prévu de quatre questions. Pour lui, ces directives et exemples de question étaient fournis pour permettre aux candidats de se pratiquer avec le type d’instrument utilisé pour le concours, de s’approprier le niveau de difficulté du test, le format des questions et la présentation des choix de réponse.

[15]        Contre-interrogé par M. Bergeron, M. Devinat est amené à préciser jusqu’à quel point les difficultés de compréhension, des exemples de question ou des questions retenues pour la version finale de l’examen, peuvent avoir un effet sur la performance d’un participant. Ou encore, est-ce que cela peut avoir un impact sur la confiance d’un candidat envers le moyen d’évaluation ?

[16]        La réponse de M. Devinat est en deux temps. S’il devait y avoir des difficultés de compréhension des exemples, cela pourrait avoir un impact sur la performance d’un individu. C’est pour éviter ce résultat qu’un comité d’experts accompagne l’équipe qui prépare le test « tout au long du processus, pour s’assurer que chacune des questions est effectivement représentative de la réalité des gens à qui le test va être administré ». Par ailleurs, selon lui, les travaux de recherche dans le domaine de la préparation d’examens ne démontrent pas que de telles difficultés, le cas échéant, peuvent avoir un impact sur la confiance envers le moyen d’évaluation.

[17]        M. Bergeron cherche aussi à savoir de M. Devinat s’il peut confirmer que, si, dans une mise en situation, on est capable de donner un contexte ou un délai précis à une action, c’est mieux de le préciser plutôt que de laisser les répondants se référer à leur environnement de travail habituel, ce qui, en raison de leur provenance de secteurs différents, pourrait provoquer chez certains un effet négatif.

[18]        À cet égard, M. Devinat mentionne que le degré de précision peut être extrêmement variable et qu’encore là, c’est le comité d’experts qui peut dire si oui ou non l’énoncé représente bien l’exemple présenté.

« Plutôt que de se baser sur notre propre opinion, c’est pour cela qu’on fait appel au comité d’experts, pour nous émettre leur opinion sur le niveau de précision qui est approprié en considération de l’exemple présenté ».

[19]        Au sujet des méthodes de correction, M. Bergeron demande si celle qui a été retenue a déjà été critiquée. M. Devinat confirme que oui, mais il ne pourrait pas formuler, sans se référer de nouveau à la documentation sur le sujet, les aspects négatifs de cette méthode. Il réaffirme cependant qu’elle a été jugée malgré tout comme l’une des meilleures. Sans être nécessairement exempte d’aspects négatifs, la méthode choisie pour le concours est la méthode améliorée par rapport à sa « capacité de bien nuancer sa prédiction de performance des candidats parce qu’elle met beaucoup d’emphase sur la capacité d’un individu d’identifier ce qu’il y a de mieux et de moins bien à faire. »

[20]        Rappelant à M. Devinat qu’il avait mentionné plus tôt que des informations sur l’examen étaient données aux candidats pour les aider à mieux performer, M. Bergeron veut savoir si on avise les candidats de la méthode de correction qui sera utilisée et si cela peut influencer les résultats qu’ils obtiendront.

[21]        M. Devinat répond qu’on ne le fait pas nécessairement.

« Ce que l’on essaie de donner comme information, c’est le travail que le participant doit accomplir. Et dans le cas d’un test de jugement situationnel, on demande aux candidats de classer les réponses de la meilleure à la moins bonne. »

[M. Bergeron] Vous ne pensez pas que cela n’aurait pas d’influence si je savais qu’on va corriger seulement si j’ai la meilleure, versus d’autres processus de répondre ?

[M. Devinat] Il faudrait que je relise sur le sujet. Je ne me sens pas à l’aise de répondre de façon spontanée. »

[22]        M. Bergeron, se référant aux réponses attendues à une question précise tirée du test de jugement situationnel (I-13), constate que la séquence parfaite se décline, dans l’ordre, par C, D, A et B. S’il répondait C, A, B, D, il n’avait que la réponse du premier choix qui était bonne et il se méritait deux points. Si par contre, un candidat avait seulement interverti le premier choix et le deuxième, soit une séquence de D, C, A et B, il aurait alors seulement un point. Pourtant la progression demandée d’indiquer les actions en termes d’efficacité est respectée pour les autres choix de réponse. Mais celui qui n’a identifié que le meilleur choix, soit un seul bon choix sur quatre, va avoir un meilleur résultat que celui qui a seulement interverti le premier choix avec le deuxième, deux choix d’efficacité voisins, en fournissant par ailleurs le bon ordre pour les deux autres choix d’action.

[23]        Cette façon de faire, d’ajouter M. Bergeron, avec laquelle il n’est pas d’accord, devrait en principe permettre de constater que le premier candidat de cet exemple serait un meilleur candidat au sens de l’article 49 de la Loi. Elle est censée démontrer que le premier candidat vaut plus parce qu’il a trouvé la première action à poser, même s’il a mis les autres complètement dans le désordre, alors que l’autre candidat intervertit les première et deuxième actions, mais situe les autres dans le bon ordre.

[24]        Est-ce, demande M. Bergeron, qu’identifier seulement la meilleure action justifie une note supérieure à celle de simplement intervertir la meilleure avec la seconde action, tout en situant les deux moins bonnes dans le bon ordre ?

[25]        À cette question, M. Devinat répond que la documentation avec laquelle les concepteurs travaillent et qui a été largement étudiée indique que la capacité d’une personne d’identifier correctement « LA » meilleure réponse et « LA » moins bonne réponse a beaucoup plus de poids dans la capacité de l’instrument de mesure de prédire la performance de l’individu par la suite au travail.

« On constate que les candidats, une fois au travail, qui sont les plus performants sont ceux qui ont été capables d’identifier la meilleure réponse. La logique derrière cela est relativement simple, c’est que lorsqu’on regarde les quatre différents choix de réponse qui sont classés par le comité d’experts, il y a une entente du groupe sur ces quatre possibilités-là et sur la chose qu’il faut absolument faire en premier et étant la meilleure. Donc, c’est un indicateur du participant à présenter ce comportement-là dans un premier temps. C’est ce qui est jugé par le comité d’experts comme étant la meilleure réponse. Par la suite, en termes de performance au travail, on observe de meilleurs résultats. C’est pour cela que cet outil-là met autant d’emphase sur la notion de la réponse la plus forte et de la réponse la plus faible. Parce qu’on veut également s’assurer que la personne est capable de bien identifier ce qu’il faudrait le moins faire dans la situation [donnée][3]. »

[26]        M. Bergeron demande encore à M. Devinat s’il peut confirmer que le degré de stress auquel un candidat a à faire face dépend de l’importance que l’examen a pour lui. C’est possible, remarque ce dernier, chacun réagissant à sa façon, mais il ne connaît pas d’étude empirique qui démontrerait cela.

[27]        M^me Élise Moreault, psychologue également au service de la firme CFC Dolmen, témoigne aussi pour le MESS. Elle y travaille depuis quatre ans et occupe des fonctions-conseil dans l’équipe de mesure et d’évaluation. Elle est détentrice d’un baccalauréat en psychologie de l’Université Laval et d’un doctorat en recherche et intervention en psychologie du travail et des organisations, de l’Université de Montréal.

[28]        M^me Moreault fait état de diverses expériences et, pour le concours à l’étude, elle a eu le mandat, de la coordonnatrice aux ressources humaines du MESS, d’élaborer le test objectif pour évaluer des candidats selon cinq compétences.

[29]        Relativement à la manière dont ce mandat a été réalisé, en plus de ce qu’en a dit M. Devinat, M^me Moreault ajoute les précisions suivantes :

-       La collecte des incidents critiques a été réalisée, à l’occasion d’une journée de travail, auprès de dix gestionnaires[4] qui connaissaient l’emploi, eux-mêmes de classe 2 à classe 4, provenant de différents secteurs du MESS, de différentes directions régionales et du secteur du Régime québécois d’assurance parentale (ci-après le « RQAP »); on leur demande alors de parler de situations de travail qui sont reliées et pertinentes à l’emploi, dans lesquelles il y a un enjeu à résoudre et dont la solution va permettre de prédire la performance des candidats. On identifie les situations, on définit les possibilités d’action qui sont les plus efficaces et les moins efficaces;

-       Une conférence téléphonique a suivi pour permettre de clarifier l’utilisation de certains termes, de voir si le vocabulaire utilisé correspondait bien à celui d’un cadre, classe 5;

-       La première version du questionnaire a fait l’objet d’une expérimentation à Québec, à Montréal et à Gatineau, auprès de 32 personnes, dont 22 cadres, classe 5, soit le tiers de l’effectif des cadres de ce niveau au MESS, les autres étant des supérieurs de tels cadres[5];

-       Après avoir analysé les résultats de cette expérience et avoir fait ses propres modifications, M^me Moreault a rencontré pour une deuxième journée les membres du comité d’experts; il s’est agi alors de recevoir leurs commentaires, de valider si l’expérimentation démontrait que les compétences étaient bien mesurées, si les choix de réponse étaient plausibles, en proposer de nouveaux, faire un consensus sur l’ordonnancement final des réponses; on s’est entendu sur la consigne à donner aux candidats, de même que le temps alloué pour faire le test;

-       Enfin, c’est elle qui a fait parvenir les trois questions, choisies parmi les 20 en surplus, pour servir d’exemples à fournir aux candidats avant la tenue de l’examen. Son choix s’est arrêté sur trois niveaux de difficulté mesurés de la façon suivante : la première était la plus facile, 100 % des participants à l’expérimentation avaient trouvé l’ordonnancement parfait des choix de réponse; la deuxième était de difficulté modérée, entre 60 et 70 % de participants ayant bien répondu, et la troisième était jugée plus difficile puisque seulement plus ou moins 50 % des répondants l’avaient réussi.

[30]        M^me Moreault renvoie la Commission aux directives (I-7) données avec ces exemples aux candidats qui souhaitaient se familiariser avec le test.

« Pour chaque question, vous devez vous mettre dans la peau d’un cadre 5 et mettre en rang de la plus efficace (1) à la moins efficace (4), les quatre possibilités d’action (choix de réponse). Vous devez évaluer l’efficacité de chaque choix de réponse indépendamment l’un de l’autre, selon son efficacité à résoudre la situation. Les mises en situation et les possibilités d’action qui leur sont associées comprennent toute l’information nécessaire vous permettant de répondre.

Veuillez prendre note que les situations et choix de réponse ont fait l’objet d’une validation auprès d’un comité d’experts qui est bien au fait de la fonction de cadre 5 au Ministère de l’Emploi et de la Solidarité sociale.

Vous devez, dans la grille de réponses, mettre en rang, de la plus efficace à la moins efficace, les quatre possibilités d’action (choix de réponse) afin de résoudre chaque mise en situation. Le même rang ne peut être attribué à deux choix de réponse au sein de la même question. »

Les exemples de question

[31]        M^me Moreault explique ensuite sommairement, pour chaque exemple, les raisons pour lesquelles le comité d’experts avait ordonné les choix de réponse suggérés comme il l’a fait.

[32]        M^me Moreault explique aussi que, dans son choix des trois exemples de question, le comité d’experts avait pris soin de les sélectionner pour que chaque exemple réfère à une compétence différente, le premier à l’efficacité d’équipe, le second à l’aspect du leader mobilisant et le dernier à la notion d’ouverture à la diversité.

[33]        Étant donné la place importante qu’ils occupent dans l’argumentation de M. Bergeron et pour donner un aperçu de la façon dont la séquence des choix de réponse était élaborée par le comité d’experts, la Commission reprend ici ces exemples.

« EXEMPLE 1

1.    Au cours des derniers mois, les absences se sont multipliées dans l’une de vos équipes. Vous vous retrouvez ainsi avec trois ressources en moins, dont une est en congé de maternité et deux en congé de maladie. L’absence de ces employés a occasionné des retards dans l’une des activités de travail moins valorisée et prisée par l’équipe. Vous devez remédier à la situation pour éviter de nouveaux retards. Par ordre d’efficacité, que devriez-vous faire?

a     Vous demandez à chaque membre de l’équipe d’assumer cette activité de travail à tour de rôle.

b    Vous procédez par ancienneté et demandez à la dernière personne ayant joint l’équipe de prendre en charge cette activité de travail.

c     Vous consultez le chef d’équipe et lui demandez de vous proposer un plan d’action en concertation avec son équipe.

d    Vous confiez cette activité de travail aux membres de l’équipe qui se portent volontaires. »

L’ordre d’efficacité retenu par le comité d’experts, dans le cas de cet exemple, a été c, d, a, b.

-       c, d’abord, parce que le comité a jugé qu’il importait de consulter le chef d’équipe et que toute l’équipe soit mise à contribution par lui pour résoudre la problématique; M^me Moreault indique trois actions clés de la compétence « Gestion de l’efficacité d’équipe » (I-18) que le choix c permet d’accomplir;

-       d, un choix considéré moyennement efficace revêt deux actions clés, qu’elle décrit à la Commission, mais comme la mise en situation mentionnait que l’activité à réaliser en était une moins prisée et valorisée par l’équipe, il était possible qu’il n’y ait pas suffisamment de volontaires et il faudrait alors trouver une autre stratégie; de plus, cette réponse contribuait moins à stimuler l’énergie de l’équipe;

-       a, cette solution est encore moins bonne car, non seulement elle ne mise pas sur l’esprit d’équipe et ne permet pas la participation sur une base volontaire, mais elle n’offre pas non plus la possibilité de miser sur les forces des individus contrairement aux deux autres;

-       b, une solution peu efficace, la pire dans les circonstances pour favoriser l’esprit d’équipe et la mise en commun des forces de chacun de ses membres; l’objectif de l’action à retenir n’est plus collectif, mais devient individuel.

[34]        Le second exemple se présentait comme suit :

« EXEMPLE 2

2.    Au cours de la journée, vous avez dû mettre fin à l’emploi de la dernière personne arrivée dans l’équipe. En effet, bien qu’étant très appréciée par les membres de l’équipe, elle a commis des erreurs professionnelles graves dont vous avez eu connaissance. Les membres de l’équipe ne sont pas au courant de cette fin d’emploi ni des erreurs qui ont été commises. Par ordre d’efficacité, que devriez-vous faire?          

a.    Lors de la prochaine réunion d’équipe, vous rassurez votre équipe en leur mentionnant qu’il n’y a aucune autre personne visée, sans être explicite sur la raison du congédiement.

b.    Vous envoyez un courriel à toute l’équipe pour les informer de la fin d’emploi de leur collègue et leur communiquez les informations relatives à la réorganisation des tâches de travail.

c.    Vous évitez d’aborder le sujet pour préserver la confidentialité de l’information relative à cette fin d’emploi et vous vous en tenez à la redistribution des tâches de cette personne.

d.    Vous rencontrez l’équipe pour les informer de la fin d’emploi, tout en leur mentionnant que vous ne pouvez pas divulguer les raisons exactes par souci de confidentialité et vous tentez ensuite de répondre à leurs questionnements. »

L’ordre d’efficacité retenu par le comité d’experts, dans le cas de cet exemple, a été d, a, b, c :

-       d est le choix de réponse retenu en premier par le comité d’experts car il montre l’importance de rencontrer l’équipe, une action plus rassembleuse et mobilisatrice, et ce, même si en raison de la nécessaire confidentialité, on ne pouvait révéler les raisons exactes de la fin d’emploi;

-       a est une solution qui implique indirectement aussi les membres de l’équipe, mais sans créer autant une relation de collaboration appuyée sur la confiance; l’action est aussi moins complète que la précédente car en les reportant à la prochaine rencontre d’équipe, l’action n’est pas mise en place à aussi court terme que la précédente et elle risque de laisser place à des spéculations ou de l’inquiétude;

-       b s’avère une réponse encore moins bonne, car elle fait preuve d’un certain manque de délicatesse : l’utilisation du courriel dans un tel cas offre moins de possibilités de répondre aux inquiétudes du groupe;

-       c est la solution la moins bonne car elle évite le sujet; en n’offrant pas la possibilité de répondre aux inquiétudes du groupe, aucune action n’est posée dans l’esprit d’un leadership mobilisant.

[35]        Enfin, le troisième exemple, qui faisait référence à la compétence d’ouverture à la diversité (I-18), se décline ainsi :

«  EXEMPLE 3

3.    Dans l’une de vos équipes, trois employés discutent fréquemment dans une autre langue durant leurs journées de travail. Des tensions se créent au sein du personnel, car certains employés leur demandent de parler en français. En effet, ils ont l’impression que les trois employés parlent d’eux et cela les agace de ne pouvoir saisir leurs propos. Il (sic) vous demande (resic) d’intervenir en leur faveur. Par ordre d’efficacité, que devriez-vous faire?

a.    Vous demandez aux employés visés de faire preuve de courtoisie en adoptant la langue de la majorité en tout temps lorsqu’ils se trouvent sur les lieux du travail.

b.    Vous faites appel aux ressources humaines pour connaître la politique qui s’applique dans cette situation et vous faites connaître celle-ci à l’ensemble de votre équipe.

c.    Vous évitez de vous interposer dans ce genre de situation et vous laissez plutôt les membres de votre équipe gérer cette problématique entre eux.

d.    Vous vérifiez si ces discussions ont lieu durant la réalisation de leur travail ou lors des pauses et vous ajustez votre intervention en conséquence. »

Pour le comité d’experts, l’ordre d’efficacité retenu a été d, b, a, c.

-       d, a été le premier choix du comité en raison de l’importance de savoir si le problème survenait pendant les pauses ou non pour pouvoir ensuite planifier l’intervention en conséquence; les règles sont claires quant à la langue à utiliser dans le cadre du travail, mais elles ne seront pas nécessairement les mêmes à l’occasion des pauses; cette solution permet un certain recul avant de poser un geste concret;

-       b est une solution un peu moins bonne, car bien que communiquer avec les ressources humaines permet d’apprendre en quoi consiste la politique dans ce domaine, la mise en application d’une action va dépendre tout de même au premier chef de savoir dans quelles circonstances se déroule l’utilisation de l’autre langue; peut-être n’y aura-t-il même pas lieu d’intervenir si la politique la permet durant les pauses;

-       a est une solution qui démontre moins d’ouverture à la diversité; elle va à l’encontre d’une des actions clés du profil de compétences qui prévoit plutôt qu’il faut favoriser cette ouverture au sein de son équipe;

-       c est la solution la moins efficace, car ne rien faire ne montre aucunement de l’ouverture à la diversité et démontre seulement qu’on évite d’agir pour tenter de régler le problème.

DEMANDE DE SUSPENSION D’AUDIENCE

[36]        Après avoir présenté cette preuve relative aux exemples de question, dont certains aspects étaient, comme il sera vu plus loin, contestés par M. Bergeron, la procureure du MESS, en fin de la première des trois journées d’audience, devait annoncer qu’elle comptait poursuivre dans le même sens pour les 20 questions de l’examen et établir la position du comité d’experts pour chacune. Étant donné le temps qui serait à consacrer à cet exercice, la Commission lui a demandé la durée à venir de sa preuve à cet égard. Elle a annoncé qu’il lui faudrait utiliser probablement l’avant-midi du lendemain et possiblement le début de l’après-midi.

[37]        Pour sa part, M. Bergeron devait mentionner qu’il ne lui apparaissait pas nécessaire de traiter de toutes les questions. La Commission a alors suggéré aux parties de s’entendre sur celles qui devraient l’être, à défaut de quoi il faudrait bien entendre la preuve des deux parties sur l’ensemble.

[38]        M. Bergeron a alors soulevé le fait qu’il avait un problème avec la tenue de la troisième journée d’audience pour des raisons personnelles. Il commençait un intérim de cadre, classe 4, et un comité de direction s’était ajouté à son agenda pour cette journée-là. De plus, il mentionne qu’il n’avait auparavant aucune idée de la durée d’une audience devant la Commission, mais qu’il était sûr que deux jours allaient être suffisants.

[39]        Sa demande de suspension d’audience a été rejetée par la Commission, comme on le verra plus loin, mais la réponse à cette question de procédure est exposée maintenant de façon détaillée à la demande de M. Bergeron qui dit vouloir réfléchir à l’opportunité de la contester, le cas échéant.

[40]        M. Bergeron raconte avoir demandé, en mai, à la procureure du MESS, qui allaient être ses témoins et de lui envoyer de la documentation pour qu’il puisse se préparer adéquatement. Il dit n’avoir eu une réponse que le 3 juin, mais même qu’on ne savait pas encore qui seraient les témoins. Enfin, ignorant s’il y aurait parmi eux quelqu’un du comité d’experts, ce à quoi il s’attendait après avoir lu certaines décisions de la Commission, il dit constater maintenant qu’il voudrait en assigner un. En conséquence, il voudrait que le MESS termine sa preuve le lendemain et que la Commission annule la troisième journée d’audience pour lui donner la chance de procéder à l’assignation d’au moins un membre du comité d’experts ou du comité d’évaluation.

[41]        En rapport avec la demande de renseignements que M. Bergeron avait adressée à la procureure du MESS dans un courriel du 16 mai, versé au dossier de la Commission, il y est mentionné qu’il souhaitait que lui soit transmis les documents suivants :

« En vue de l’audience prévue le 11 juin prochain devant la Commission de la fonction publique, auriez-vous l’obligeance de me transmettre :

-       Copie du questionnaire, de la grille de correction et de ma feuille de réponse pour le Test de jugement situationnel;

-       Ventilation des réponses données par l’ensemble des candidats pour chacune des questions du Test de jugement situationnel;

-       Copie des correspondances et comptes rendus du comité d’experts ayant participé à la conception du Test de jugement situationnel;

-       Copie des correspondances et comptes rendus du comité d’évaluation.

Vous comprendrez que ces documents sont nécessaires à la préparation de l’audience, pour laquelle par ailleurs j’aimerais connaître l’identité, les fonctions et les propos attendus de vos témoins. »

[42]        M. Bergeron mentionne qu’il n’a obtenu la liste des membres du comité d’experts qu’en ce jour du 11 juin 2013 et qu’il croyait que le MESS en ferait venir à l’audience, notant au passage que les assignations d’une partie sont, le cas échéant, signifiées aux frais de la partie qui les requiert.

[43]        Invitée à commenter la demande d’annulation de la troisième journée d’audience, la procureure du MESS précise d’abord que M. Bergeron n’a jamais requis la liste des membres du comité d’experts, mais plutôt les procès-verbaux des rencontres du comité. Elle souligne que c’est la partie qu’elle représente qui a à faire une preuve sur les motifs soulevés dans l’appel de M. Bergeron et rien ne l’obligeait à faire témoigner des membres du comité d’experts puisqu’elle avait quelqu’un qui avait travaillé avec eux et qui serait en mesure de rapporter les raisons qui les avaient amenés à prendre leurs décisions par rapport à chaque question.

[44]        Dans la réponse de la procureure du MESS, en date du 3 juin 2013, au courriel de M. Bergeron du 16 mai, également au dossier de la Commission, il est fait part à ce dernier que le questionnaire, la grille de correction et la feuille de réponse demandés ont fait l’objet d’une ordonnance de confidentialité rendue par la Commission, ordonnance dont il a obtenu copie lors de la séance d’échanges et d’information à laquelle il a eu l’occasion de participer le 14 février précédent. Quant à la ventilation des réponses de l’ensemble des candidats, elle ne pouvait lui être transmise, disait-elle, car cela pourrait permettre de reconstituer la grille de correction, ce qui irait là encore à l’encontre de l’ordonnance de confidentialité. Au sujet des demandes de copie des correspondances et des comptes rendus, tant du comité d’experts que du comité d’évaluation, il était mentionné que les seuls documents existants étaient des rapports aux membres du comité d’experts dans lesquels étaient dévoilées essentiellement les questions et les réponses attendues, ainsi que le guide d’évaluation dont il avait eu copie lors de la séance d’échanges et d’information. Enfin, en ce qui a trait à l’identité des témoins et aux propos qu’ils allaient tenir, le courriel mentionnait que la première n’était pas encore confirmée et que les seconds seraient connus à l’audience.

[45]        M. Bergeron rajoute qu’il voudrait connaître la rigueur avec laquelle les experts du comité se sont préparés pour leurs rencontres ou ont exécuté leur tâche de conception de l’examen, à quels documents ils ont pu avoir accès, disant qu’il aimerait en avoir un ou deux qui viendraient en parler, et qu’il se questionnait sur le sérieux du processus mis en place. Pour lui, cela s’avérait important, étant donné le témoignage de M. Devinat entendu plus tôt dans la journée.

[46]        La procureure du MESS ajoute pour sa part que sa partie est là pour défendre la version finale du test. Jamais, selon elle, il n’a été demandé à un employeur de démontrer le sérieux de la préparation des participants à un comité d’experts.

[47]        Sur ce, la Commission a fait remarquer d’une part que chaque partie était maître de sa preuve. D’autre part, la Commission a dit s’interroger sur la pertinence de vouloir apporter une preuve sur la rigueur de la préparation des membres du comité d’experts, en en interrogeant un ou deux, et ce, à la lumière de la preuve principale qui avait établi un mode de fonctionnement à 12, par consensus, pour déterminer la nature et le libellé de questions et l’ordre des réponses attendues.

[48]        M. Bergeron soutient que, selon lui, il y a entre autres une mise en situation qui est invraisemblable et que seul un cadre, classe 4 ou 5, pourrait venir le dire. De plus, ce témoin pourrait venir raconter comment se sont déroulées les rencontres de travail, ce qui permettrait d’évaluer la rigueur du travail accompli.

[49]        En conclusion de la première journée d’audience, le 11 juin 2013, la Commission a mentionné à M. Bergeron qu’elle entendrait ses arguments additionnels le lendemain matin, le cas échéant, avant de rendre une décision sur sa demande d’annulation de la troisième journée d’audience.

[50]        À la reprise de l’audition de cette affaire, le 12 juin, M. Bergeron a invoqué qu’en plus de vouloir faire entendre un membre du comité d’experts, il souhaitait maintenant faire témoigner également un collègue de travail.

[51]        En réponse à la demande principale de M. Bergeron, la procureure du MESS a fait valoir qu’elle résultait d’abord du fait que celui-là avait présumé que le ministère allait faire comparaître un membre du comité d’experts. Elle signale que M. Bergeron n’a jamais indiqué, avant d’en parler la veille, que la troisième journée d’audience posait problème, alors qu’elle-même avait été informée par la greffière de la Commission que celle-ci avait communiqué avec lui et que les trois jours lui convenaient. Enfin, le MESS ayant pris les dispositions et déplacé des personnes pour une audience de trois jours, elle conclut qu’il devrait en être ainsi.

[52]        La Commission a fait la remarque qu’il faut davantage qu’apprendre des éléments nouveaux par la preuve de l’autre partie, comme la liste des membres du comité d’experts, pour justifier d’ajourner dans la perspective de permettre de bonifier sa propre preuve. Cet exercice n’est pas une partie de pêche au cours de laquelle on va tenter de trouver quelque chose. Dans ce cas-ci, il s’agissait d’interroger un ou deux membres du comité d’experts, encore non identifiés, pour voir ce qu’ils auraient à dire quant au déroulement de leurs journées de travail, et ce, afin de vérifier si ce comité des 12 a assumé ses fonctions avec rigueur.

[53]        De plus, dans les directives sur la façon de répondre aux exemples de questions, qui étaient disponibles bien avant la tenue de l’examen, on traite du rôle joué par un comité d’experts. Ainsi, M. Bergeron a eu le loisir de considérer l’opportunité d’en assigner un membre et de faire les démarches en ce sens avant le premier jour d’audience.

[54]        Sur ce, la Commission a décidé de ne pas annuler la troisième journée d’audience et souhaité voir la preuve patronale complétée au plus tôt afin de permettre à M. Bergeron de disposer du temps nécessaire pour faire la sienne, et, à la limite, faire entendre le collègue de travail, nouvellement annoncé, dans le cours de sa preuve, dans la journée ou au début de cette troisième journée d’audience.

[55]        Toujours insatisfait, M. Bergeron a fait valoir qu’il lui était impossible d’être présent le lendemain, car il devait participer à un comité de direction qui, en visioconférence, devait préparer un autre comité de direction devant se tenir à Trois-Rivières le lundi suivant. Il dit avoir su le 28 mai qu’il allait assumer un intérim de cadre, classe 4, à compter du 30 et que ce n’est qu’à partir de ce moment que sont survenues les convocations à diverses réunions. Puis, il réitère :

« J’ai reçu le courriel [de la procureure du MESS] le 3 juin [en fin de journée] et le lendemain il était trop tard pour trouver quelqu’un. »

[56]        Pour sa part, la procureure du MESS souligne que l’argument additionnel est étranger à la convocation et qu’il n’y a pas lieu d’annuler la troisième journée d’audience.

[57]        Après avoir entendu les positions de chaque partie, la Commission s’est dite d’avis qu’entre l’administration de la justice et la poursuite des activités habituelles d’une organisation, la première devait primer. La Commission refuse que ce soit une activité de l’administration de la justice, prévue depuis longtemps, qui soit perturbée en raison d’une activité nouvelle d’une organisation sans que la Commission n’ait été avisée ou autrement consultée, dans un temps préliminaire raisonnable, pour permettre à la Commission et à l’autre partie de prendre le cas échéant des dispositions en conséquence, et ce, notamment en l’absence de toute raison majeure et urgente. Étant donné les motifs invoqués par M. Bergeron et le temps dont il avait pu disposer pour réagir à la réponse de la procureure du MESS par le courriel de celle-ci du 3 juin, la Commission n’a pas vu de motif pour modifier la décision qu’elle venait de prendre précédemment et qu’en conséquence elle allait donc siéger le lendemain et entendre les parties.

[58]        Enfin, la Commission note en plus maintenant que, dans son courriel du 16 mai, M. Bergeron s’exprimait en écrivant : « En vue de l’audience prévue le 11 juin prochain […] », ce qui porte fortement à croire qu’il savait déjà, lorsqu’a été déterminée la date du comité de direction auquel il souhaitait participer, qu’il y aurait conflit d’agenda, l’audience étant prévue pour trois jours.

[59]        Sur ce, l’offre a été faite à M. Bergeron d’entendre les explications de l’employeur relativement à toutes les questions et, si les preuves respectives n’étaient pas complétées à la fin de la troisième journée, le lendemain, quitte à procéder à une date additionnelle qui serait alors à déterminer. Et la Commission de conclure que la seule chose qui était réglée, c’est que la Commission n’annulait pas l’audience du lendemain.

L’analyse de certaines questions du test de jugement situationnel

[60]        Après avoir ainsi passé en revue les exemples de question, la procureure du MESS a poursuivi le même exercice mais cette fois pour les questions pour lesquelles M. Bergeron avait perdu le plus grand nombre de points. Comme il s’agit de questions réellement utilisées et qui pourraient l’être à nouveau, la Commission n’en révélera pas la description intégrale ou les réponses, ni toutes les justifications, exposées de façon circonstanciée par M^me Moreault, de l’ordre dans lequel le comité d’experts a retenu les solutions.

[61]        Après avoir entendu la preuve patronale sur quatre questions, M. Bergeron a choisi d’identifier les seules questions sur lesquelles il souhaitait que la Commission se prononce, soit sept questions sur 20, dont trois avaient déjà été commentées par M^me Moreault. Quatre des six compétences vérifiées par l’ensemble du test étaient concernées par ces sept questions : le leadership mobilisant, la gestion dans la complexité et le changement, la gestion de l’efficacité d’équipe et l’actualisation des valeurs éthiques.

[62]        M^me Moreault complète son témoignage principal en commentant le rapport volumineux d’une étude statistique (I-26) des résultats pour chacune des questions et des choix de réponse. Comme il révèle les réponses attendues, le document a été déposé sous ordonnance de confidentialité.

[63]        Ce que la Commission retient de cette portion du témoignage de M^me Moreault c’est que le rapport permet entre autres, par une analyse des choix de réponse par quartile, de voir si, comme il est normalement observé, les personnes qui ont réussi une question sont celles qui globalement ont obtenu les résultats les plus forts pour l’examen au complet, ce qui s’avère un indicateur de la valeur du moyen d’évaluation. Si le modèle inverse était observé, ce qui n’a pas été le cas selon la preuve soumise, il serait constaté que, par exemple, les personnes aux résultats globaux les plus faibles auraient réussi une question, alors que les personnes aux résultats les plus forts l’auraient manquée. Dans un tel cas, il serait vérifié avec le comité d’experts s’il est toujours d’accord avec l’ordre des choix de réponse prévu.

[64]        En contre-interrogatoire, M. Bergeron s’attarde d’abord à la qualité attendue des questions. Il réfère entre autres à la note de bas de page du document d’information (I-4) préparé à l’intention des candidats et qui mentionne :

« Il est à noter que les situations et choix de réponse sont conçus de manière à ce qu’une personne provenant de l’un ou l’autre des secteurs d’activités du MESS puisse y répondre. »

Et M. Bergeron de demander :

« Est-ce qu’on peut imaginer que quelqu’un, peu importe qu’il vienne de tel secteur [du MESS], aurait la même réponse à apporter, évaluerait l’efficacité d’une option de la même façon ? »

[65]        Et M^me Moreault de répondre notamment :

« Cette note dit que le test va donner l’information nécessaire pour que la personne, peu importe sa provenance, va comprendre la question. »

Et encore :

« S’il fallait tenir compte du contexte de tout le monde, on ne serait pas capable de faire un examen. On ne répond pas en fonction de son contexte, mais en fonction de ce qui est présenté comme informations [dans la mise en situation]. »

[66]        À propos du comité d’experts et pourquoi on appelle ainsi ses membres, M^me Moreault explique qu’il s’agit de personnes identifiées par l’organisation comme étant des individus qui maîtrisent ce qu’il faut pour l’emploi concerné. C’est le comité d’évaluation qui, le cas échéant, fait la sélection et on essaie qu’il soit représentatif des différentes unités du ministère et des régions.

[67]        M. Bergeron a par la suite fait préciser à M^me Moreault des explications qu’elle avait fournies par rapport à des choix de réponse particuliers, et que la Commission ne rapporte pas davantage ici de façon explicite pour le même motif de confidentialité du moyen d’évaluation en cause, sauf quelques explications d’ordre plus général.

[68]        Ainsi, M. Bergeron veut savoir si le comité d’experts avait tenu compte, dans la préparation des mises en situation, que, par exemple, il faille considérer, au moment d’évaluer l’efficacité d’une action, qu’il puisse y avoir des délais et des obstacles à tenir une réunion. Ce à quoi, M^me Moreault rétorque que lorsqu’on parle d’efficacité, ce n’est pas nécessairement la chose à faire le plus rapidement, mais plutôt celle qui va apporter le meilleur résultat.

[69]        Par rapport à une autre mise en situation, M. Bergeron s’est surpris qu’on n’ait pas tenu compte qu’il était possible qu’un des membres de l’équipe soit localisé à l’extérieur de la région immédiate du bureau du groupe principal concerné. « On ne tient pas compte des éléments distance, temps, coûts, etc. », dit-il. « Si on parle d’efficacité, pour moi, cela tient compte des fonds publics, des délais », ajoute-t-il. Et M^me Moreault de répondre que s’il n’y avait pas plus de détails dans la mise en situation, c’était que le comité d’experts avait jugé que ceux qui étaient mentionnés étaient suffisants.

[70]        M. Bergeron établit, avec les réponses de M^me Moreault à diverses questions, que le comité d’experts, au cours de sa première journée de travail, a eu à produire 40 mises en situation, plus quatre choix de réponse pour chacune, soit 160 en tout, ordonnés du plus au moins efficace, et ce, avec quelque temps consacré au propos introductif à l’examen. « À la fin de la journée, de confirmer M^me Moreault qui précise avoir pris des notes, tout l’examen n’est pas écrit parfaitement, mais tous les éléments de base sont là. »

[71]        Lors de la seconde rencontre du comité d’experts, les 40 mises en situation n’ont pas toutes été présentées, mais plutôt environ 25, au souvenir de M^me Moreault, puis qu’on en avait besoin que de 20. Elles l’ont été par profil de compétence, avec vérification du consensus sur l’ordre des choix de réponse. À la fin de cette journée-là, le verbatim du test était à peu près complété, ne laissant que les derniers commentaires à intégrer.

[72]        M. Bergeron signale par ailleurs à M^me Moreault une erreur dans l’écriture d’une phrase de la mise en situation du troisième exemple[6] fourni aux candidats pour se préparer à l’examen. Dans la phrase : « Il vous demande d’intervenir en leur faveur. », le mot « il » aurait dû avoir un « s » et le verbe « demander » être au pluriel avec « nt ». « Est-ce que vous ne croyez pas, demande-t-il à M^me Moreault, que cela enlève de la crédibilité à l’examen dans la tête d’un candidat qui va passer un test important et qui constate qu’un des libellés de question sur trois [pose problème] ? » Elle estime que non. Pour elle, « sémantiquement, en lisant l’ensemble de la mise en situation, on est capable de comprendre qu’on parle d’une équipe. »

[73]        Faisant référence à une question pour laquelle certaines explications relevaient l’importance pour le cadre de consulter son chef d’équipe, M. Bergeron voit une contradiction dans le fait que pour une autre question, le bon ordre des choix de réponse indiquait de rencontrer lui-même l’équipe, plutôt que de passer par le chef d’équipe. Selon M^me Moreault, il faut lire les mises en situation au complet et, d’après elle, il en ressort que les faits décrits sont bien différents d’un cas par rapport à l’autre, d’où des actions différentes à envisager.

[74]        M. Bergeron s’est enfin demandé si on ne devait pas conclure qu’il y avait une lacune avec la question pour laquelle seulement 19 % des 474 participants avaient répondu correctement, alors que 180 d’entre eux, soit 40 %, avaient eu un score de zéro. Pour M^me Moreault, cela indique plutôt qu’il s’agissait d’une question difficile, pas nécessairement d’une mauvaise question.

Explications de la responsable du concours

[75]        Le MESS a aussi fait entendre la responsable du concours, M^me Johanne De Stephano, conseillère en gestion de ressources humaines. Elle est venue énoncer les critères, tirés de l’article 2 du Règlement sur la tenue de concours, c. F-3.1.1, r. 6, selon lesquels est choisi un membre du comité d’évaluation d’un concours : sa connaissance de l’emploi qui fait l’objet du concours, son expérience dans la gestion ou la sélection du personnel, et sa compétence professionnelle.

[76]        C’est elle qui a établi les contacts avec des gestionnaires pour constituer ce comité et, selon le formulaire de la composition (I-2) de celui-ci, on constate que ses trois membres provenaient de secteurs et occupaient des niveaux d’encadrement différents : la directrice régionale Emploi-Québec de la Montérégie, cadre, classe 2, le directeur du Centre de services spécialisés de l’Est de la direction régionale de Montréal, cadre, classe 4, et le chef du Service des opérations, pour le RQAP, à Sainte-Anne-des-Monts, cadre, classe 5.

[77]        M^me De Stephano explique que pour constituer par ailleurs le comité d’experts, elle a consulté le comité d’évaluation. Il est arrivé que certaines personnes, qui ne pouvaient être présentes à la première journée de travail, le 14 mars 2011, lui avaient quand même mentionné qu’elles étaient intéressées pour la seconde, en avril, le cas échéant. C’est ainsi qu’elle a pu remplacer deux des quatre membres sur dix du comité d’experts d’origine qui ne pouvaient pas assister à la seconde rencontre.

[78]        M^me De Stephano explique également pourquoi M. Bergeron a reçu deux avis de convocation à la procédure d’évaluation du concours. C’est qu’il y avait eu une erreur dans le nom de l’un des examens, ainsi qu’une autre sur la durée des examens. Le premier avis indiquait que les deux examens se tenaient dans une demi-journée, alors que le second est venu préciser que le premier prenait tout l’avant-midi et que le test de jugement situationnel allait durer une heure 15 minutes, en après-midi.

[79]        M^me De Stéphano indique aussi que 556 personnes ont été admises au concours, 474 ont participé aux examens et 282 ont été déclarées aptes à occuper un emploi de cadre, classe 5.

[80]        En contre-interrogatoire, elle devait préciser que le comité d’évaluation a tenu deux rencontres. Au cours de la première, il s’est attardé à identifier les compétences qui seraient à vérifier et il a décidé des moyens d’évaluation à utiliser pour ce faire. La seconde rencontre, tenue à la fin du processus du concours, a servi à déterminer le seuil de passage de la procédure, seuil qui combinerait les résultats des deux examens, dont par ailleurs, il n’a pas vu ni demandé de voir la version finale.

Perspective générale de la position de M. Bergeron

[81]        Témoignant à son tour, M. Bergeron explique qu’il est professionnel, dans un emploi reconnu au niveau expert depuis cinq ans. Il travaille à la Direction générale adjointe de la révision et des recours administratifs (ci-après appelée la « DGARRA ») depuis 1996 et actuellement son emploi fait partie de la Direction de l’Île-de-Montréal.

[82]        M. Bergeron indique aussi qu’avant mars 2010, lorsqu’il était plutôt affecté à la section Ouest de la métropole, son emploi de coordonnateur comportait les deux caractéristiques particulières suivantes. D’une part, il devait travailler à distance avec d’autres employés situés, par exemple, à Gatineau, à Saint-Jérôme, voire en Abitibi. D’autre part, dans ce contexte, il a eu à tenir peut-être trois rencontres de son équipe de travail au cours de toute une année. Ainsi, lorsque dans une question où on réfère à un travail d’équipe, on dit poursuivre un objectif d’efficacité, c’est bien différent pour lui que pour la plupart des cadres dont les noms apparaissent sur la liste des membres du comité d’experts.

[83]        Par rapport au test de jugement situationnel, il conteste sa qualité comme moyen d’évaluation, opinion partagée, dit-il, par deux cadres, dont un de classe 4, à qui il a montré les exemples de question. De plus, les erreurs survenues, tant dans le premier avis de convocation que dans la rédaction d’un des exemples de question, l’ont conforté dans son impression que le piètre résultat qu’il a obtenu au test découlait également de l’état de stress élevé dans lequel il a dû passer cet examen. Il a obtenu un résultat qu’il qualifie de désastreux, par rapport à d’autres tests du même genre qu’il a déjà passés et réussis : il est encore pour quelque temps sur une liste de déclaration d’aptitudes pour un poste de cadre, classe 4. Enfin, on lui reconnaît la qualité d’être une personne du type « œil de faucon », qui perçoit les détails.

[84]        Poursuivant sur la notion de réunion d’équipe, M. Bergeron explique que leur fréquence peut varier beaucoup selon que l’on se situe dans un CLE, par exemple aux six semaines, ou dans un autre environnement, aux trois semaines. Quant à lui, elles ont été parfois encore plus rares, comme on l’a vu précédemment.

[85]        Faisant ensuite référence à un extrait du document (A-2) sur « La préparation aux examens », publié dans le portail Carrières du site Web du gouvernement du Québec qu’il avait consulté, il signale le passage suivant de l’annexe 1, sur la série de conseils qu’on y donne aux participants à un concours.

« - lire, attentivement et en entier, les questions et les choix de réponse, s’il y a lieu, et tenter de déceler les mots clés (par exemple, "combien" indique une quantité ou un nombre, "énumérer" signifie donner la liste de, etc.); »

[86]        Dans le même sens, il renvoie la Commission à un autre passage, cette fois de la section « Conseils pour mieux réussir aux examens » du même document, dans lequel on peut lire :

« 4.       Prenez cependant le temps de bien lire les consignes, afin de bien comprendre la tâche que vous devez accomplir ou la question à laquelle vous devez répondre (par exemple "énumérer" est différent de "décrire"). »

[87]        Et toutes ces suggestions étant précédé de la remarque générale qu’il faut se rappeler « que la meilleure préparation consiste à se présenter à l’examen reposé et déterminé à le réussir. », de constater M. Bergeron.

[88]        Enfin, il dit qu’il ne peut pas trouver d’autre raison pour expliquer son échec au test de jugement situationnel que le manque de confiance qui s’est développé chez lui d’une part, par rapport à la procédure de convocation du concours et d’autre part, en raison des erreurs de conception de plusieurs questions, notamment celles des exemples de question aux données invraisemblables, erreurs et exemples auxquels il est fait référence plus loin dans cette décision.

[89]        Brièvement contre-interrogé, M. Bergeron mentionne qu’effectivement, à sa connaissance, il n’y pas de cadre, classe 5, à la DGARRA, dans son unité de travail.

L’ARGUMENTATION

du MESS

[90]        La procureure du MESS établit en premier lieu que l’appel de M. Bergeron est interjeté selon l’article 35 de la Loi. On y prévoit notamment qu’un candidat à un concours de promotion peut exercer ce recours s’il estime que la procédure utilisée pour l’évaluation des candidats a été entachée d’une irrégularité ou d’une illégalité.

[91]        La procureure cite aussi l’article 49 de la même loi en vertu duquel la procédure d’évaluation  « doit être de nature à permettre de constater impartialement la valeur des candidats. »

[92]        Elle signale que M. Bergeron conteste la valeur d’un instrument d’évaluation, soit le test de jugement situationnel, et ce, pour les raisons énoncées dans son appel ou dans les précisions subséquentes de ses motifs d’appel.

[93]        Elle souligne, en se référant aux pièces appropriées, que le concours a été préparé dans les règles, tant pour l’affichage (I-1), la constitution du comité d’évaluation (I-2), et le guide d’évaluation qui indique, primo, le seuil de passage recommandé, qui a été celui retenu, et en deuxième lieu, de façon détaillée, les habiletés requises par l’emploi et les compétences mesurées par le test de jugement situationnel (I-3).

[94]        La procureure souligne à la Commission que, dans le cadre d’un concours, on se base avant tout sur les compétences recherchées et non sur les personnes en place dans tel ou tel milieu, ce qui de toute façon aurait été impraticable dans le cas de celui de M. Bergeron où il n’y avait pas de cadre, classe 5.

[95]        Il faut noter aussi, dit-elle, que les exemples de question ont été préparés par une firme à qui il avait été donné le mandat de préparer un examen spécifique au MESS. À cette fin, la preuve apportée par M. Devinat et M^me Moreault a largement démontré le sérieux des différentes étapes de l’opération :

-       Analyse de l’emploi selon des compétences retenues à partir du profil gouvernemental de compétences;

-       Constitution et consultation pendant deux jours d’un comité d’experts;

-       Préparation de 40 questions, dont 20 retenues pour le test, et trois autres pour servir d’exemples de question transmis aux candidats pour se préparer à l’examen;

-       Expérimentation de l’instrument auprès de 32 personnes déjà cadres, classe 5, ou d’un niveau supérieur, ce qui a permis de vérifier l’efficacité à résoudre les mises en situation;

-       Analyse des résultats de cette expérimentation par un retour au comité d’experts qui a complété la préparation du test en déterminant l’ordonnancement final des choix de réponse.

[96]        La procureure insiste également sur le fait que les candidats avaient été bien informés qu’il fallait inscrire toutes les réponses dans le bon ordre pour obtenir un score parfait à chaque question.

[97]        Elle rappelle les démarches que M^me De Stephano a suivies pour recruter les membres du comité d’experts et les participants à l’expérimentation du test, ainsi que les différentes méthodes d’attribution des points avec de tels tests et que celle qui avait été retenue était une des meilleures.

[98]        La procureure du MESS fait état d’un certain nombre de décisions de la Commission en matière de concours, dont l’affaire Gallisch[7] dont elle retient ce passage.

« [93]    La Commission note que les appelantes ont tendance, en fonction de leurs réponses, à interpréter les éléments des mises en situation ou à y ajouter d’autres éléments. De plus, à certaines occasions, elles contestent la bonne réponse en s’appuyant sur leur expérience de travail plutôt que sur les bonnes pratiques recherchées en matière de sens du service à la clientèle et du travail d’équipe. »

[99]        La procureure s’en prend par ailleurs à une des précisions des motifs d’appel de M. Bergeron dans laquelle celui-ci prétend qu’il y aurait :

« […]    absence de toute proportionnalité raisonnable entre l’importance de l’examen et la rigueur intellectuelle utilisée dans l’élaboration et la validation du test de jugement situationnel […] »

[100]     Répétant que le test a été préparé avec le concours de 12 personnes qui connaissaient le type d’emploi visé, puis expérimenté par 32 autres dont la plupart étaient elles-mêmes des cadres, classe 5, la procureure insiste pour dire qu’il n’y a aucune preuve sur la non-pertinence des mises en situation.

[101]     Elle ajoute qu’il faut se rappeler du témoignage de M^me Moreault à l’effet que l’examen n’a pas été construit en allant voir le contexte de travail de chaque candidat, ce qui aurait été impossible.

[102]     Reprenant ensuite les directives données aux participants à l’examen, les mêmes fournies à tous, elle cite notamment les suivantes :

« ° Évaluez l’efficacité de chaque choix de réponse indépendamment l’un de l’autre, selon son efficacité à résoudre la situation. Il ne s’agit donc pas de classer les réponses en ordre chronologique ou en étapes distinctes, mais bien en ordre d’efficacité, en évaluant chaque choix de réponse de façon isolée ou indépendante.

[…]

° Les mises en situation et les possibilités d’action qui leur sont associées comprennent toute l’information nécessaire vous permettant d’effectuer un choix d’ordonnancement. »

[Souligné dans le texte]

[103]     Pour la procureure du MESS, il n’y avait pas de problème avec les exemples de question. C’est M. Bergeron qui s’est plutôt posé des questions au-delà de ce qui était énoncé dans les mises en situation. Dans le premier exemple de question, il ne faut pas se demander comment fonctionne l’équipe de travail à notre bureau, il faut prendre la situation telle que présentée. Dans le second exemple, M. Bergeron conteste que les membres de l’équipe n’aient pas été au courant de ce qui est décrit. Encore là, selon elle, on n’a pas à remettre cela en cause.

[104]     Citant cette fois l’affaire Bourgon[8], la procureure insiste sur le fait que :

« La Commission rappelle qu’elle n’a pas à se substituer au comité d’évaluation dans la correction d’un moyen d’évaluation à moins que la décision prise par le comité ne soit, notamment, absurde ou déraisonnable en ce qu’elle ne permet pas de constater la valeur des candidats. »

[105]     Quant aux défauts dans le libellé d’une question, la procureure reprend l’idée exprimée par M. Devinat qu’il ne faut en tenir compte que si cela empêche de comprendre la question. Dans le cas du troisième exemple de question, l’absence de l’utilisation du pluriel soulevée par M. Bergeron ne pouvait pas tromper le participant qui lisait bien l’ensemble de la mise en situation. « Monsieur ne peut parler que pour lui, pas pour les autres participants », de conclure sur ce point la procureure.

[106]     La procureure s’arrête également au motif n^o 13 invoqué par M. Bergeron dans sa liste de reproches à la procédure d’évaluation où il prétend que son « résultat aurait vraisemblablement été tout autre » s’il avait pu se « présenter à l’examen avec "confiance et conviction" » [souligné dans le document de M. Bergeron], principale condition de succès que suggèrent les documents de préparation à l’examen ». Pour la procureure, les erreurs relevées par M. Bergeron ne sont pas de l’ordre des conditions principalement garantes de la réussite de l’examen. Même chose pour l’erreur dans la première convocation. L’examen a été administré à tous les participants de la même façon et les conditions de stress dans lesquelles M. Bergeron a pu passer le test ont été propres à lui-même.

[107]     En somme, selon la preuve soumise, il n’y a pas eu illégalité ou irrégularité dans la procédure d’évaluation du concours et la procureure demande de rejeter l’appel de M. Bergeron.

de M. Bergeron

[108]     M. Bergeron remarque au départ que la préparation du test de jugement situationnel a été confiée à une entreprise qui a réalisé une analyse de l’emploi de cadre, classe 5, et eu recours à un comité d’experts pour formuler les mises en situation, ce qui devait ajouter à la confiance des candidats dans la valeur de l’instrument d’évaluation.

[109]     Pour sa part, il retient des décisions de la Commission déposées par la procureure du MESS qu’il faut que les mises en situation rédigées pour un examen soient réalistes, plausibles. Référant plus précisément aux paragraphes 30 et 31 de l’affaire Gallisch, il relève qu’une mise en situation doit bien correspondre à la réalité et qu’elle doit être « représentative des situations généralement rencontrées par les professionnels[9] » visés.

[110]     De ces enseignements, il faut comprendre, selon M. Bergeron, qu’il est requis que les mises en situation fassent référence au vrai milieu de travail. Or, pour lui, le second exemple de question est une bonne illustration que cette exigence n’a pas été respectée. On y parle du congédiement de la dernière personne arrivée dans l’équipe, ce dont aucun membre de l’équipe n’est au courant, pas plus d’ailleurs, prétend-on, des erreurs professionnelles graves qu’elle aurait commises, ce qui laisse croire que c’est quelqu’un de l’extérieur de l’équipe qui a informé le cadre, classe 5, supérieur immédiat de l’équipe, de ces fautes. Selon M. Bergeron, il est invraisemblable que personne de l’équipe n’ait pu se rendre compte de ces erreurs professionnelles graves.

[111]     Référant encore à cet exemple, M. Bergeron se demande comment on peut apprécier la mise en situation dans la perspective d’efficacité recherchée, en omettant de signaler quel est le délai avec lequel il faut considérer tenir la prochaine réunion d’équipe suggérée.

« On ne peut pas penser qu’il n’y pas de question de temps dans cela. Est-ce que l’équipe va se réunir dans trois jours, une semaine, etc. », suggère-t-il.

Ce renseignement se devait de faire partie du contexte présenté, car le choix de réponse à retenir pouvait être bien différent selon le cas, prétend encore M. Bergeron.

[112]     S’en prenant toujours au même exemple, M. Bergeron juge qu’il aurait fallu également préciser depuis quand l’employé congédié était au service de l’organisation : « Deux semaines ? Deux mois ? », demande-t-il.

« S’il [l’employé congédié] était très apprécié, comme le dit la mise en situation, c’est que cela faisait peut-être plus longtemps que cela pouvait paraître.

J’ai besoin d’une durée [pour évaluer la meilleure solution]. Si la personne est là depuis quatre heures, je ne réunirai pas l’équipe. Si cela fait huit ans, ça vaut peut-être une réunion.

On justifie qu’une rencontre, c’est mobilisant et rassembleur. Mais, si on ne peut pas dire pourquoi la personne a été congédiée, on peut imaginer les heures de ragots que la rencontre va provoquer.

[Dans le premier choix de réponse retenu, soit d),[10]] on ne fait aucune répartition des tâches [de la personne congédiée]. Or, le problème à résoudre lorsque quelqu’un part, c’est : qui va faire la "job"? »

[113]     M. Bergeron critique aussi le premier exemple et le choix de la solution retenue en premier lieu par le comité d’experts. S’il y avait des retards accumulés et urgence d’agir, comme l’annonçait la mise en situation, comment le fait de faire, en premier lieu, venir le chef d’équipe et lui demander de proposer un plan d’action, va répondre à l’urgence du moment. Il dit avoir en conséquence un gros doute par rapport à l’efficacité de ce choix comme étant l’action à mentionner en premier.

[114]     M. Bergeron maintient par ailleurs que l’erreur dans l’utilisation du singulier au lieu du pluriel dans l’exemple n° 3 n’est pas sans conséquence. Pour lui, cela jette du discrédit sur la préparation que l’on veut sérieuse de l’examen. On doit nécessairement se demander combien de personnes le pluriel devrait représenter.

« Combien de personnes représente le "il" ? Une ou 32 ? Ce n’est pas juste une question de sémantique. L’information est nécessaire. S’ils sont 15 [à s’imaginer qu’ils font parler d’eux dans une autre langue que le français], il faut agir plus vite. Si tu prends deux mois pour faire l’enquête, entre temps, il va se passer quoi ? »

[115]     Au sujet de la solution retenue en premier par le comité d’experts pour cet exemple, à savoir de commencer par s’informer si l’usage d’une langue autre que le français se produisait durant une pause, M. Bergeron dit qu’il ne croit pas que ce soit une solution plus efficace que de faire connaître la politique en la matière, le choix de réponse qui vient seulement au second rang d’efficacité selon le comité d’experts.

[116]     Relativement aux erreurs dans la première convocation à l’examen, il dit avoir été bien surpris de constater qu’il n’était prévu qu’une demi-journée pour toute la procédure d’évaluation qui comportait un autre examen que le test de jugement situationnel. « Je n’avais jamais vu cela », dit-il. Et quand, en plus, il a constaté l’erreur d’écriture dans l’exemple de question n° 3, cela a miné encore davantage sa confiance envers l’ensemble du processus.

[117]     Il souligne que lorsqu’il a suggéré, en contre-interrogeant M^me De Stephano, la responsable du concours, que ce genre d’invraisemblances et d’erreurs avait pu influencer des candidats sur la valeur des questions du test, celle-ci s’est dite incapable de répondre, ce qui constitue, selon lui, une preuve de manque de rigueur dans la préparation de l’examen.

[118]     Sur la composition du comité d’experts, M. Bergeron comprend mal que personne de la DGARRA n’ait été appelé à y participer. Il veut bien reconnaître qu’il ne s’y trouve pas de cadre, classe 5, mais, dit-il, il y a des cadres, classe 4, et il n’y avait pas de raisons de les exclure. Si le test devait être conçu, dit-il, en tenant compte de tout le personnel du MESS, alors qu’il n’y avait personne d’une unité centrale de l’organisation, comment peut-on imaginer que tout le monde aura pu être évalué de la même façon, se demande-t-il.

[119]     Du récit des travaux du comité d’experts, M. Bergeron tire d’autres signes d’un possible manque de rigueur dans la préparation du test de jugement situationnel. Il a calculé que dans les cinq heures de travail utile, selon lui, dont le comité disposait dans une journée, introduction de la rencontre et temps des pauses exclus, le comité aurait réussi, lors de la première rencontre, à établir 40 mises en situation et quatre choix de réponse pour chacune, soit 160 options d’action, à raison donc en moyenne de deux minutes par choix de réponse. Tout cela lui apparaît un peu lourd pour constituer un exercice rigoureux.

[120]     De plus, lors de sa deuxième rencontre, le comité aurait réussi, à partir des notes prises par M^me Moreault lors de la première journée de travail, à établir, par consensus, le libellé final des 20 questions retenues pour le test et des trois exemples de question. Encore là, étant donné que le comité devait en plus ordonnancer les quatre options ou choix de réponse qui allaient être suggérés aux participants, et s’entendre sur les directives à donner aux candidats, M. Bergeron considère là aussi difficile de croire que la version finale du test a pu être réalisée correctement.

[121]     Enfin, M. Bergeron considère que le manque d’information relativement à la méthode de répartition des points attribués lui a également causé préjudice. Pourquoi n’a-t-on pas indiqué dans les directives aux candidats, comme M. Devinat l’a expliqué devant la Commission, la façon dont était agencée l’échelle détaillée de pointage, plutôt que de se contenter de préciser que pour obtenir le maximum de points à chacune des questions il fallait l’ordonnancement correct au complet ? Dans le cas d’une question qu’il précise, M. Bergeron souligne qu’il a juste interverti les première et deuxième bonnes réponses et obtenu un seul point, alors que le candidat qui n’aura fourni que la seule bonne première réponse aura obtenu deux points. Pourtant, lui, il a identifié les deux actions les plus efficaces, bien qu’il les ait interverties, laissant entendre que s’il avait su qu’il était mieux d’identifier que la meilleure et la moins bonne, il aurait pu répondre autrement.

[122]     Ainsi, ne pas avoir divulgué tout le barème de correction constitue pour lui un autre manque de rigueur dans la préparation de l’examen, assimilable là encore, comme pour les autres reproches exposés précédemment, à une illégalité par rapport à l’article 49 de la Loi qui exige de constater impartialement la valeur des candidats.

[123]     Parmi les reproches qu’il fait aux questions de l’examen comme tel, la Commission retient un de ceux sur lesquels il a insisté le plus. Un des choix de réponse à une question débute par les mots : « Vous identifiez les objectifs […] ». Or, M. Bergeron, prétend que M^me Moreault, dans ses explications sur cette question, a mentionné qu’il fallait comprendre que l’on s’attendait à ce que le cadre, classe 5, fasse part à son équipe de ces objectifs.

[124]     M. Bergeron y voit là encore un manque de rigueur dans la conception de la question, car le mot « identifier », pris dans le sens de ce qu’il a compris des explications de M^me Moreault, veut dire « rappeler » et est un anglicisme. Il réfère d’ailleurs à cet effet à un extrait (A-1) du Guide linguistique « Le français en santé », préparé par le ministère de la Santé et des Services sociaux, à un autre de la Banque de dépannage linguistique de l’Office québécois de la langue française et enfin à un troisième extrait, cette fois du site Web du MESS, la chronique « Trucs pour la rédaction », qui concourent tous à ne pas recommander l’usage du mot « identifier » dans le sens recherché dans la question contestée. Et M. Bergeron de conclure que si le mot plus exact « rappeler », ou un synonyme approprié, avait été utilisé, il aurait choisi la meilleure réponse.

[125]     En conclusion générale, M. Bergeron veut bien comprendre que le test de jugement situationnel peut être un bon moyen d’évaluation, mais pourvu qu’il soit bien appliqué, ce qui n’a pas été le cas selon lui. Il croit avoir établi un lien de cause à effet entre les faiblesses de l’examen et son piètre résultat. Il demande à la Commission de recevoir son appel et que la note de passage lui soit minimalement accordée.

Réplique du MESS

[126]     Relativement à la préparation du test que M. Bergeron juge inadéquate, la procureure du MESS fait valoir que celui-ci ne fait que des suppositions lorsqu’il prétend décrire le déroulement des rencontres du comité d’experts. Selon elle, il est inexact, contraire à la preuve présentée par M^me Moreault, qu’à la deuxième rencontre les membres du comité seraient comme repartis à zéro; ils ont travaillé plutôt à partir de textes. Selon la procureure, on ne peut pas arriver à la conclusion que l’exercice n’était pas possible ou pas rigoureux.

[127]     Quant à l’argument de M. Bergeron fondé sur son expérience de gestion d’équipe à distance, la procureure soutient qu’il ne s’agit pas là d’une situation nécessairement exclusive à son unité de travail et qui mérite d’être traitée de façon particulière.

[128]     Enfin, globalement, elle suggère que l’échec de M. Bergeron au test de jugement situationnel dépend plutôt du fait qu’il a refusé l’exercice auquel il était convié, soit de prendre les mises en situation telles qu’elles étaient décrites, le questionnaire tel que proposé. Elle réitère en conséquence que la Commission devrait rejeter l’appel de M. Bergeron.

MOTIFS

[129]     L’appel de M. Bergeron est interjeté suivant l’article 35 de la Loi. La Commission est appelée à décider si la procédure d’évaluation de sa candidature a été entachée d’une illégalité ou d’une irrégularité, et ce, particulièrement au regard de l’article 49 de la Loi qui prévoit que la procédure doit être de nature à constater impartialement la valeur des candidats.

[130]     Dans une matière de nature administrative comme la tenue d’un concours de promotion, le fardeau de la preuve repose sur les épaules de la personne qui introduit l’appel, M. Bergeron en l’occurrence, et la Commission a à décider du litige selon la règle de la balance des probabilités, et ce, suivant la preuve qui lui a été présentée par les deux parties.

[131]     Cette preuve, la Commission va l’analyser sous trois volets : le processus de la réalisation du test de jugement situationnel, les erreurs dans son utilisation et enfin son contenu selon le type de questions posées et la façon de M. Bergeron d’y répondre.

Le processus de réalisation du test

[132]     La Commission a entendu les deux préposés de la firme CFC Dolmen à qui avait été donné le mandat de réaliser un test qui devait servir à tenir un concours de promotion pour pourvoir des emplois réguliers de cadre, classe 5, au MESS.

[133]     Tant M. Devinat que M^me Moreault ont établi à la satisfaction de la Commission, de par la formation et l’expérience dont ils ont pu faire état, qu’ils étaient des spécialistes de la réalisation d’instruments de mesure et d’évaluation de compétences et cette preuve n’a pas été contredite.

[134]     M. Devinat a exposé les grandes étapes de la préparation d’un test de jugement situationnel :

-       Analyse de l’emploi à partir du profil de compétences gouvernemental;

-       Collecte de ce qu’il est convenu d’appeler en ce domaine des incidents critiques, soit des cas fictifs ou réels proposant des situations auxquelles un cadre, classe 5, du MESS, est susceptible d’être confronté;

-       Rédaction d’une série de questions, réparties également selon les compétences à évaluer;

-       Validation du matériel auprès d’une forte proportion des cadres, classe 5, du MESS, soit environ le tiers d’entre eux;

-       Et, rédaction et sélection finales de 23 questions, dont 20 pour le test lui-même et trois pour servir d’exemples aux candidats, pour qu’ils puissent, préalablement à l’examen, se familiariser avec ce type de moyen d’évaluation.

[135]     Par la suite, M^me Moreault a pour sa part expliqué comment et dans quelles conditions ont été réalisées ces diverses étapes.

[136]     Pour s’assurer que les questions de l’examen allaient bien rendre compte de l’emploi de cadre, classe 5, au MESS, elle a exposé avoir procédé à leur élaboration en s’appuyant sur l’opinion d’un groupe dit d’experts, mis sur pied par la responsable du concours, M^me De Stephano, en collaboration avec le comité d’évaluation, lui-même constitué suivant les règles prévues à cet égard par le Règlement sur la tenue de concours.

[137]     À propos de ces experts, au nombre de douze, la Commission a pu constater qu’il s’agissait de cinq personnes provenant de différents CLEs, de deux directeurs régionaux d’Emploi Québec, d’un directeur de soutien aux opérations, d’une directrice d’un centre de communications avec la clientèle, du directeur d’un centre de recouvrement, d’un directeur de centre des services aux entreprises et d’une directrice régionale adjointe aux opérations. Huit d’entre elles étaient des cadres, classe 4, deux de classe 3 et deux de classe 2.

[138]     La Commission considère que cette composition du comité d’experts est satisfaisante, diversifiée même si elle ne comprend pas nécessairement des représentants de toutes les unités du MESS. La Commission note particulièrement que cette gamme de cadres correspond à ce qui est décrit dans l’avis de concours (A-1) où l’on peut lire que les emplois réguliers de cadre, classe 5, se retrouvent notamment dans des postes de directeur ou de directeur adjoint de CLEs, ou de directeur de centres de services régionalisés ou spécialisés ou encore de services d’opérations. Il ne faut donc pas se surprendre outre mesure, malgré ce qu’a déploré M. Bergeron, que le comité d’experts n’ait pas inclus de cadres d’unités qui ne comprennent pas ou peu de cadres, classe 5.

[139]     La Commission s’est attardée aussi à la lettre de convocation (I-27) adressée aux membres du comité d’experts dans laquelle on les invite à se préparer à la première rencontre en leur suggérant de :

-       Prendre connaissance du profil des compétences déjà identifiées par le comité d’évaluation;

-       Réfléchir à la façon dont elles s’appliquent afin de pouvoir en discuter en groupe;

-       Faire appel à leur expérience pour associer à chacune des compétences une histoire ou un événement qui représente bien un contexte de travail dans lequel peut être appelé à évoluer un cadre, classe 5, encore peu expérimenté;

-       Enfin, réfléchir à divers comportements « de niveaux variés d’efficacité (faible, à développer, satisfaisant, fort) » déjà observés dans des contextes semblables.

[140]     À moins d’une preuve contraire, on doit présumer de la bonne foi de chacun des membres du comité d’experts et qu’ils arrivaient donc à la rencontre du comité déjà relativement préparés à mettre en commun leurs suggestions respectives. La Commission ne retient pas la suggestion de M. Bergeron qu’ils n’avaient disposé que de cinq heures ou à peu près de travail utile par journée de rencontre et qu’il était difficile d’imaginer qu’ils avaient pu concevoir et finaliser les mises en situation avec rigueur. De plus, il s’agit là d’une affirmation qui n’est pas retenue, car inconciliable avec les témoignages de M^mes Moreault et De Stephano qui elles ont participé directement ou indirectement à ces événements.

[141]     Par ailleurs, la Commission a pris connaissance de l’ensemble des 23 questions retenues tant pour le test que les exemples de question. Elles étaient toutes du même type que celui qui peut être constaté à la lecture des exemples repris in extenso précédemment. Elles étaient pertinentes à l’objet du test qui était de présenter des situations auxquelles des cadres, classe 5, pouvaient être appelés à faire face.

[142]     Sur le plan de la validation du questionnaire, la Commission est satisfaite des explications du MESS. Un groupe témoin de 32 cadres, la plupart de classe 5, ont répondu aux 40 questions originelles; on a observé leur temps de réponse, recueilli leurs commentaires et, avec ce matériel, le comité d’experts a pu sélectionner celles qui lui apparaissaient les meilleures.

[143]     En ce qui a trait à l’attribution des points à accorder à chaque choix de réponse et l’ordre d’efficacité de ceux-ci, la Commission constate que les explications qui lui ont été fournies lui apparaissent raisonnables. M. Devinat a exposé quatre méthodes pour déterminer la façon d’attribuer des notes aux réponses et il affirme que celle retenue est parmi les plus reconnues dans le domaine de l’évaluation des compétences.

[144]     Selon lui, ce qui a été observé au fil de l’utilisation des tests de jugement situationnel, c’est que les candidats qui sont les plus performants, une fois dans un milieu de travail, sont ceux qui ont été capables d’identifier la meilleure réponse. D’où l’importance, en notation, d’accorder plus de points pour la meilleure et la moins bonne réponse, sur quatre, et moins pour les réponses situées de façon intermédiaire par un candidat.

[145]     Dans ce cas-ci, M. Bergeron juge incorrect qu’il soit accordé deux points à une personne qui n’a situé dans le bon ordre que la meilleure réponse, alors que celle qui a tout de même placé les deux meilleurs choix de réponse en première et seconde position, tout en ayant en plus les deux derniers au bon rang, n’aura qu’un seul point. Elle se trouve pourtant à avoir ses choix de troisième et quatrième rang dans le bon ordre, alors que l’autre n’a qu’un seul choix sur quatre dans l’ordre requis.

[146]     Tout en n’étant pas dépourvue d’une logique certaine, l’approche de M. Bergeron s’avère davantage axée sur une appréciation « statistique », si l’on peut dire, que comportementale. Ce que la Commission retient c’est que parmi des personnes qui peuvent avoir dans l’ensemble un bon jugement par rapport à diverses situations, l’expérience a démontré que parmi elles, il convient de chercher à sélectionner celles qui ont plus précisément la capacité de, rapidement, identifier la meilleure chose à faire et celle qu’il ne convient pas du tout de faire, étant donné le choix de solutions qui s’offre dans les circonstances.

[147]     L’approche d’attribuer 4 points pour quatre bonnes réponses, 3 pour l’identification de la meilleure et de la pire, 2 pour la meilleure seulement et 1 pour la moins bonne, apparaît raisonnable et conforme à l’objectif.

[148]     La Commission, en ce domaine, comme dans celui de la détermination des mises en situation dont il sera question plus loin, n’est pas un organisme de révision, comme le soutient avec raison le MESS. Une autre approche et une autre méthode de notation pourraient possiblement être également convenable, mais il s’agit, quant au choix à faire, d’une prérogative du comité d’évaluation et la Commission n’a pas à se substituer à la démarche d’évaluation qu’il retient, à moins qu’on ne lui prouve quelque anomalie significative.

[149]     M. Bergeron pousse plus loin sa critique et se demande si le fait que les candidats ne soient pas informés du détail de la correction, soit le nombre de points accordés selon tel ou tel agencement de réponses, peut influencer la façon de répondre.

[150]     Il demeure que, tel que les directives l’indiquaient, le maximum de points par question n’était atteignable que si les quatre choix de réponse étaient donnés dans le bon ordre. Et c’est le total des points qui permet d’atteindre le seuil de passage. On peut penser, suivant le raisonnement de M. Bergeron, qu’un candidat pourrait passer moins de temps à situer les réponses intermédiaires dans le bon ordre et donc en disposer davantage pour s’en tenir à identifier la meilleure et la pire. Mais cela n’est pas prouvé.

[151]     Bien que M. Devinat ait dit qu’il ne se sentait pas à l’aise de répondre à la question de M. Bergeron à ce sujet, sans avoir eu le temps de relire sur cet aspect, la Commission ne peut déduire de la seule hypothèse de M. Bergeron qu’elle fait preuve d’un manque de rigueur dans la conception de l’examen.

Le rôle d’erreurs dans l’utilisation du test

[152]     La Commission inclut sous ce sous-titre les critiques de M. Bergeron relativement aux problèmes reliés à la convocation à l’examen et à la rédaction d’une question et, en corollaire, à l’accroissement du stress auquel ces problèmes ont pu contribuer.

Les convocations

[153]     Le test de jugement situationnel, comme le concours global représentait pour M. Bergeron une étape importante pour pouvoir progresser dans sa carrière et il convient, comme il est mentionné dans un document du portail gouvernemental Carrières, de s’y présenter reposé et déterminé à le réussir. Toutefois, estime-t-il, pour cela, il faut que la confiance des participants dans l’instrument de mesure ne soit pas diminuée de par sa conception, ce qui a déjà été abordé, mais également de par la façon dont on l’utilise, y incluse sa présentation aux candidats.

[154]     À cet égard, il prétend que dès la première convocation à la procédure d’évaluation des candidats, il avait été ni plus ni moins que renversé qu’il ne fût prévu qu’une demi-journée pour deux examens, ce qui avait commencé à miner sa confiance dans la procédure.

[155]     Ses craintes ont par la suite été accrues à cet égard, dit-il, lorsqu’il a constaté l’erreur dans l’utilisation du singulier au lieu du pluriel dans l’exemple de question n° 3.

[156]     À sa question à M. Devinat pour savoir si le degré de stress d’un candidat dépend de l’importance que l’examen a pour lui et à celle à M^me Moreault pour savoir si une erreur comme celle qu’il a relevée n’enlevait pas de la crédibilité à l’instrument de mesure, les réponses ont été d’une part qu’il n’y avait pas, à la connaissance de M. Devinat d’étude empirique qui démontrait la première prétention et d’autre part, selon M^me Moreault, qui a reconnu l’erreur, qu’il était quand même possible, à la lecture de l’ensemble de la mise en situation de l’exemple n° 3, de comprendre qu’on parlait de l’équipe et non pas d’un seul individu.

[157]     La Commission, après analyse de ce dernier exemple, partage l’avis de M^me Moreault. Par ailleurs, la Commission ne peut conclure à un lien de cause à effet entre l’erreur dans la première convocation, corrigée en temps utile, et un accroissement de stress suffisant chez les candidats au point d’handicaper, pour cette raison, leur performance à l’examen.

L’erreur de vocabulaire

[158]     L’autre type d’erreurs auquel M. Bergeron fait appel pour expliquer sa contreperformance réside dans le mauvais choix du vocabulaire utilisé dans certaines questions. Il soumet ainsi que la formulation d’une question de l’examen présentait un des quatre choix de réponse en établissant que, comme cadre, classe 5, « Vous identifiez les objectifs […] ».

[159]     Selon ce qu’il a compris des explications de M^me Moreault relativement à cette question, c’est qu’il fallait que le cadre, classe 5, « rappelle » les objectifs, ce qui démontrait l’usage d’un anglicisme.

[160]     Le problème avec cette critique de M. Bergeron est qu’elle repose sur une perception erronée de sa part de ce que M^me Moreault a donné comme explications pour justifier le choix de réponse concerné.

Elle a dit, pour justifier que ce choix était la première à retenir parmi les solutions suggérées :

« Le comité d’experts a clairement souligné l’importance de mettre en place des indicateurs communs pour régler cette problématique, ce qui réfère à la notion d’efficacité d’équipe, ce qui contribue à créer la dynamique d’équipe. En mettant des objectifs et des indicateurs communs, ça amène les gens à se préoccuper des objectifs qui sont communs à l’équipe plutôt que de suivre leurs propres objectifs. »

[161]     M^me Moreault n’a pas dit qu’on demandait au cadre, classe 5, de « rappeler » des objectifs, mais d’en établir. La Commission comprend que dans ce choix de réponse, on utilisait le mot « identifier » dans un de ses sens premiers, soit « déterminer la nature[11] » et non comme anglicisme.

[162]     En résumé des aspects considérés quant à la façon dont le test a été utilisé, la Commission estime que la confiance en soi et le stress relèvent d’abord de caractéristiques personnelles et des moyens qu’une personne se donne pour la développer ou le contrôler. La preuve qu’on y a porté atteinte doit être plus lourde que la seule expression des sentiments ressentis et exposés dans ce cas-ci par M. Bergeron. La Commission ne partage pas la prétention de ce dernier que c’est en raison de ce seul stress qu’il n’a pas réussi le test de jugement situationnel et raté le concours.

Contenu et type de questions posées

[163]     Du témoignage de M. Devinat, M. Bergeron retient qu’il faut que les mises en situation soient plausibles et fassent référence au milieu de travail réel des gens au MESS.

[164]     C’est en ce sens qu’il prétend que les mises en situation doivent tenir compte de certains éléments qu’il estime incontournables dans leur exposé. À ce titre, il insiste sur deux d’entre eux : la notion de localisation des acteurs et le temps imparti pour les actions à poser selon les circonstances.

[165]     Par expérience, il sait qu’une équipe composée de personnes situées dans des régions différentes ne se réunit pas nécessairement aussi souvent et rapidement qu’une autre dans laquelle toutes sont localisées au même endroit. De même, pour lui, la notion de temps prend plus ou moins d’importance dans une action à poser. 

[166]     À partir de l’exemple n° 2, il exprime bien sa façon de voir les choses. C’est le cas d’un collègue qui est congédié sans que l’on puisse donner d’explications pour motif de confidentialité. Mais dans son choix d’ordonnancement des réponses, ces notions devaient nécessairement intervenir, soutient M. Bergeron, dans la perspective de maximiser l’efficacité de son action, la capacité réelle de réaliser celle-ci plus ou moins rapidement.

« On ne peut pas penser qu’il n’y a pas de question de temps dans cela. Est-ce que l’équipe va se réunir dans trois jours, une semaine, etc. »

            Et encore :

« J’ai besoin d’une durée. Si la personne est là depuis quatre heures, je ne réunirai pas l’équipe. Si cela fait huit ans, ça vaut peut-être une réunion. »

Et M. Bergeron de suggérer que tenir une réunion, comme le veut le meilleur choix de réponse, sans pouvoir donner de détails sur le congédiement, risque d’amener la diffusion de ragots à ce sujet.

[167]     Dans le cas de l’exemple n° 1, dans lequel des absences mènent à des retards dans l’exécution d’une activité, M. Bergeron dit avoir un gros doute que commencer par demander à son chef d’équipe un plan d’action pour redresser la situation constitue la meilleure façon, comme l’a retenu le comité d’experts, d’éviter de nouveaux retards. Mais le doute qu’il peut avoir ne remet pas en cause le choix de privilégier cette approche, loin d’être déraisonnable pour qui pense non seulement en termes de résultat mais aussi en termes de résultat d’équipe.

[168]     Enfin, l’exemple n° 3 est bien représentatif de la progression dans l’indice de difficulté des questions qu’un candidat peut rencontrer dans un test. Sous le couvert d’une situation, pour certains en apparence anodine, le fait qu’on parle dans une langue inconnue dans son environnement de travail, peut se camoufler une réaction épidermique à la présence de collègues d’origine étrangère. La Commission comprend que pour le comité d’experts, il s’est agi d’une mise en situation par laquelle pouvait se vérifier la compétence d’ouverture à la diversité par le soin à apporter à la façon de bien circonscrire le problème avant d’agir. Que cet exemple n’ait obtenu que plus ou moins 50 % de bonnes réponses au moment de l’expérimentation démontre que la question permet de démarquer certains candidats par rapport à d’autres, ce qui est l’objectif de tout examen.

[169]     Les hypothèses avancées par M. Bergeron ne sont pas inimaginables, mais ce ne sont pas celles envisagées par la mise en situation. En les imaginant et en s’arrêtant aux conséquences qu’elles pourraient avoir sur la façon de régler le problème, il s’éloigne de l’objectif du test : laquelle des pistes de solution avancées est la plus susceptible de donner le meilleur résultat dans les seules circonstances énoncées. Par la suite, il est demandé d’appliquer le même raisonnement aux choix de réponse qui restent. Pour paraphraser l’extrait de la décision Gallish invoqué par le MESS dans sa plaidoirie, M. Bergeron a interprété des éléments des mises en situation et, dans son raisonnement, en a parfois ajouté d’autres.

[170]     Les directives au participant apparaissant au début de la copie d’examen (I-11) étaient claires.

« °  Évaluez l’efficacité de chaque choix de réponse indépendamment l’un de l’autre, selon son efficacité à résoudre la situation. Il ne s’agit donc pas de classer les réponses en ordre chronologique ou en étapes distinctes, mais bien par ordre d’efficacité, en évaluant chaque choix de réponse de façon isolée ou indépendante.

° Il se peut que les possibilités d’action ne correspondent pas aux comportements que vous adopteriez dans ces situations; l’objectif est d’évaluer votre jugement quant à l’efficacité des possibilités d’action qui vous sont présentées.

° Les mises en situation et les possibilités d’action qui leur sont associées comprennent toute l’information nécessaire vous permettant d’effectuer un choix d’ordonnancement. »

[171]     Le test de jugement situationnel est essentiellement un jeu de rôle. En ajoutant à une mise en situation des données qu’elle ne renferme pas, on change une partie des règles du jeu et on fausse son mode d’utilisation.

[172]     Comme l’a plaidé le MESS, M. Bergeron s’est posé des questions au-delà de ce qui était énoncé, plutôt que de prendre les mises en situation telles qu’elles étaient présentées.

[173]     Il faut que les situations et les choix de réponse soient « conçus de manière à ce qu’une personne provenant de l’un ou l’autre des secteurs d’activités du MESS puisse y répondre », comme l’indique correctement la note de bas de page du document d’information adressé aux candidats avant la tenue de l’examen. Mais cela ne justifie pas que ces derniers doivent s’attendre à ce que les questions soient conçues en fonction de réalités qui seraient les mêmes pour tous les candidats. La Commission est d’accord avec M^me Moreault lorsqu’elle soutient que « S’il fallait tenir compte du contexte de tout le monde, on ne serait pas capable de faire un examen. »

[174]     De plus, la Commission ajoute que si un examen devait tenter de poursuivre cet objectif, il y a de fortes chances que le résultat irait à l’encontre de l’article 49 de la Loi qui demande de constater impartialement la valeur des candidats : plus les questions colleraient à la réalité d’un groupe, plus elles se distanceraient de celle d’un autre.

[175]     Dans un dernier ordre d’idées, en considérant que l’absence, par exemple, d’énoncé d’un délai pour poser une action démontrait une lacune dans la conception de certaines mises en situation, M. Bergeron, avec respect pour l’opinion contraire, a tort. Il faut se rappeler que le test est le produit du consensus de 12 « experts de l’emploi » qui ont imaginé des mises en situation, dans l’objectif d’évaluer des compétences définies, et suggéré différentes solutions qu’ils ont jugé de nature à solutionner, à un degré différent, les problèmes.

[176]     M. Bergeron peut bien estimer que parmi globalement les 80 choix de réponse des 20 questions, certains ne seraient pas, dans la réalité, toujours les meilleurs choix dans le même ordre que celui retenu. Mais là n’est pas ce qui importe.

[177]     Ce que M. Bergeron devait démontrer c’est que le concours constituait un exercice soit illégal, soit déraisonnable dans sa façon d’évaluer les candidats. La Commission conclut qu’il n’y a pas réussi.

[178]     La Commission constate que la procédure d’évaluation, incluant le test de jugement situationnel utilisé dans le cadre du concours de promotion n° 635D-7006006, n’a pas été entachée d’une illégalité ou d’une irrégularité.

[179]     POUR CES MOTIFS, la Commission rejette l’appel de M. Jean-Paul Bergeron.

Original signé par :
		_____________________________ Robert Hardy, avocat Commissaire
M. Jean-Paul Bergeron
Appelant non représenté
Me Claire Lapointe
Procureure pour l’intimé
Lieu de l’audience :	Montréal
Dates de l’audience :	11, 12 et 13 juin 2013