The Canadian Journal of Higher Education La revue canadienne d'enseignement supérieur Volume XXVI-3,1996, pages 79-124 Examen critique de six questionnaires d'évaluation de l'enseignement par des étudiants en contexte universitaire HÉLÈNE POISSANT Université du Québec à Montréal Résumé L'évaluation de l ' e n s e i g n e m e n t par les étudiants est devenue une pratique courante dans les établissements d'enseignement supérieur canadiens et américains. Son emploi de pus en plus fréquent dans les prises de décisions affectant la promotion des professeurs d'universités exige de nouveaux critères de qualité élevés. En fait, les exigences de qualité devraient être d'autant plus élevées que les conséquences de l'évaluation sur la carrière du professeur sont importantes. Trop souvent encore des outils employés pour la sélection du personnel universitaire ne sont pas appropriés à un tel contexte d'évaluation. Par ailleurs, les coûts h u m a i n s e n t r a î n e s par un m a u v a i s e m p l o i des i n s t r u m e n t s d'évaluation, notamment la perte d'emploi, peuvent être évités par une meilleure utilisation des ressources d ' é v a l u a t i o n . Par le biasis de l'analyse d'un échantillon des questionnaires d'évaluation présentement utilisé dans une université canadienne nous suggérons quelques pistes pour un meilleur emploi. 80 H. Poissant Abstract The assessment of teaching by students has become a current practice in establishments of higher education in Canada and the United States. Its use, i n c r e a s i n g l y f r e q u e n t in d e c i s i o n - m a k i n g f o r p r o m o t i o n of university professors, demands new and high criteria of quality. In fact, d e m a n d s of q u a l i t y w o u l d h a v e to b e r a i s e d all t h e m o r e t h a t c o n s e q u e n c e s of the evaluation on the career of the p r o f e s s o r are important. Too often instruments employed for the selection of the p r o f e s s o r s are n o t a p p r o p r i a t e to s u c h a c o n t e x t of e v a l u a t i o n . Furthermore, human costs entailed by a bad use of instruments of evaluation, notably the loss of job, can be avoided by a best utilization of evaluation resources. By means of the analysis of a sample of evaluation questionnaires presently used in a Canadian university, we suggest some track for a best use. L ' é v a l u a t i o n de l ' e n s e i g n e m e n t par les étudiants est devenue une pratique courante dans les établissements d'enseignement supérieur canadiens. Son emploi de plus en plus fréquent dans les prises de décision affectant la promotion des professeurs d'universités exige de nouveaux critères de qualité élevés. En fait, les exigences de qualité devraient être d'autant plus élevées que les conséquences de l'évaluation sur la carrière du professeur sont importantes. Dans un article précédent (Poissant, 1995) nous soulignions que trop souvent encore des outils employés pour la sélection du personnel universitaire ne sont pas a p p r o p r i é s à un tel c o n t e x t e d ' é v a l u a t i o n . N o u s p o u r s u i v i o n s en mentionnant que les coûts humains entraînés par un mauvais emploi des instruments d'évaluation, notamment la perte d'emploi, pouvaient être évités par une meilleure utilisation des ressources d'évaluation. Par le biais de l ' a n a l y s e d ' u n échantillon de questionnaires d ' é v a l u a t i o n présentement utilisé dans une université canadienne nous suggérons quelques pistes pour un meilleur emploi. Canadian Journal of Higher Education Vol XXVI-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 81 L'Énoncé de principes sur l'évaluation des cours selon l'A.C.P.U L'Association Canadienne des Professeurs d'Université (l'A.C.P.U) reconnaît, à l'instar d'un nombre croissant d'universités, le besoin de faire des évaluations des cours et des programmes universitaires. Ces besoins originent entre autres des gouvernements qui, en période de restrictions budgétaires, demandent aux universités de plus en plus de rendre compte des subventions consenties. Dans un document émis en juillet 1990 intitulé: Énoncé de principes sur l'évaluation des cours et des programmes universitaires, l ' A s s o c i a t i o n est d ' a v i s q u ' i l faut évaluer les cours «dans le seul but de déterminer dans quelle mesure ils contribuent aux objectifs d'enseignement de l'université» et «qu'il ne faut pas y recourir pour évaluer l'efficacité de l'enseignement des professeurs». Elle est consciente néanmoins que l'évaluation des cours peut avoir des répercussions sur les professeurs. Elle recommande donc que les évaluateurs se limitent seulement aux informations utiles à l'évaluation de la qualité des cours. De plus, selon l'Association, l'évaluation des cours requiert, avant sa mise en application, qu'une entente préalable soit prise entre le syndicat des professeurs et les administrateurs ou les autres instances supérieures de l'université. Une entente préalable entre ces mêmes partis devrait aussi être prise lorsque l'évaluation sert à déterminer le rendement individuel du professeur pour des fins de décision affectant son statut universitaire. L'établissement des critères de rendement de l'enseignement, de la recherche, et des services à la collectivité devraient toujours, selon l'Association, se faire en concertation et au sein même de l'université plutôt que par des agents externes. De plus, l'Association insiste pour que les procédures d'évaluation soient clairement établies à l'avance. Enfin, l'Association énonce quelques responsabilités qui incombent aux évaluateurs. Elle met en garde contre la tentation de confondre l'évaluation de cours avec celle du professeur. L'évaluation de cours (ou de programme) ne doit pas en aucun cas servir pour évaluer le rendement individuel du professeur. Aussi, les questions dans un questionnaire sur l'efficacité d'enseignement qui ont trait à la pertinence d'un cours donné pour un programme sont non équitables de ce point de Canadian Journal ofHigher Education Vol. XXV1-3,1996 82 H. Poissant vue. Nous verrons dans notre analyse ultérieure d ' u n échantillon de questionnaires employés dans une université canadienne que cette confusion est en fait courante. Par ailleurs, selon l'Association, un évaluateur qui soupçonne que son mandat a été pour quelque raison que ce soit «détourné» de son objectif premier devrait interrompre ses activités et refuser de rédiger ou de soumettre son rapport. L'évaluation de l'enseignement à des fins statutaires La plupart des universités québécoises et canadiennes reconnaissent aujourd'hui la nécessité de faire une évaluation continue et dynamique de l'enseignement universitaire aux fins premières d'améliorer l'enseignement et de favoriser un meilleur apprentissage de l'étudiant. Au delà de ce principe, les universités souscrivent aussi de plus en plus à l'idée d'utiliser les résultats des évaluations à des fins statutaires c'est-àdire pour fournir des informations aux instances décisionnelles qui doivent se pencher sur les questions de renouvellement de nomination ou sur la promotion des professeurs. Malgré l'écart de perspective entre ce type d'évaluation et l'évaluation formative qui sert plutôt à donner des informations ponctuelles à la demande et selon la volonté du professeur seul, le premier type d'évaluation ne devrait pas, selon l'Association, perdre de vue son but premier à savoir, / 'amélioration de l'enseignement. Par ailleurs, plusieurs auteurs s'entendent pour recommander l'emploi à'informations globales collectées d ' u n e année à l'autre et de façon confidentielle lorsqu'il s'agit d ' u n e évaluation statutaire (voir par exemple, Poissant, 1995). De plus, plusieurs reconnaissent que les circonstances particulières qui ont entouré la prestation de cours du professeur, de même que celles qui ont prévalu dans son unité académique au moment de cette prestation doivent être mises à jour et considérées dans l'interprétation des résultats des évaluations. Enfin, certaines universités à l'instar des données scientifiques dans le domaine de la mesure et de l'évaluation utilisent d'autres sources d'information que les étudiants. L'évaluation de l'enseignement par les pairs lorsqu'elle est effectuée préalablement à toute décision statutaire, de même que l'appel Canadian Journal of Higher Education Vol.XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 83 aux jugements d'anciens étudiants s'avèrent de plus en plus souvent des sources principales d'information, uniques ou complémentaires. Examen des questionnaires d'évaluation de l'enseignement Un e x a m e n de q u e l q u e s - u n e s des p o l i t i q u e s en v i g u e u r dans une université canadienne nous a permis de constater que l'évaluation des professeurs relève encore, dans certaines Facultés ou Écoles, d ' u n e pratique volontaire. L'évaluation des professeurs ne se fait donc pas de façon systématique pour tous les professeurs sur ce campus universitaire. Cependant, il semble que ce soit là une exception puisque la tendance actuelle au niveau national indique que l'évaluation de l'enseignement par les étudiants devient une pratique de plus en plus courante dans les décisions administratives. Dans la présente recherche nous avons choisi d'effectuer un examen de six questionnaires d'évaluation employés présentement dans quatre Facultés et deux Écoles d ' u n e université canadienne. Le choix des questionnaires fut basé sur le fait que ceux-ci étaient utilisés de façon systématique dans leurs Facultés et Écoles respectives afin d'évaluer leurs professeurs et de prendre des décisions administratives. De plus, bien que provenant tous de la même université, ils nous semblent être représentatifs des instruments de mesure p r é s e n t e m e n t utilisés en évaluation de l'enseignement universitaire. Dans les prochaines sections nous ferons donc l'analyse des questionnaires d ' é v a l u a t i o n de ces Facultés et Écoles que nous désignerons simplement par un numéro (Faculté no. 1, École no.l, etc.). Notre examen critique est basé, entre autres, sur la considération des données scientifiques qui ont déjà fait l'objet d ' u n article antérieur (Poissant, 1995) ainsi que sur certaines recommandations émises par l'A.C.P.U. Pour l'analyse proprement dite des questionnaires nous avons choisi d'appliquer la liste des dimensions de Feldman (1976). Feldman a établi cette liste en vue tout d'abord de connaître les dimensions des questionnaires d'évaluation qui ont le plus souvent fait l'objet d'études de validité. Cette liste nous informe du même coup sur les dimensions contenues généralement dans les questionnaires d'évaluation. Pour nos Canadian Journal ofHigher Education Vol. XXV1-3,1996 84 H. Poissant propres fins, cette liste s'avère un instrument utile en fournissant un point de référence fixe à partir duquel nous pouvons comparer les différents questionnaires. Sans que nous nous attendions à ce qu'un questionnaire donné recoupe l'ensemble des 23 dimensions répertoriées par Feldman, sa comparaison avec une liste de référence permet d'établir le degré d'exhaustivité du questionnaire. Nous pouvons ainsi aisément observer si certains q u e s t i o n n a i r e s sont plus e x h a u s t i f s et m o i n s redondants que d'autres parce qu'ils regroupent une plus grande variété de dimensions. L'exercice de comparaison donne aussi un indice objectif quant aux priorités ou aux valeurs accordées par les différentes Facultés et É c o l e s à c e r t a i n e s d i m e n s i o n s p a r t i c u l i è r e s (voir la liste des dimensions de Feldman produite à l'annexe 1). Cet exercice de classification de toutes les questions contenues dans les six questionnaires étudiés (au total 152 questions) à l'intérieur d'un ensemble donné de dimensions et par la suite la comparaison des d i m e n s i o n s p a r t i c u l a r i s é e s par les d i f f é r e n t s q u e s t i o n n a i r e s des différentes Écoles et Facultés forment le corps du présent travail. Faculté no. 1 Le questionnaire employé par la première Faculté est composé de quatre sections distinctes comprenant des questions à choix multiples et d'une question ouverte, en plus d'une première partie contenant des questions relatives aux étudiants. La première partie contient ainsi certains renseignements utiles sur l'étudiant, notamment sa moyenne cumulative, son programme d'études, le nombre de trimestres accomplis dans son programme et le statut du cours visé par le questionnaire (obligatoire ou optionnel). La politique relative à l'évaluation ne mentionne cependant pas pour cette partie l'existence d'un plan d'analyse statistique. Pourtant les données scientifiques dans le domaine mentionnent l'existence de biais connus reliés à certains de ces facteurs pris isolément ou de façon combinée (Braskamp et Ory, 1994; Poissant, 1995). Nous suggérons donc que des analyses corrélationnelles soient effectuées de façon systématique afin de débusquer l'existence possible de biais associés à ces facteurs. De même, des dispositions doivent être prévues dans Canadian Journal ofHigher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 85 l'éventualité qu'un effet attribuable à ces facteurs se soit produit (voir la liste de Braskamp et Ory, 1994, en annexe 2). De plus, la liste des renseignements fournis dans la première partie n'est pas complète si l'on se rapporte à l'ensemble des biais potentiels connus et communément associés à l'évaluation. Pour être complète, une telle liste doit tenir c o m p t e des études de v a l i d i t é p r é s e n t e m e n t disponibles dans la documentation scientifique. Nous suggérons que les o p é r a t i o n s d ' é v a l u a t i o n r a s s e m b l e n t m i n i m a l e m e n t les é l é m e n t s d'information suivants: • s'agit-il d'un cours au choix ou d'un cours obligatoire? • s'agit-il d ' u n cours avancé ou de d e u x i è m e et troisième cycles? • s'agit-il d'une classe où le nombre d'étudiants est peu élevé ou élevé? • les étudiants s'attendent-ils à recevoir des notes élevées (grading leniency effect)? • les étudiants ont-ils un intérêt préalable par rapport au cours? • les étudiants sont-ils inscrits dans une «majeure» ou dans une «mineure»? • l'étudiant est-il du même sexe que le professeur (masculinmasculin ou féminin-féminin)? Il existe également des effets combinés de ces facteurs qui peuvent augmenter leurs effets respectifs. Il est donc aussi nécessaire de faire des analyses statistiques plus poussées afin de découvrir l'existence possible d'effets d'interaction de ces facteurs. En dépit de la variété rencontrée, les questionnaires d'évaluation se présentent presque toujours sous la forme d ' u n e échelle de cotation (rating scale) comprenant un nombre limité et défini de questions ou de dimensions avec un choix de réponses. Cette façon de faire semble prévaloir aussi bien en contexte canadien qu'américain ce qui en fait la norme actuelle. Cette pratique pourtant largement répandue n'a pas été retenue ici puisque les questions sont de type binaire (oui/non). Par ailleurs, le questionnaire no. 1 est de type multidimensionnel puisqu'il Canadian Journal ofHigher Education Vol. XXV1-3,1996 86 H. Poissant contient un ensemble d'items spécifiques qui reflètent des construits ou des dimensions distincts se rapportant à diverses habiletés, dans ce cas-ci «la qualité des programmes» (section 1), «la qualité des cours et des ressources pédagogiques» (section 2) et «les qualités pédagogiques des e n s e i g n a n t s » (section 3). Les items s p é c i f i q u e s c o n c e r n e n t ainsi d i f f é r e n t e s c a t é g o r i e s de d i m e n s i o n s . Les q u e s t i o n n a i r e s de type multidimensionnel peuvent aussi contenir des items généraux reflétant l'évaluation générale par l'étudiant (par exemple: «Comment jugez-vous l'habileté générale du professeur?»). Dans le questionnaire à l'étude nous n'avons pas retrouvé de questions correspondant à des items généraux. L e s d e u x i è m e et t r o i s i è m e s e c t i o n s du q u e s t i o n n a i r e o n t particulièrement retenu notre attention en raison de leur buts qui tous les deux touchent à l'amélioration de la qualité d'enseignement. Pour cette raison nous avons soumis ces deux sections à une analyse à partir de la liste de dimensions établie par Feldman (1976). Il s'agit en effet de vérifier si certaines dimensions de la liste de Feldman apparaissent ou n o n d a n s le q u e s t i o n n a i r e é t u d i é ici. L a d e u x i è m e s e c t i o n du questionnaire vise plus spécifiquement Y amélioration de la qualité des cours et des ressources pédagogiques. Cette section comprend quatorze questions de type binaire et une question ouverte. Elle concerne des aspects tels que «l'adéquation entre les crédits accordés et le travail requis», «la p e r t i n e n c e des préalables et des c o n c o m i t a n t s » , «les m é t h o d e s p é d a g o g i q u e s et le m a t é r i e l d i d a c t i q u e u t i l i s é s » , «l'encadrement des travaux dirigés», «les conditions d'apprentissage», etc. La politique prévoit que la teneur de cette section et le plan d'analyse statistique soient déterminés par le directeur en concertation avec l'unité départementale. À n o t r e avis les q u e s t i o n s #2 à #11 de la d e u x i è m e s e c t i o n pourraient aussi être utilisées à des fins d'évaluation de l'enseignement du professeur. Elles font en effet partie des dimensions qui composent g é n é r a l e m e n t les q u e s t i o n n a i r e s d ' é v a l u a t i o n de l ' e f f i c a c i t é d'enseignement. Ces dimensions correspondent par ailleurs toutes à des items spécifiques (ex: le plan du cours me paraît suffisamment détaillé) plutôt que globaux (ex: en général ce fut un cours efficace). Nous avons déjà longuement abordé dans un article antérieur les avantages respectifs CanadianJournalof Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 87 liés à l'emploi d'items spécifiques ou d'items généraux dans les contextes d'évaluation formative ou sommative. Les études que nous reçensions alors concluaient qu'il était préférable d'employer des items généraux dans le cadre d'une évaluation sommative tandis que les items spécifiques sont plus utiles dans le cadre d'une évaluation formative (Poissant, 1995). Cette r e m a r q u e vaudra donc pour tous les questionnaires étudiés ici. Nous avons donc tenté de faire correspondre les dimensions (questions) de cette deuxième section du questionnaire avec les dimensions le plus couramment utilisées dans les questionnaires de ce type. D'après notre examen, les quatorze questions contenues dans la deuxième section du questionnaire à l'étude reflètent neuf des vingt-trois dimensions établies par Feldman (1976). À notre avis les questions 12, 13 et 14 devraient faire l'objet d'analyse statistiques indépendantes et ne sauraient être utilisées pour l'évaluation du professeur. Elles relèvent de dimensions qui peuvent avoir des effets simples ou combinés sur l'évaluation du professeur sans pour autant que ce dernier ait une quelconque emprise sur ces facteurs. L'interprétation des résultats des évaluations doit tenir compte de ces biais potentiels et prévoir des mesures appropriées advenant que ces biais aient effectivement joué. La question 11 du questionnaire («La politique facultaire en matière de consolidation de la connaissance du français est appliquée dans ce cours») ne se trouve pas, en raison de sa particularité, représentée dans la liste des dimensions de Feldman, cependant elle nous paraît appropriée ici. Enfin, il nous paraît que la question 1 («Le cours a les préalables et les concomitants pertinents») peut d i f f i c i l e m e n t être évaluée par des nouveaux étudiants qui connaissent encore peu l'ensemble des cours existants dans leur p r o g r a m m e . Elle relève plutôt à notre avis de l ' é v a l u a t i o n de programme. De plus, l'emploi du terme «concomitants» peut donner lieu à une interprétation erronnée. Il faudrait, à notre avis lui substituer un terme de vocabulaire plus courant ou en donner une définition préalable. Nous notons finalement que certaines dimensions se trouvent doublement représentées, par exemple «l'équité dans les évaluations» (questions 8 et 9), alors que d'autres sont sous-représentées, par Canadian Journal of Higher Education Vol. XXV1-3,1996 88 H. Poissant Tableau 1 Les neuf dimensions représentées dans la section 2 du questionnaire no. 1 (d'après Feldman, 1976) Charge de travail En regard du Règlement du 1er cycle, qui prévoit deux heures de travail personnel par heure de cours, j'estime que la charge de travail de ce cours est conforme à la norme (Question 2) Clarté, respect et atteinte des objectifs de cours Le plan de cours me paraît suffisamment détaillé (Question 3) Préparation et organisation du cours J'estime que la formule pédagogique du cours est adéquate (Question 4) Disponibilité et aide J'estime que l'encadrement des étudiants est adéquat (Question 5) Clarté et compréhension Lorsque des travaux sont exigés, les directives me paraissent énoncées avec suffisamment de précision (Question 6) Pertinence et valeur du matériel de cours À mon avis, le matériel didactique (notes de cours, recueils de textes, etc.) facilite l'apprentissage (Question 7) Equité dans l'évaluation Les modes d'évaluation ont été communiqués aux étudiants au début du trimestre (Question 8) Les évaluations portent sur des aspects de la matière effectivement traités dans le cours (Question 9) Feedback Les commentaires faits par l'enseignant lors de l'évaluation des travaux, essais et des examens permettent, à mon avis, aux étudiants de progresser dans leur apprentissage (Question 10) Divers Dans ce groupe, la taille du groupe (ou des groupes) me paraît convenable (Question 12) L'horaire de ce cours me paraît convenable (Question 13) Les locaux attribués à ce cours me paraissent convenables (Question 14) Canadian Journal ofHigher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 89 exemple, «la connaissance du sujet». Nous savons à cet égard qu'une répartition non égale des questions sous les différentes dimensions entraîne certains problèmes, notamment celui de favoriser davantage un professeur qui obtient une cote élevée dans la ou les dimensions les mieux représentées et de défavoriser le professeur qui obtient une cote élevée pour des dimensions moins bien représentées (voir Abrami et d'Appolonia, 1990 et Poissant, 1995a et b pour une discussion à ce sujet). La troisième section du questionnaire vise Y amélioration des qualités pédagogiques des enseignants et «peut servir à leur évaluation par leur directeur» en fonction des conventions collectives. Cette section contient 9 questions de type binaire et une question ouverte. Bien que les différentes q u e s t i o n s p u i s s e n t de p r i m e a b o r d d o n n e r l ' i m p r e s s i o n , par leur formulation, de représenter des items généraux (lesquels sont plus propices à l'évaluation sommative) nous avons tendance à considérer qu'il s'agit ici plutôt d'items spécifiques. Les items généraux contenus dans la classification de Feldman (1976) nous paraissent en effet plus généraux (ex. «En général le professeur était efficace») que ceux contenus dans le présent questionnaire (ex: «De façon générale, j'estime que l'enseignant suscite et maintient l'intérêt des étudiants pour la matière enseignée dans ce cours»). Cette impression se confirme par le fait que nous avons trouvé aisément des dimensions spécifiques dans la classification de Feldman qui correspondaient aux dimensions du questionnaire étudié. Notre examen a ainsi permi de dégager que les neuf questions de la section 3 sont représentées par sept dimensions spécifiques. L'ensemble des questions proposées dans la troisième section nous p a r a î t c o n v e n i r r a i s o n n a b l e m e n t aux b u t s p o u r s u i v i s à s a v o i r , Y amélioration des qualités pédagogiques des enseignants. Nous avons vu cependant que plusieurs auteurs mettent en garde les preneurs de décision contre l'emploi d'items spécifiques lorsque l'évaluation sert à des fins sommatives. Par ailleurs, certaines dimensions sont encore ici doublement représentées. C'est le cas pour les dimensions « Stimulation de l'intérêt» (Questions 4 et 5) et «Défi intellectuel et encouragement à la pensée indépendante» (Questions 6 et 7). Cette caractéristique dans la construction du questionnaire est sujette aux mêmes précautions et limitations que celle mentionnées plus haut pour la deuxième section. Canadian Journal of Higher Education Vol. XXV1-3,1996 90 H. Poissant Tableau 2 Les sept dimensions représentées dans la section 3 du questionnaire no. 1 (d'après Feldman, 1976) Clarté et compréhension En général, les exposés de l'enseignant sont clairs (Question 1) Préparation et organisation du cours L'enseignant a, de façon générale, respecté le plan du cours (Question 2) Niveau de la classe et progrès À mon avis, l'enseignant a ordonné le contenu du cours de manière à faciliter la progression des étudiants (Question 3) Stimulation de l'intérêt De façon générale, j'estime que l'enseignant éveille et entretient l'attention des étudiants (Question 4) D e f a ç o n g é n é r a l e , j ' e s t i m e q u e l ' e n s e i g n a n t suscite et m a i n t i e n t l ' i n t é r ê t d e s é t u d i a n t s p o u r la m a t i è r e e n s e i g n é e d a n s ce c o u r s ( Q u e s t i o n 5) Défi intellectuel et encouragement à la pensée indépendante De façon générale, j'estime que l'enseignant suscite et entretient chez les étudiants le désir de progresser sur le plan intellectuel (Question 6) De façon générale, j'estime que l'enseignant manifeste un réel souci de rigueur intellectuelle (Question 7) Préoccupation et respect pour les étudiants De façon générale, l'enseignant est attentif aux réactions des étudiants (Question 8) Disponibilité et aide Lorsque cela s'est révélé nécessaire, l'enseignant a donné aux étudiants la possibilité de le rencontrer (Question 9) Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 91 Enfin la comparaison des sections deux et trois du questionnaire permet d'établir des recoupements dans les dimensions représentées. Ainsi les dimensions «Préparation et organisation du cours», «Clarté et compréhension» et «Disponibilité et aide» sont représentées dans les deux sections. Par ailleurs, les dimensions «stimulation de l'intérêt», «Équité dans l'évaluation», et «Défi intellectuel» sont doublement représentées dans l'une ou l'autre section du questionnaire. Ceci donne certainement un indice de la valeur accordée à ces facteurs par la Faculté. Par ailleurs, nous n'avons trouvé aucun item général du type de ceux établis et recommandés dans la documentation scientifique. Aussi des questions du type: «En général ce fut un cours efficace» et «En général le professeur était efficace» pourraient être substituées ou du moins ajoutées à celles qui représentent deux fois les mêmes dimensions. La quatrième section du questionnaire est composée de questions dont le choix est laissé à la discrétion de l'enseignant, ce qui constitue à notre avis une initiative intéressante. Un espace est aussi prévu dans les c a s où le p r o f e s s e u r ou le d i r e c t e u r v o u d r a i e n t d o n n e r d e s renseignements sur des circonstances particulières pouvant avoir affecté les résultats. Cette disposition est en partie conforme avec l'énoncé de l'A.C.P.U qui prévoit que les personnes directement visées par la procédure d'évaluation, par exemple les professeurs, aient l'occasion de «commenter le rapport préliminaire d'évaluation». Ceci va aussi dans le sens des auteurs qui défendent l'emploi de Vauto-évaluation par les professeurs comme source d'information utile sur leur propre activité pédagogique. Pour ces raisons, les renseignements qu'ils fournissent doivent, selon nous, être considérés comme des éléments fondamentaux dans les prises de décisions administratives. De plus, lorsqu'il s'agit de décision concernant la promotion des professeurs, les données fournies par celui-ci devraient, à notre avis, avoir préséance sur celles fournies par le directeur du département. D'après la documentation que nous avons couverte (voir Centra, 1977; Seldin, 1984, Poissant b), le directeur n'est pas considéré comme une source valable pour décrire ce qui s'est véritablement déroulé dans la classe du professeur. Canadian Journal of Higher Education Vol. XXV1-3,1996 92 H. Poissant École no. 1 Le questionnaire no. 2 contient au total 27 questions divisées en cinq sections inégales en nombre de questions: le «cours» (8 questions), la « p é d a g o g i e » (4 q u e s t i o n s ) , le « p r o f e s s e u r ou la p r o f e s s e u r e » (7 q u e s t i o n s ) , « l ' é v a l u a t i o n d e s a p p r e n t i s s a g e s » (7 q u e s t i o n s ) et «l'appréciation générale de l'enseignement reçu» (1 question). Toutes ces questions représentent des items spécifiques sauf la dernière qui représente un item global ( question 27: «Dans l'ensemble, j'ai apprécié l'enseignement de la ou du titulaire du cours»). De plus, le questionnaire en est un de type multidimensionnel et se présente sous la forme d'une échelle de cotation en q u a t r e p o i n t s ( « t o t a l e m e n t en a c c o r d » à «totalement en désaccord»). Nous avons déjà mentionné que l'emploi d'items spécifiques dans un questionnaire de type multidimensionnel a été critiqué par certains spécialistes dans le domaine. L'examen des questions nous amène, dans un premier temps, à suggérer un traitement statistique indépendant pour deux des questions contenues dans la section «cours». Il s'agit de la question 4 («Le contenu du cours recoupe très peu la matière d'autres cours») et de la question 8 («J'ai fourni les efforts requis pour faire les apprentissages attendus»), La question 4 relève à notre point de vue de l'évaluation de programme. Par ailleurs, la question 8 correspond à une auto-évaluation de l'étudiant. Si en effet l'effort des étudiants est une composante importante dans leur apprentissage, le professeur ne saurait être tenu responsable ou pénalisé à cause d ' u n manque d'effort de la part de ses étudiants. Pour cette raison cette question devrait être considérée à part. La question 7: «J'assiste à ce cours avec intérêt» pourrait aussi à notre avis être soumise pour la même raison à cette restriction. Il a été démontré en effet que les évaluations des professeurs sont affectées favorablement lorsque les étudiants ont un intérêt préalable envers le cours enseigné. Nous lui préférons la question 13 du même questionnaire qui se lit comme suit: «La ou le titulaire du cours sait maintenir mon attention». L'examen des questions permet de dire qu'elles couvrent au total douze des vingt-trois dimensions établies dans la liste de Feldman (1976). Nous avons pu établir que les dimensions suivantes étaient représentée dans le questionnaire. Canadian Journal ofHigher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 93 Tableau 3 Les douze dimensions représentées dans le questionnaire no. 2 (d'après Feldman, 1976) Clarté, respect et atteinte des objectifs de cours Les objectifs du cours sont présentés au début de la session (Question 1) Les objectifs du cours sont énoncés clairement (Question 2) L'ensemble des activités permet d'atteindre les objectifs fixés (Question 5). Préparation et organisation du cours Le contenu du cours est présenté de façon structuré (Question 3) L'enseignement de la ou du titulaire du cours témoigne d'une bonne préparation ( Question 18) Résultats perçus Le cours me permet d'augmenter, de façon importante, mon niveau de connaissance (Question 6) L'apprentissage est facilité par la ou les formules pédagogiques retenues (Question 9) Défi intellectuel et encouragement à la pensée indépendante L'approche pédagogique permet de développer un sens critique (Question 10) Pertinence et valeur du matériel de cours Les documents d'accompagnement aident à atteindre les objectifs (Question 12) Stimulation de l'intérêt La ou le titulaire du cours sait maintenir mon attention (Question 13) Encouragement à la discussion et à la diversité d'opinion La ou le titulaire du cours est ouvert à des points de vue différents des siens (Question 14) Feedback La ou le titulaire du cours répond clairement aux questions (Question 15) continué... Canadian Journal ofHigher Education Vol. XXV1-3,1996 94 H. Poissant Tableau 3 (continué) Clarté et compréhension Les exposés de la ou du titulaire du cours sont clairs (Question 16) La ou le titulaire du cours sait illustrer ses exposés par des exemples concrets (Question 17) Disponibilité et aide La ou le titulaire du cours est suffisamment disponible pour de la consultation (Question 19) Équité dans l'évaluation Les modes d'évaluation sont précisés en début de session (Question 20) En ce qui concerne les travaux, les critères de correction sont clairement établis (Question 21) Les sujets du ou des travaux sont adaptés aux objectifs du cours (Question 22) Compte tenu des objectifs, le nombre d'examens est adéquat (Question 23) C o m p t e tenu des objectifs, la pondération des travaux et des e x a m e n s m ' a p p a r a î t a d é q u a t e ( Q u e s t i o n 24) Le contenu des évaluations est pertinent à la matière enseignée (Question 25) Les questions d'examens sont claires (Question 26) Le cours en général Dans l'ensemble, j'ai apprécié l'enseignement de la ou du titulaire du cours (Question 27) En dehors des questions 4, 7 et 8 que nous n'avons pas classifïées pour les raisons é v o q u é e s plus haut, nous n ' a v o n s pas trouvé de dimensions correspondantes à la question 11 («L'approche pédagogique est adaptée à la taille du groupe»). Par ailleurs, les questions 15 («La ou le titulaire du cours répond clairement aux questions») et 23 («Compte tenu des objectifs, le nombre d'examens est adéquat») nous paraissent discutables du point de vue de l'évaluation du professeur. Nous pouvons en effet songer que certaines questions émanant des étudiants ne trouvent Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 95 pas toujours une réponse claire ou immédiate et qu'une réponse nuancée peut, en certains cas, mieux refléter la réalité. De plus, les étudiants ne nous paraissent pas nécessairement les personnes les mieux plaçées pour déterminer le nombre optimal d'examens. Nous avons tout de même décidé de classifier ces réponses à l'intérieur de la grille de Feldman. L'examen des autres questions démontre que la dimension «équité dans l'évaluation» est clairement sur-représentée par rapport aux autres dimensions. En effet, plus du quart des questions y réfèrent (7/27 questions). La dimension «clarté, respect et atteinte des objectifs de cours» est également mieux représentée que les autres dimensions puisque trois questions y réfèrent. Plusieurs autres dimensions sont représentées par deux questions ou moins. Enfin, plusieurs dimensions ne sont pas représentées dans le questionnaire, par exemple, «la charge de travail», «la connaissance du sujet», etc. Faculté no. 2 Le questionnaire no. 3 contient au total 18 questions. Les huit premières sont accompagnées d'une échelle de cotation en quatre points («tout à fait en accord» à «tout à fait en désaccord»), les sept suivantes sont accompagnées d'un choix oui-non (en plus de «je ne le sais pas» et «ne s'applique pas») et les trois dernières comportent un nombre de choix variable (ex: «toujours» à «jamais», «fréquence très satisfaisante» à «à aucun moment»). Le questionnaire en est un de type multidimensionnel et comporte seulement des items spécifiques. Un premier examen du questionnaire nous amène à faire certaines réserves. Ainsi, la première question qui se lit comme suit: «Les étudiantes et les étudiants ont pu, dès le début du cours, discuter, dans le respect du contenu et des objectifs établis, des conditions d'encadrement et des modes d'évaluation proposés et suggérer des modifications au responsable du cours» est à peu près l'équivalent d'un article de la politique («Les étudiants et les étudiantes ont le droit, dès le début du cours, de discuter, dans le respect du contenu et des objectifs établis, des conditions d'encadrement et des modes d'évaluation proposés ainsi que de suggérer des modifications au responsable du cours») mais omet cependant de mentionner un point important de la dernière partie de cet Canadian Journal ofHigher Education Vol. XXV1-3,1996 96 H. Poissant article qui mentionne que «la décision finale appartient à l'enseignante ou à l'enseignant». La question peut laisser supposer qu'un enseignant qui n ' a u r a i t p a s o b t e m p é r é , après d i s c u s s i o n , aux d e m a n d e s des étudiants, est fautif. Nous émettons également, des réserves sur la question 4 («Au long du trimestre, l'enseignante ou l'enseignant a respecté le plan de cours») qui ne nous paraît pas être un comportement toujours approprié en toutes circonstances. Le professeur peut, à notre avis, en certains cas, modifier le rythme ou l'ordre de présentation de sa matière pour mieux s'adapter aux besoins des étudiants. Le plan de cours bien qu'il doive être respecté dans son essence ne doit pas non plus «être coulé dans le béton». Le professeur doit avoir la possibilité, quand le besoin s'en fait ressentir, d'alléger ou d'agrémenter son contenu ou encore de saisir certaines suggestions des étudiants. Par ailleurs, plusieurs des questions (2, 5 et 6) qui ont trait au respect d e s o b j e c t i f s de c o u r s s o u s - e n t e n d e n t q u e ces o b j e c t i f s s o n t e f f e c t i v e m e n t r a p p e l é s des é t u d i a n t s au m o m e n t où ils f o n t leur évaluation, c'est-à-dire, à la fin du cours. Il serait sage ici de rappeler sous forme écrite ou oralement, le contenu des objectifs et même celui du plan de c o u r s entier. De plus, l ' e m p l o i du t e r m e « é v a l u a t i o n sommative» dans la question 5 («Les tâches exigées dans le cadre de l'évaluation sommative des apprentissages étaient liées à l'atteinte des objectifs d'apprentissage annoncés dans le plan de cours») présume que tous les étudiants connaissent ce terme. Enfin, les questions 5 et 6 sont susceptibles d'évaluer plus des degrés d'accord avec les «tâches exigées p o u r leur é v a l u a t i o n s o m m a t i v e » et les «critères utilisés p o u r la correction des travaux et des examens» que leurs degrés de conformité supposés avec les «objectifs d'apprentissage annoncés». À cause de leur niveau de spécificité élevé, plusieurs questions du présent questionnaire correspondent d i f f i c i l e m e n t aux dimensions établies par Feldman (1976). C'est le cas pour les questions, 1, 4, 9, 10, 11 et 14, («Les étudiantes et les étudiants ont pu, dès le début du cours, discuter, d a n s le respect du c o n t e n u et des o b j e c t i f s établis, des c o n d i t i o n s d ' e n c a d r e m e n t et des m o d e s d ' é v a l u a t i o n p r o p o s é s et suggérer des modifications au responsable du cours»; «Au long du Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 97 trimestre, l'enseignante ou l'enseignant a respecté le plan de cours»; «Un plan de cours a-t-il été distribué aux étudiantes et aux étudiants dès la première rencontre?»; «La liste complète de tout le matériel que doivent se procurer les étudiantes et les étudiants pour la poursuite de ce cours apparaissait-elle dans le plan de cours?»; «Le plan de cours comportait-il toutes les informations essentielles que doit posséder l'étudiante ou l'étudiant pour la poursuite de ce cours»; «Lors de la correction des travaux écrits, l'enseignant ou l'enseignante a-t-il tenu compte de la qualité de la langue»). Par ailleurs, la question 11 nous paraît difficilement évaluable, l'expression «toutes les informations essentielles» étant sujette à plusieurs interprétations possibles. Nous avons donc tenté de faire c o r r e s p o n d r e les items du questionnaire, à la liste de dimensions de Feldman (1976). Les douze questions restantes se répartissent ainsi à l'intérieur de cinq dimensions. L'examen des résultats de cet exercice démontre que le nombre de questions retenues est inégalement réparti à l'intérieur des différentes dimensions. La dimension la plus représentée est encore une fois celle de «l'équité dans l'évaluation» puisque quatre des douze questions analysées s'y rapportent. Les dimensions «feedback» et «disponibilité et aide» sont aussi bien représentées avec trois questions chacune. Par ailleurs, plusieurs dimensions importantes habituellement représentées dans les autres questionnaires ne sont pas présentes ici, par exemple, «clarté et compréhension», «pertinence et valeur du matériel de cours», «le défi intellectuel et l'encouragement à la pensée indépendante», etc. En axant seulement sur certains aspects qu'elle considère importants pour la qualité de l'enseignement, notamment la conformité du professeur avec un plan de cours suggéré par elle-même, cette Faculté en vient à donner un point de vue que nous souhaiterions plus large et plus flexible. École no. 2 Le Questionnaire no.4 contient 20 questions qui représentent des items spécifiques et aucun item global. Le questionnaire est de type multimensionnel et se présente sous la forme d'une échelle de cotation en 4 points (totalement en accord à totalement en désaccord). Il contient aussi à la fin quatre questions à choix multiples pour identifier les Canadian Journal of Higher Education Vol. XXV1-3,1996 98 H. Poissant Tableau 4 Les cinq dimensions représentées dans le questionnaire no.3 (d'après Feldman, 1976) Préparation et organisation du cours L'enseignante ou l'enseignant semblait, en général, bien préparé à donner son cours (Question 3) Clarté, respect et atteinte des objectifs de cours Les objectifs d'apprentissage effectivement poursuivis tout au long du cours correspondaient à ceux annoncés dans le plan de cours (Question 2) Équité dans l'évaluation Les tâches exigées dans le cadre de l'évaluation sommative des apprentissages étaient liées à l'atteinte des objectifs d'apprentissage annoncés dans le plan de cours (Question 5) Les critères utilisés pour la correction des travaux et des examens ont couvert l'ensemble des objectifs d'apprentissage annoncés (Question 6) Les consignes pour la réalisation des travaux complexes ont-elles été présentées par écrit aux étudiantes et aux étudiants (Question 12) Les critères généraux de correction des travaux ont-ils été communiqués par écrit aux étudiantes et aux étudiants (Question 13) Feedback La correction des travaux et des examens a été effectuée dans des délais raisonnables, compte tenu de la complexité de la correction et du nombre d'étudiantes et d'étudiants inscrits au cours (Question 7) Les copies corrigées des travaux et des examens comportent des informations qui précisent aux étudiantes et aux étudiants le nombre de points qu'ils ont perdus en fonction des critères d'évaluation annoncés (Question 8) Les étudiantes et les étudiants ont-ils eu la possibilité de consulter leur copie corrigée des travaux et des examens lorsque ces copies ne leur ont pas été remises (Question 15) continué... Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 99 Tableau 4 (continué) Disponibilité et aide L'enseignante ou l'enseignant a-t-il assuré une présence à tous les cours (Question 16) La durée des cours correspondait-elle à celle prévue initialement (Question 17) L'enseignante ou l'enseignant s'est-il rendu disponible pour des consultations individuelles en dehors des heures de cours (Question 18) étudiants. Ces questions touchent au programme auquel sont inscrits les étudiants, au nombre de crédits auxquels ils sont présentement inscrits, au nombre de crédits déjà acquis et à leur moyenne cumulative pour ces crédits. La politique ne stipule cependant pas à quoi ni comment vont servir ces renseignements. Nous savons que certains de ces facteurs, ainsi que d'autres non mentionnés ici, peuvent jouer sur les résultats des é v a l u a t i o n s et d e v r a i e n t par c o n s é q u e n t f a i r e l ' o b j e t d ' a n a l y s e s statistiques en vue de découvrir l'existence d'éventuels biais de mesure. Enfin, le questionnaire comporte une section avec trois questions ouvertes qui permettent aux étudiants d'exprimer des commentaires sur des items du questionnaire et sur des «points responsables d'une certaine difficulté dans le cours» L'exercice de classement à partir de la liste de Feldman (1976) a permis d'établir que presque toutes les questions du questionnaire, sauf les questions 9, 10 et 16, se classent à l'intérieur de onze dimensions spécifiques. La question 16 devrait, à notre avis, être éliminée du questionnaire p u i s q u ' e l l e se rapporte davantage à l ' é v a l u a t i o n de p r o g r a m m e («Ce cours ne répète pas inutilement des éléments de contenu vus dans d'autres cours du programme»). Les questions 9 et 10 comportent, en raison de leur trop grande spécificité, une ambiguité quant aux termes et expressions: «conférences», «conférenciers» et «transmettre bien» («La ou les conférences rattachées au cours sont pertinentes»; «Le ou les conférenciers transmettent bien le contenu de leur présentation»). Nous pouvons interpréter les deux premiers termes ici comme étant synonymes de «cours magistral» et de «professeur» Canadian Journal of Higher Education Vol. XXV1-3,1996 100 H. Poissant (prestataire habituel du cours). Ces termes deviennent toutefois ambigus dans les cas où le professeur aurait invité des conférenciers dans ses cours. S'agit-il alors pour l'étudiant d'évaluer le professeur ou le ou les conférenciers? De même, qu'advient-il des cas où le professeur privilégie d'autres moyens pédagogiques (des ateliers, par exemple) plutôt que des conférences ou des cours magistraux? Enfin, il s'est avéré difficile de décider si l'expression «bien transmettre le contenu de leur présentation» correspond à une dimension touchant à «l'habileté d'élocution» ou à celle touchant à la «clarté et la compréhension». La question 12 classée dans la dimension «feedback» nous paraît peu valable pour les raisons déjà invoquées au moment de l'évaluation du questionnaire no. 2 («La professeure ou le professeur répond clairement aux questions des étudiantes et des étudiants concernant le contenu enseigné»). Nous souhaitons croire que le professeur puisse parfois répondre de façon nuancée et même différée à certaines questions en raison de leur complexité ou de leur conséquence. À ce propos, nous préférons la formulation proposée par d'autres Facultés qui se lit comme suit: «L'enseignant répond aux questions de façon satisfaisante». La question 17 qui demande de dire si «la quantité de travail requise pour ce cours correspond au nombre de crédits attribués» implique que l'étudiant connaisse quelle est effectivement la quantité d'heures stipulée dans les règlements (deux heures de travail par crédit de cours). Nous doutons que tous les étudiants aient cette connaissance. De plus, nous doutons qu'ils soient uniformément en mesure de respecter le nombre d'heures réglementaire. Il existe plutôt, croyons-nous, une grande variabilité entre les étudiants en ce qui concerne le temps effectivement consacré aux mêmes travaux, de même qu'une distorsion probable entre le temps effectivement consenti et le temps subjectif. Nous doutons aussi que le nombre d'heures de travail demandé ou attendu des étudiants soit équivalent d'une Faculté à l'autre, d'un département à l'autre ou d'un cours à l'autre. Il faudrait voir à ce que les étudiants prennent mieux conscience de ce qui est atttendu d'eux à ce niveau. Une façon de contourner en partie le problème serait de formuler la question plutôt à la manière d'une autre Faculté étudiée ici: «En regard du Règlement du 1er cycle, qui prévoit deux heures de travail personnel par heure de cours, j'estime que la charge de travail de ce cours est conforme à la norme». Canadian Journal ofHigher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 101 Tableau 5 Les onze dimensions représentées dans le questionnaire no. 4 (d'après Feldman, 1976) Clarté, respect et atteinte des objectifs de cours Les objectifs de ce cours sont clairement définis dans le plan de cours (Question 1 ) Dans l'ensemble, les moyens pédagogiques utilisés m'ont permis d'atteindre les objectifs fixés dans le plan de cours (Question 6) Préparation et organisation du cours Le plan de cours présenté en début de trimestre a été respecté (Question 2) Le contenu du cours a été bien réparti sur l'ensemble du trimestre (Question 3) Clarté et compréhension Le contenu du cours est présenté de façon claire (Question 4) Stimulation de l'intérêt Le mode de présentation du contenu du cours a stimulé mon intérêt (Question 5) Pertinence et valeur du matériel de cours L e matériel didactique (notes de cours, recueil de textes, livres[...] a été utilisé de f a ç o n p r o f i t a b l e p a r la p r o f e s s e u r e ou le p r o f e s s e u r ( Q u e s t i o n 7) Les lectures recommandées sont utiles pour une bonne compréhension du contenu (Question 8) Enthousiasme La professeure ou le professeur démontre un intérêt véritable pour le contenu qu'il enseigne (Question 11) Feedback La professeure ou le professeur répond clairement aux questions des étudiantes et étudiants concernant le contenu enseigné (Question 12) La professeure ou le professeur écrit des commentaires utiles lors de la correction des travaux (Question 14) continué... CanadianJournalofHigher Education Vol. XXV1-3,1996 102 H. Poissant Tableau 5 (continué) Disponibilité et aide La professeure ou le professeur est disponible pour de la consultation individuelle ou de groupe (Question 13) Préoccupation et respect pour les étudiants La professeure ou le professeur respecte les étudiantes et les étudiants (Question 15) Charge de travail La quantité de travail requise pour ce cours correspond au nombre de crédits attribués (Question 17) Equité dans l'évaluation Les modes d'évaluation des apprentissages ont été présentés clairement au début du trimestre (Question 18) Les moyens d'évaluation prévus dans ce cours sont pertinents pour mesurer l'atteinte des objectifs (Question 19) L e s c r i t è r e s de c o r r e c t i o n d e s t r a v a u x ou e x a m e n s sont a d é q u a t s (Question 20) Les dix-sept questions que nous avons retenues pour faire notre classement se répartissent de façon inégale à travers les différentes dimensions identifiées. La dimension «Équité dans l'évaluation» est ici encore la mieux représentée avec trois particularisations alors que les autres sont p o u r la plupart p a r t i c u l a r i s é e s par deux ou u n e seule question. Par ailleurs, certaines dimensions contenues dans la liste de Feldman (1976) ne sont pas représentées (par exemple, la dimension «Défi intellectuel et encouragement à la pensée indépendante»). Nous interprétons cette différence dans la répartition des questions comme un i n d i c e qui r é f l è t e l ' i m p o r t a n c e a c c o r d é e p a r l ' É c o l e à c e r t a i n e s dimensions plutôt qu'à d'autres. Nous souhaiterions une répartition plus équitable afin de favoriser plus également tous les professeurs. CanadianJournalof Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 103 Faculté no. 3 Le questionnaire no. 5 contient trois sections principales. La première contient huit questions sur la «situation de l'étudiant», la seconde contient aussi huit questions sur «l'appréciation globale» du cours et du professeur et la troisième contient vingt-trois questions sur «les éléments particuliers». Cette troisième section est elle-même divisée en six soussections contenant un nombre de questions inégalement réparties: les objectifs (trois questions), le contenu (quatre questions), les formules pédagogiques (sept questions), l'évaluation (cinq questions), le matériel pédagogique (trois questions) et la somme de travail (une question). La section sur la situation de l'étudiant permet d'obtenir des renseignements sur: la discipline d'étude, le programme, l'âge de l'étudiant, le régime d'études (temps complet ou partiel), le nombre de crédits complétés, le statut du cours (obligatoire ou optionnel), le lieu où le cours est suivi (sur le campus, hors campus, télévision) et le nombre de crédits suivis au présent trimestre. Cependant aucune disposition n'est mentionnée quant à l'usage ou à l'interprétation prévus pour les renseignements obtenus (peuvent-ils être une source de biais ou un élément explicatif dans l'analyse des résultats?). Par ailleurs, cette liste de renseignements sur l'étudiant, tout comme celles que nous avons déjà étudiées, n'est pas exhaustive. Certains éléments importants pour la validation du questionnaire sont omis, par exemple, la note attendue. Le questionnaire multidimensionnel se présente sous la forme d'une échelle de cotation en quatre points (de totalement en accord à totalement en désaccord). Un premier examen des 31 questions qui composent le corps de l'évaluation nous permet de dire qu'elles sont presque toutes acceptables du point de vue de leur formulation Nous avons cependant certaines réserves concernant les questions 5 et 13 («Le professeur maîtrise la matière du cours»; «Le cours offre un bon contenu») qui relèvent d ' a p r è s la liste de Feldman (1976) de la dimension «connaissance du sujet». La documentation scientifique rapporte en effet que les étudiants de premier cycle sont des sources de renseignement peu valables en ce qui concerne l'évaluation des connaissances du professeur. CanadianJournalof Higher Education Vol. XXV1-3,1996 104 H. Poissant Par ailleurs, nous n ' a v o n s pas t e n d a n c e à c o n s i d é r e r les huit premières questions d'«appréciation globale» comme des items globaux, du m o i n s au sens entendu par F e l d m a n (1976). Aussi, toutes les q u e s t i o n s du p r é s e n t q u e s t i o n n a i r e sont, à n o t r e avis, des items spécifiques. E l l e s s o n t p o u r c e t t e r a i s o n s u j e t t e s au m ê m e q u e s t i o n n e m e n t que celui d ' A b r a m i et d ' A p p o l o n i a (1990) sur la p e r t i n e n c e d ' e m p l o y e r des items s p é c i f i q u e s pour une évaluation sommative du professeur (voir Poissant, 1995a et b pour une discussion à ce sujet). Nous avons à cet égard été tenté de rejeter la question 19 qui n o u s p a r a î t t r o p s p é c i f i q u e et peu a p p l i c a b l e à u n e m a j o r i t é de p r o f e s s e u r s («les plans des exposés que fournit le p r o f e s s e u r sont utiles»). Cette question implique (ou exige) que tous les professeurs d i s t r i b u e n t des plans d ' e x p o s é s à c h a q u e cours. À m o i n s q u ' u n e politique claire ne soit établie à ce sujet, ce qui ne semble pas le cas, cette question est invalide. De plus, les questions qui abordent exclusivement l'équité dans l'évaluation des travaux sans aborder celle des examens ou d'autres modes d'évaluation invalident automatiquement ces derniers cas. Ces questions ne tiennent pas compte des situations où un professeur choisit un mode d'évaluation autre que celui des travaux. Les questions 21 et 22 tombent dans cette catégorie: «Les travaux demandés sont en rapport étroit avec les objectifs du cours»; «les travaux personnels demandés sont en rapport étroit avec la matière vue en classe». En fait, l'examen de l ' e n s e m b l e des questionnaires de la présente étude montre que plusieurs questions en rapport avec l'équité dans l'évaluation posent le même type de problème du fait qu'elles sont elles aussi trop spécifiques. C'est le cas notamment pour le questionnaire no. 2 (Questions 21, 22, 23, 26), le questionnaire no. 3 (Questions 12, 13), ainsi que pour le questionnaire no. 6 (Questions 7, 8). Nous leur préférons donc des questions plus générales, par exemple, celles proposées dans la question 25 du présent questionnaire («L'évaluation faite j u s q u ' i c i de m o n rendement est en relation avec les objectifs du cours») ou celles par exemple, du questionnaire 4: «Les moyens d'évaluation prévus dans ce cours sont p e r t i n e n t s pour m e s u r e r l ' a t t e i n t e des o b j e c t i f s » et du questionnaire 1: «Les évaluations portent sur des aspects de la matière effectivement traités dans le cours». Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 105 En dépit des réserves émises à l'égard des questions 5, 13, 19, 21 et 22, nous avons pu classer toutes les questions à l'intérieur de seize des dimensions établies dans la liste de Feldman (1976). Le tableau 6 présente notre classification. L ' e x e r c i c e de c l a s s i f i c a t i o n des questions à l ' i n t é r i e u r des dimensions permet de constater une fois encore, que certaines dimensions sont sur-représentées par rapport à d'autres. Comme c'est le cas de la majorité des Écoles et Facultés étudiées jusqu'à présent, la dimension «équité dans l'évaluation» est avantagée par rapport aux autres puisqu'elle contient cinq questions qui s'y rapportent. Les dimensions «clarté des objectifs de cours», «préparation et organisation du cours» et «feedback» sont également bien représentées (quatre et trois questions). Les autres dimensions sont particularisées par deux ou une question. Enfin, certaines dimensions de la liste de Feldman (1976) ne sont pas du tout représentées, par exemple, «la stimulation de l'intérêt». Faculté no. 4 Le questionnaire no. 6 contient au total 33 questions à choix multiples dont certaines sont optionnelles (24A à 28A et 24B à 28B). Il se divise aussi en quatre sections contenant un nombre inégal de questions: «le cours» (questions 1 à 6), «les activités d'enseignement» (questions 7 à 15), «l'enseignant» (questions 16 à 23), «les cours particuliers»: A. «cours et séminaires de maîtrise» (questions 24A à 28A); B. «outils audio-visuels/informatiques» (24B à 28B). La majorité des questions correspond à des items spécifiques sauf les questions 6, 15, 28 («Je recommanderais le cours à cause de sa matière»; «Je recommanderais ce cours à cause de la formule pédagogique»; «Je recommanderais que ce cours soit donné à chaque année») et 23 («Je recommanderais ce cours à cause du professeur») qui correspondent plutôt à des items généraux reliés au cours et au professeur. Enfin, les questions à choix multiples sont accompagnées de trois questions ouvertes: 1) «Quels sont les points les plus positifs que vous avez le plus appréciés dans le cours?»; 2) «Quels sont les points responsables d'une certaine difficulté?»; 3) «Autres commentaires». Canadian Journal ofHigher Education Vol. XXV1-3,1996 106 H. Poissant Tableau 6 Les quinze dimensions représentées dans le questionnaire no. 5 (d'après Feldman 1976) Préparation et organisation du cours Le cours est bien structuré (Question 1) Le professeur est bien préparé pour chaque leçon de cours (Question 4) Les plans des exposés que fournit le professeur sont utiles (Question 19) Clarté et compréhension Le professeur expose clairement sa pensée (Question 2) Le professeur présente des synthèses en temps opportun (Question 3) Connaissance du sujet Le professeur maîtrise la matière du cours (Question 5) Le cours offre un bon contenu (Question 13) Enthousiasme Le professeur manifeste de l'intérêt pour l'enseignement (Question 6) Résultats perçus Le professeur par sa relation aux étudiants favorise l'acquisition des connaissances (Question 7) J'ai beaucoup appris dans ce cours (Question 14) Disponibilité et aide Le professeur est disponible pour rencontrer les étudiants qui en manifestent le besoin (Question 8) Clarté, respect et atteinte des objectifs de cours Les objectifs du cours ont été présentés en début de session (Question 9) Les objectifs du cours sont clairs et précis (Question 10) Le cours poursuit les objectifs tels qu'indiqués dans le syllabus (Question 11 ) Les formules pédagogiques adoptées (cours magistraux, ateliers, etc.) permettent d'atteindre les objectifs de ce cours (Question 16) continué... Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 107 Tableau 6 (continué) Charge de travail Proportionnellement à la durée du cours, la quantité de matière est normale (Question 12) Relativement au nombre de crédits alloués, la somme de travail exigée par ce cours est normale (Question 31) Niveau de la classe et progrès Le niveau du cours m'était accessible (Question 15) Organisation de la classe Les formules pédagogiques adoptées (cours magistraux, ateliers, etc.) permettent d'atteindre les objectifs de ce cours.(Question 16) Encouragement à la discussion et à la diversité d'opinions Les questions et interventions des étudiants sont bien accueillies par le professeur (Question 17) Feedback Le professeur répond de façon satisfaisante aux questions (Question 18) Le professeur a commenté par écrit ou par oral mes travaux personnels ou mes examens (Question 26) Les délais de correction des travaux et des examens n'ont pas nuit à mon cheminement au cours de la session (Question 27) Défi intellectuel et encouragement à la pensée indépendante L e c o u r s m ' a p r é p a r é à p o u r s u i v r e p a r m o i - m ê m e l ' é t u d e d e la m a t i è r e p r é s e n t é e ( Q u e s t i o n 20) Équité dans l'évaluation Les travaux demandés sont en rapport étroit avec les objectifs du cours (Question 21) Les travaux personnels demandés sont en rapport étroit avec la matière vue en classe (Question 22) Le mode d'évaluation (travaux personnels, examens, etc.) est clairement expliqué au début du trimestre (Question 23) Les critères d'appréciation des travaux personnels et examens sont communiqués au début du trimestre (Question 24) L'évaluation faite jusqu'ici de mon rendement est en relation avec les objectifs du cours (Question 25) CanadianJournalofHigher Education Vol. XXV1-3,1996 108 H. Poissant Tableau 6 (continué) Pertinence et valeur du matériel de cours Les références bibliographiques sont utiles pour approfondir la matière enseignée (Question 28) Les notes de cours et les volumes obligatoires m'ont été utiles et nécessaires pour atteindre les objectifs du cours (Question 30) Pertinence et utilité du matériel supplémentaire Le matériel utilisé par le professeur (films, vidéos, illustrations, objets divers, etc.) était adéquat et intéressant (Question 29) Nous n'avons pas réussi à classer certaines questions à l'intérieur de la c l a s s i f i c a t i o n de F e l d m a n (1976). Ainsi, les q u e s t i o n s 3 («Le déroulement du cours est conforme au plan de cours»), 5 («Le cours ne r é p è t e p a s i n u t i l e m e n t la m a t i è r e v u e d a n s d ' a u t r e s c o u r s du programme»), 18 («L'enseignant respecte le plan de cours défini en début de session»), 26A («Les exposés des étudiants ont favorisé mon apprentissage: répondre s'il y a lieu»), 26B («L'apprentissage des appareils est facilité par la formule pédagogique»), 27B («Les assistants et techniciens (s'il y a lieu) sont efficaces») et 28B («L'apprentissage de ces outils contribue adéquatement à notre formation») n ' o n t pu être classées. Les quatre dernières questions (26A, 26B, 27B et 28B) nous paraissent néanmoins très pertinentes dans le contexte de la Faculté étudiée et devraient être conservées. Nous rappelons d'ailleurs qu'elles sont placées dans le questionnaire à titre plus ou moins optionnel. Les questions 3 et 18 sont, en dehors du fait que nous n'avons pu les classer, redondantes, aussi une seule des deux questions pourrait être conservée pour l'évaluation. La question 4 («La quantité de travail requise pour ce cours correspond aux crédits accordés») gagnerait à être reformulée de façon plus précise, nous lui préférons la formulation énoncée dans le questionnaire no. 1 qui se lit comme suit: «En regard du Règlement du 1er cycle, qui prévoit deux heures de travail personnel par h e u r e de cours, j ' e s t i m e que la charge de travail de ce cours est conforme à la norme». Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 109 Enfin, les questions 5, 14, 28A, 24B et 25B devraient, à notre point de vue, être éliminées. Les questions 5 («Le cours ne répète pas inutilement la matière vue dans d ' a u t r e s cours du programme» et 28A («Je recommanderais que ce cours soit offert chaque année») relèvent davantage de l'évaluation de programme (nous avons néanmoins classé la question 28A comme un item général qui peut aussi toucher à l'évaluation du cours). Les questions 14 («La taille du groupe, dans ce cours, me permet un bon apprentissage»), 24B («Le nombre d'appareils disponibles est suffisant») et 25B («La qualité des appareils est appropriée aux besoins du cours») ne devraient pas être considérées comme un facteur dans l'évaluation du professeur. Ces facteurs tout en pouvant avoir un effet sur la cote d'appréciation du professeur sont indépendants de son contrôle et ne devraient en conséquence pas le pénaliser. Dans l'étape suivante, nous avons tenté de faire correspondre les questions aux dimensions établies par Feldman (1978). Cet exercice nous a permi de dégager les dimensions suivantes. L'examen des trentre-trois questions du Questionnaire d'évaluation des cours permet de faire correspondre vingt-six questions avec seize des dimensions de Feldman (1976). Nous constatons comme c'est le cas pour tous les questionnaires analysés jusqu'ici, que certaines dimensions sont sur-représentées par rapport à d'autres en termes de nombre de questions qui leur sont rattachées. La dimension la plus représentée est encore une fois «l'équité dans l'évaluation» puisque quatre questions s'y rapportent. La dimension générale touchant au cours est également bien représentée avec trois questions. Viennent ensuite les dimensions: «clarté des objectifs de cours»; «préparation et organisation du cours»; «clarté et c o m p r é h e n s i o n » ; « p e r t i n e n c e et utilité du matériel supplémentaire»; «feedback» qui contiennent chacune deux questions. Les autres dimensions sont chacune particularisée par une seule question. Enfin, certaines dimensions ne sont pas du tout représentées, par exemple, «la connaissance du sujet», «le défi intellectuel et l'encouragement à la pensée indépendante», «l'organisation de la classe», etc. Canadian Journal ofHigher Education Vol. XXV1-3,1996 110 H. Poissant Tableau 7 Les seize dimensions représentées dans le questionnaire no. 6 (d'après Feldman 1976) Clarté, respect et atteinte des objectifs de cours Les objectifs sont clairement définis dans le plan de cours (Question 1) La relation entre les objectifs du cours et le contenu se perçoit clairement (Question 2) Charge de travail La quantité de travail requise pour ce cours correspond aux crédits accordés (Question 4) Le cours en général Je recommanderais le cours à cause de sa matière (Question 6) Je recommanderais ce cours à cause de la formule pédagogique (Question 15) Je recommanderais que ce cours soit donné à chaque année (Question 28) Équité dans l'évaluation Les travaux exigés sont pertinents (Question 7) Les questions d'examens sont jugées pertinentes par rapport au contenu du cours (Question 8) La correction des examens et des travaux me paraît équitable (Question 9) La pondération accordée à chacun des éléments (travaux, examens, etc.) servant à l'évaluation de mon rendement est appropriée (Question 11) Feedback Les résultats des travaux corrigés et des examens sont remis dans des délais acceptables (Question 10) L'enseignant répond aux questions de façon satisfaisante (Question 20) Disponibilité et aide Les heures de consultation prévues sont suffisantes (Question 12) continué... Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 111 Tableau 7 (continué) Pertinence et valeur du matériel de cours Le matériel pédagogique (notes, volumes, transparents, diapos, etc.) est utile (Question 13) Divers La taille du groupe, dans ce cours, me permet un bon apprentissage (Question 14) Préparation et organisation du cours L'enseignant est bien préparé pour chaque scéance de cours (Question 16) Chaque scéance est bien structurée (Question 24) Clarté et compréhension L'enseignant explique avec clarté (Question 17) L'enseignant fait des synthèses adéquates de la matière (Question 19) Stimulation de l'intérêt L'enseignant stimule mon intérêt pour les études (Question 21) Niveau de la classe et progrès L'enseignant est sensible aux progrès des étudiants (Question 22) Le professeur en général Je recommanderais ce cours à cause du professeur (Question 23) Pertinence et utilité du matériel supplémentaire Le nombre d'appareils disponibles est suffisant (Question 24B) La qualité des appareils est appropriée aux besoins du cours (Question 25B) Encouragement à la discussion et à la diversité d'opinions L'enseignant sait animer et favoriser la discussion (Question 25) Résultats perçus Le cours permet l'acquisition de notions fondamentales et ou d'outils pertinents (Question 27) Canadian Journal ofHigher Education Vol. XXV1-3,1996 112 H. Poissant Synthèse des résultats La c o m p i l a t i o n des r é s u l t a t s des e x e r c i c e s de c l a s s i f i c a t i o n des dimensions représentées pour l'ensemble des questionnaires étudiés démontre les tendances suivantes. Dans un premier temps, nous pouvons observer que sur les 152 items de questionnaires analysés, une forte proportion de ceux-ci, soit vingt-cinq, se rapporte à la dimension «équité dans l'évaluation». Par la suite, les trois autres dimensions les mieux r e p r é s e n t é e s s e l o n n o t r e c l a s s i f i c a t i o n s o n t : la « p r é p a r a t i o n et l'organisation du cours», la «clarté, le respect et les atteintes des objectifs de cours», et le «feedback». Ces dimensions sont chacune particularisées par douze items. Les dimensions «clarté et compréhension» et «disponibilité et aide» viennent au troisième rang avec neuf items chacune. La dimension «pertinence et valeur du matériel de cours» vient au quatrième rang avec sept items pour le particulariser. Viennent ensuite au cinquième rang les dimensions suivantes qui sont chacune particularisées par cinq items: «stimulation de l'intérêt», «charge de travail», «résultats perçus». Les dimensions suivantes sont chacune particularisées par quatre items: «défi intellectuel et encouragement à la pensée indépendante», «le cours en général», «divers» et obtiennent le rang 6. La dimension «niveau de la classe et progrès» est particularisée trois fois et obtient le rang 7. Plusieurs dimensions sont représentées par deux items et obtiennent le rang 8, ce sont: « l ' e n t h o u s i a s m e » , «la c o n n a i s s a n c e du sujet», la «pertinence et utilité du matériel supplémentaire», «l'encouragement à la discussion et à la diversité d'opinions», la «préoccupation et le respect pour les étudiants». La dimension «professeur en général» est particularisée seulement une fois, alors que les dimensions «habiletés d ' é l o c u t i o n » «caractéristiques personnelles» et «organisation de la classe» ne sont pas particularisées. Le tableau 8 présente un résumé des r é s u l t a t s s o u s f o r m e de r a n g s é t a b l i s à p a r t i r des f r é q u e n c e s de particularisations des dimensions des questionnaires pour les quatre Facultés et deux Écoles combinées. Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 113 Tableau 8 Rangs des fréquences de particularisations des dimensions de questionnaires d'évaluation pour six Facultés et Écoles (0= aucune particularisation) Dimensions Rangs Toutes Facl/ Écl/ Fac2/ Éc2/ Fac3/ Fac4 Équité 1 2 1 1 1 1 1 Préparation du cours Clarté des objectifs Feedback 2 2 2 2 3 3 2 2 3 3 3 2 2 2 2 3 2 3 3 3 3 Clarté/compréhension Disponibilité/aide 3 3 2 2 2 3 0 2 3 3 4 5 3 4 Pertinence du matériel 4 3 3 0 2 4 4 Stimulation de l'intérêt Charge de travail Résultats perçus 5 5 5 2 3 0 3 0 2 0 0 0 3 3 0 0 4 4 4 4 4 Défi intellectuel Cours en général Divers 6 6 6 2 0 1 3 3 0 0 0 0 0 0 0 5 0 0 0 2 4 Niveau de la classe 7 3 0 0 0 5 4 Enthousiasme Connaissance du sujet Pertinence du mat. suppl. Discussion Préoccupation 8 8 8 8 8 0 0 0 0 3 0 0 0 3 0 0 0 0 0 0 3 0 0 0 3 5 4 5 5 0 0 0 3 4 0 Professeur en général 9 0 0 0 0 0 4 Habiletés d'élocution Caract. personnelles Organisation de la classe 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 CanadianJournalof Higher Education Vol. XXV1-3,1996 114 H. Poissant Les résultats indiquent des différences appréciables entre les Facultés et les Écoles au niveau du nombre de dimensions couvertes par leurs questionnaires respectifs. Ainsi, si l'ensemble des questionnaires étudié recouvre en tout une vingtaine de dimensions parmi les vingt-trois dimensions établies par Feldman (1976), le nombre de celles-ci varie d'un questionnaire à l'autre. Le questionnaire no. 6 recouvre le plus grand éventail de dimensions (seize). Il est suivi de près par le questionnaire no. 5 qui considère quinze dimensions différentes pour l'évaluation des professeurs. Viennent ensuite le questionnaire no. 1 avec treize dimensions (sections 2 et 3 confondues), le questionnaire no. 2 avec douze dimensions et le questionnaire no. 4 avec onze dimensions. Enfin, le questionnaire no. 3 vient loin derrière avec seulement cinq dimensions. Ces résultats peuvent être en partie expliqués par le fait que les différents questionnaires étudiés ne contiennent pas tous un nombre équivalent de questions. Ce nombre varie en fait de 18 questions (questionnaire no. 3) à 33 questions (questionnaire no. 6). Cependant, ceci n'explique pas toutes les différences puisque le questionnaire no. 4 avec un nombre de questions à peine supérieur (20) à celui du questionnaire no. 3 réussit à couvrir plus du double de dimensions (onze dimensions versus cinq dimensions). De même, le questionnaire no. 2 qui contient 27 questions couvre une dimension de moins que le questionnaire no. 1 qui contient 23 questions (douze dimensions versus treize dimensions). L'écart dans le nombre de dimensions représentées semble donc provenir d'une question de priorité chez les différentes Écoles et Facultés mais aussi de l'emploi d'items trop spécifiques ou de formulations ambiguës. En dépit de l'inégalité dans le nombre de dimensions évaluées par les différentes Écoles et Facultés nous constatons qu'elles s'entendent, dans une certaine mesure, sur les rangs de priorité qu'elles accordent aux différentes dimensions contenues dans leurs questionnaires d'évaluation. Nous constatons aussi que cet accord au niveau des rangs attribués est nettement plus fort parmi les rangs supérieurs (rangs 1 et 2). Ainsi, «l'équité dans l'évaluation» apparaît clairement au premier rang des dimensions évaluées chez toutes les Facultés et Écoles examinées sauf la première Faculté qui place ce facteur au deuxième rang après le facteur Canadian Journal of Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 115 «divers». (Nous avons, par ailleurs, déjà émis nos réserves quant à ce dernier facteur qui devrait selon nous être écarté de la mesure du rendement du professeur. Nous nous étonnons aussi de voir que ce facteur est prioritaire dans cette Faculté). De même, les facteurs «préparation du cours» et «clarté des objectifs» (rangs globaux de 2) sont également placés au deuxième ou au troisième rangs par les Écoles et Facultés. La dimension «feedback» qui obtient aussi dans l'ensemble un deuxième rang est cependant plus souvent placée au troisième rang qu'au deuxième rang. Les dimensions qui obtiennent globalement les rangs 3, 4 ou 5 obtiennent moins de concordance de la part des Écoles et Facultés. Ceci paraît compatible avec le fait que plus on descend au niveau des rangs de fréquences moins on retrouve de particularisations des dimensions (on obtient plus de rangs 0). Les dimensions «clarté et compréhension» et «disponibilité et aide» qui obtiennent le rang global 3 se voient effectivement attribuer le rang 3 à deux occasions. Toutefois, d'autres Facultés ou Écoles attribuent plutôt un deuxième rang pour la «clarté et la compréhension». De même, certaines Facultés attribuent plutôt un deuxième rang pour la «disponibilité et l'aide». Enfin, d'autres Facultés et Écoles encore attribuent d'autres rangs à ces dimensions ( 0, 4 ou 5). La dimension «pertinence du matériel» qui obtient un rang global de 4 se voit attribuer ce même rang par deux Facultés. Cependant la même dimension obtient aussi souvent le rang 3 par deux autres Facultés ou Écoles. Les autres rangs attribués pour cette dimension sont 0 (aucune particularisation de la part d'une Faculté) et 2 (de la part d'une Faculté). Les dimensions qui obtiennent un rang global de 5, soit, la «stimulation de l'intérêt», la «charge de travail» et les «résultats perçus» sont encore moins concordantes au niveau des rangs que leur accordent les différentes Écoles et Facultés. Ainsi, si la dimension «stimulation de l'intérêt» obtient une fois un rang 2 (une Faculté) et deux fois un rang 3 (deux Écoles), elle obtient aussi un rang 4 (une Faculté) et est non particularisée (rang 0) à deux reprises (deux Facultés). De même, la dimension «charge de travail» obtient deux fois le rang 4 (deux Facultés), deux fois le rang trois (une École et une Faculté) et est non particularisée deux fois (une École et une Faculté). Enfin, la dimension Canadian Journal ofHigher Education Vol. XXV1-3,1996 116 H. Poissant «résultats perçus» obtient deux fois le rang 4 (deux Facultés), une fois le rang 2 (une École) et est non particularisée trois fois (deux Facultés et une École). Les dimensions qui obtiennent des rangs inférieurs soit, de 6 à 9 sont peu concordantes au niveau des rangs de priorité qu'elles reçoivent des différentes École et Facultés surtout lorsque l'on retranche les cas de non particularisations qui sont plus fréquents ici. (Les rangs inférieurs sont en effet en relation directe avec une plus grande proportion de rangs 0). Autrement dit, là où certaines Écoles ou Facultés attribuent un rang de priorité faible à une dimension, d'autres Écoles ou Facultés n'évaluent simplement pas cette dimension dans leur questionnaire. Les dimensions s u i v a n t e s e n t r e n t d a n s c e t t e c a t é g o r i e : « d é f i i n t e l l e c t u e l et encouragement à la pensée indépendante», «cours en général», «divers» (rangs 6); «niveau de la classe» (rang 7); «enthousiasme», «connaissance du sujet», «pertinence du matériel supplémentaire», «encouragement à la discussion et à la diversité d'opinions», «préoccupation et respect des étudiants» (rangs 8) et «professeur en général» (rang 9). Enfin, comme nous le suggérions plus haut, les Écoles et les Facultés semblent s'entendre entre elles pour ne pas évaluer les dimensions «habiletés d'élocution», «caractéristiques personnelles» et «organisation de la classe» (rangs 0). Conclusion Un des premiers résultats qui se dégage nettement des résultats est la forte proportion d'items de questionnaires qui se rapportent à Y équité dans l'évaluation. Cette dimension est suivie relativement de loin par trois autres dimensions: la préparation de cours, la clarté, le respect et l'atteinte des objectifs de cours et le feedback. La question de l'équité dans l'évaluation apparaît donc comme la plus grande préoccupation de toutes les Écoles et Facultés étudiées. Bien que cette dimension soit certainement importante et pertinente dans un contexte d'évaluation des p r o f e s s e u r s , rien n o u s p o r t e à c r o i r e d ' e m b l é e q u ' e l l e soit p l u s importante que d'autres dimensions moins bien représentées. De ce point de vue, les «résultats perçus», le «défi intellectuel et l'encouragement à CanadianJournalof Higher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 117 la pensée indépendante» ou la «stimulation de l'intérêt» nous paraissent des dimensions tout aussi pertinentes. Nous suggérons, à ce sujet, que le degré de représentativité des différentes dimensions soit mieux réparti de façon à mieux couvrir l'ensemble des facettes liées à la qualité d'enseignement. Cela devrait aussi contribuer à donner un portrait plus équilibré et plus équitable de la qualité d'enseignement. En effet, on peut se demander, par exemple, en quoi des jugements négatifs (ou positifs) de la part des étudiants à l'endroit des questions d'équité (ex: «Compte tenu des objectifs, le nombre d'examens est adéquat») devraient peser plus dans la balance que des jugements négatifs (ou positifs) à l'endroit d'autres questions, celles par exemple, se rapportant au niveau de la classe et au progrès des étudiants («L'enseignant est sensible aux progrès des étudiants»). Notre expérience de la vie universitaire nous amène à c r o i r e q u e la r é p o n s e r é s i d e p r o b a b l e m e n t d a n s le f a i t q u e les contestations ou les plaintes des étudiants touchent de plus en plus souvent aux questions d'équité dans l'évaluation. Le fait d'accorder plus d'importance à cette dimension dans les questionnaires d'évaluation serait en quelque sorte un moyen de protection dont se dotent les Écoles et Facultés pour tenter de contrer (avec plus ou moins de succès), les conflits éventuels entre les professeurs et les étudiants. Il n'en demeure pas moins, selon nous, que cette dimension est largement surestimée par rapport à d'autres qui sont tout aussi importantes et qui méritent une meilleure représentation. N o u s souhaiterions par ailleurs, retrouver plus de dimensions générales (le «cours en général», le «professeur en général») qu'il ne s ' e n t r o u v e p r é s e n t e m e n t d a n s les q u e s t i o n n a i r e s é t u d i é s . L e s spécialistes dans le domaine de l'évaluation dont Abrami et d'Appolonia (1990) ont déjà largement débattu la question de l'avantage des items généraux par rapport aux items spécifiques lorsqu'il s'agit de faire des évaluations dans un but sommatif (voir Poissant, 1995). Enfin, bien que nous n'ayons pas mesuré directement les impacts et les conséquences de l'absence ou de la sur-représentativité de certaines dimensions, nous sommes portés à croire que ce facteur affecte la performance au test d'évaluation des professeurs. En effet, un professeur qui a développé des aptitudes d ' e n s e i g n e m e n t qui sont peu ou pas Canadian Journal ofHigher Education Vol. XXV1-3,1996 118 H. Poissant représentées dans son questionnaire d'évaluation se trouve défavorisé par r a p p o r t à celui qui a d é v e l o p p é d ' a u t r e s a p t i t u d e s qui elles sont sur-représentées. Une façon de vérifier ceci serait de demander aux professeurs d'établir eux-mêmes le degré d'importance qu'ils accordent à chacune des dimensions contenues dans leur questionnaire d'évaluation et de voir en quoi l'ordre donné se retrouve (ou pas) en corrélation positive avec les résultats qu'ils obtniennent pour ces mêmes dimensions. C o m m e n o u s le m e n t i o n n i o n s d é j à p l u s h a u t , l ' e x e r c i c e d'identification des dimensions évaluées renseigne entre autres, sur les priorités que les différentes Écoles et Facultés accordent à certains aspects de l'enseignement. Le choix de certaines dimensions plutôt que d'autres, le nombre de dimensions représentées, leur redondance ou leur absence fournissent un indice objectif du degré d'importance accordé à chacune. Par ailleurs, un plus grand étalement au niveau du nombre de dimensions particularisées permet, à notre avis, d'obtenir un portrait plus c o m p l e t et m o i n s partial du c o n c e p t é v a l u é à savoir la « q u a l i t é d'enseignement». Nous sommes pour cette raison tentés de conclure que les Facultés nos. 3 et 4 ont des questionnaires plus représentatifs de la qualité d'enseignement que la Faculté no.2 qui privilégie seulement un nombre restreint de dimensions (cinq). Les autres Facultés et Écoles se situent dans la moyenne. La priorité accordée par les établissements à certaines dimensions plutôt qu'à d'autres relève d'une «dynamique interne» qui conduit au choix des dimensions et finalement à la construction d'un questionnaire. L'analyse de cette dynamique et des politiques qu'elle sous-entend a fait l'objet d'un examen plus approfondi par Poissant (à paraître). Par ailleurs, certaines dimensions sont, de l'avis des spécialistes en évaluation, moins pertinentes que d'autres lorsqu'il s'agit de saisir le concept de «qualité d'enseignement». Ainsi, nous remarquons que les dimensions «habiletés d'élocution» et «caractéristiques personnelles» r e c e n s é e s par F e l d m a n (1976), ne sont p r é s e n t e s dans aucun des questionnaires que nous avons étudiés. Ces dimensions ont déjà été critiquées dans la documentation scientifique du fait qu'elles sont peu appropriées pour définir la qualité d'enseignement, même si en fait elles affectent très probablement le j u g e m e n t des étudiants. Le fait que Canadian Journal ofHigher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 119 l'habileté d'élocution puisse facilement renvoyer à celui de l'accent ou de la provenance régionale ou ethnique du professeur pose en effet un problème évident. De même, les caractéristiques personnelles ou la personnalité du professeur sont considérées par plusieurs comme un facteur déterminant dans l'évaluation de celui-ci. De nombreuses études, notamment celle connue sous le nom de « l ' e f f e t du Dr. Fox» (Ware et Reed, 1977; Abrami, Leventhal et Perry, 1982), ont démontré que l'effet du facteur de la personnalité du professeur peut même dépasser celui du contenu de cours présenté. Dans cette étude un professeur-comédien «enthousiaste» donnant un cours peu substantiel était mieux évalué qu'un professeurcomédien m o y e n n e m e n t enthousiaste mais donnant un cours plus substantiel. Les auteurs concluaient alors à l ' e x i s t e n c e d ' u n biais attribuable au facteur de la personnalité. D ' a u t r e s auteurs pensent néanmoins q u ' i l ne s'agit pas d ' u n biais et que la personnalité du professeur, laquelle se confond d'ailleurs parfois avec la «formule pédagogique», est un facteur dont il faut tenir compte dans l'évaluation du professeur. Bien que le débat sur cette question demeure ouvert, cela jette un doute sur l'emploi de dimensions touchant à la personnalité du professeur dans les questionnaires d'évaluation. Nous notons, à ce sujet, que la dimension «enthousiasme» est évaluée, à une seule reprise cependant, par l'École no. 2 et la Faculté no. 3. La dimension «encouragement à la discussion et à la diversité d'opinions», représentée dans une École et une Faculté, fait l'objet de critique. Bien que les discussions soient en effet souvent appréciées des étudiants, ce qui affecte en retour favorablement leur évaluation, elles peuvent en fait être très difficiles à réaliser ou inappropriées dans certains c o n t e x t e s c o m m e celui d ' u n grand g r o u p e par e x e m p l e . L'évaluation de cette dimension peut donc poser un problème à certains professeurs des Écoles et Facultés concernées. Elle peut aussi à la limite e n f r e i n d r e le droit aux p r o f e s s e u r s d ' e m p l o y e r une autre f o r m u l e pédagogique de leur choix. Nous saluons à ce sujet l'initiative de la Faculté no. 1 qui prévoit que les questionnaires d'évaluation puissent varier en f o n c t i o n du type de cours e n s e i g n é : magistral, travaux pratiques, séminaires, etc. Canadian Journal ofHigher Education Vol. XXV1-3,1996 120 H. Poissant La dimension «connaissance du sujet» évaluée à deux reprises par la Faculté no. 3 est considérée par les spécialistes comme étant difficilement jugeable par les étudiants, surtout ceux du premier cycle qui constituent la majorité des évaluateurs. Il est en effet quelque peu abusif de demander à un étudiant néophyte dans une matière de j u g e r si un professeur «maîtrise la matière du cours» ou si le «cours offre un bon contenu». La présence de dimensions moins pertinentes pour saisir le concept de «qualité d'enseignement» s'explique probablement en partie par le maintien d'anciennes façons de faire ou encore par la persistance de p r é j u g é s sur la façon d ' é v a l u e r un p r o f e s s e u r . Ainsi l ' e x a m e n de plusieurs items des questionnaires démontre encore aujourd'hui une vue conventionnelle de l'enseignement à savoir, une vue où la responsabilité du succès de la classe repose sur le professeur et où l'étudiant se voit r e l é g u e r à un rôle passif par rapport à son p r o p r e a p p r e n t i s s a g e . L'avancée des nouvelles technologies d'enseignement (ordinateurs, i n t e r n e t , etc.) r i s q u e de r e n d r e r a p i d e m e n t d é s u e t de n o m b r e u x questionnaires similaires à ceux que nous venons d'étudier. E n f i n , n o u s r e m a r q u o n s que l ' i d é e selon l a q u e l l e u n e m ê m e université devrait en principe partager la même culture d'évaluation d'une faculté ou d'une école à l'autre n'apparaît pas fondée, du moins dans ce cas-ci, puisqu'en fait nous retrouvons une grande diversité dans la représentativité des dimensions des questionnaires. Cette absence de consensus à l'intérieur même de l'établissement universitaire considéré vient d'une certaine manière augmenter le degré de généralisation de la présente étude qui porte sur quatre facultés et deux écoles. Références Abrami, P. C., & d'Apollonia, S. (1990). The dimensionality of ratings and their use in personnel decisions. In. M. Theall, & J. Franklin. (Eds). Student ratings of instruction: Issues for improving practice. New Directions for Teaching and Learning, no. 43. (p. 97-111) San Francisco: Jossey-Bass Publishers. Abrami, P.C., Leventhal, L., & Perry, R.P. (1982). Educational seduction. Review of Educational Research, Canadian Journal ofHigher Education Vol. XXV1-3,1996 52, 446-464. Examen critique de six questionnaires d'évaluation de l'enseignement 121 Association Canadienne des Professeurs d'Université, (juillet, 1990). Énoncé de principes sur l'évaluation des cours et des programmes universitaires (document). B r a s k a m p , L. A . , & O r y , J. C. ( 1 9 9 4 ) . Assessing individual and institutional performance. faculty work: Enhancing San Francisco: Jossey-Bass Publishers. C e n t r a , J. A . ( 1 9 9 3 ) . Reflective faculty evaluation: Enhancing teaching and determining faculty effectiveness. San Francisco: Jossey-Bass Publishers. Feldman, K. A. (1976). Grades and college students' evaluations of their courses and teachers. Research in Higher Education, 4( 1), 6 9 - 1 1 1 . Poissant, H. (1995a). L'évaluation de l'enseignement universitaire par les étudiants: Quelques pistes à suivre pour un meilleur usage. Mesure et Évaluation en éducation, 17(3), Poissant, H . (1995b). L'évaluation 89-123. des professeurs par les étudiants: État de la quetion et analyse critique. Rapport soumis au Syndicat des Professeurs de l'Université Laval. P o i s s a n t , H . (à p a r a î t r e ) . L'évaluation de l'enseignement universitaire. Montréal: Éditions Logiques. Seldin, P. (1984). Changing practices in faculty evaluation: A critical assessment and recommendations for improvement. San Francisco: Jossey-Bass. Ware, J.E., & Williams-Reed, G. (1977). Discriminant analysis of student ratings as a means for identifying lecturers who differ in enthousiasm or i n f o r m a t i o n - g i v i n g . Educational and psychological measurement, 37(3), 627-639. Canadian Journal ofHigher Education Vol. XXV1-3,1996 122 H. Poissant Annexe 1 Dimensions ayant fait l'objet d'études de validité (Classement d'après Feldman, 1976) 1. Stimulation de l'intérêt 2. Enthousiasme 3. Connaissance du sujet 4. Préparation et organisation du cours 5. Clarté et compréhension 6. Habiletés d'élocution 7. Niveau de la classe et progrès 8. Clarté, respect et atteinte des objectifs de cours 9. Pertinence et valeur du matériel de cours 10. Pertinence et utilité du matériel supplémentaire 11. Charge de travail 12. Résultats perçus 13. Equité dans l'évaluation 14. Organisation de la classe 15. Caractéristiques personnelles 16. Feedback 17. Encouragement à la discussion et à la diversité d'opinions 18. Défi intellectuel et encouragement à la pensée indépendante 19. Préoccupation et respect pour les étudiants 20. Disponibilité et aide 21. Le cours en général (Centra, (1993); Abrami et d'Appolonia, 1990) 22. Le professeur en général (Abrami et d'Appolonia, 1990) 23. Divers (Abrami et d'Appolonia, 1990) Canadian Journal ofHigher Education Vol. XXV1-3,1996 Examen critique de six questionnaires d'évaluation de l'enseignement 123 Annexe 2 Ensemble des biais potentiels et des biais positifs (*) ayant fait l'objet d'études de validité (d'après Braskamp et Ory, 1994) Administration: • lorsque les évaluations sont signées par les étudiants * • lorsque les évaluations sont effectuées en présence du professeur * • lorsque les évaluations sont faites après que les étudiants aient été informés de leur rôle dans la promotion du professeur * • lorsque les évaluations sont faites durant une classe régulière plutôt qu'en période d'examens * Nature du cours: • lorsqu'il s'agit d'un cours au choix plutôt que d'un cours obligatoire * • lorsqu'il s'agit d'un cours avancé ou de deuxième et troisième cycles * • lorsque le nombre d'étudiants dans la classe est peu élevé (effet minimal *) • les meilleures évaluations sont données en ordre décroissant aux disciplines suivantes: arts, sciences humaines, sciences sociales et biologie, administration, informatique, mathématiques, génie, sciences physiques Professeur: • les professeurs reçoivent des évaluations plus élevées que les chargés de cours • lorsque le professeur est chaleureux et enthousiaste * • lorsque le professeur fait de la recherche (effet minimal) • le sexe du professeur n'a pas d'effet • l'âge, le rang du professeur et le nombre d'années d'expérience ont peu d'effet Étudiants: • lorsque les étudiants s'attendent à recevoir des notes élevées * • lorsque les étudiants ont un intérêt préalable par rapport au cours * • lorsque les étudiants sont inscrits dans une «majeure» plutôt que dans une «mineure»* • lorsque l'étudiant est du même sexe que le professeur (masculin-masculin ou féminin-féminin) (effet minimal *) • la personnalité de l'étudiant n'a pas d'effet Instrumentation: • lorsque seulement les deux points extrêmes sur l'échelle de dimensions sont identifiés* • l'utilisation d'une échelle en six points donne des résultats plus fiables qu'une échelle en cinq points. • le nombre d'items formulés négativement n'a pas d'effet • l'emplacement des items sur le formulaire n'a pas d'effet Canadian Journal ofHigher Education Vol. XXV1-3,1996