The Canadian Journal of Higher Education, Vol. XVIII-3, 1988 La revue canadienne d'enseignement supérieur, Vol. XVIII-3 1988 Analyse des politiques d'évaluation de l'enseignement des universités canadiennes HUGUETTE BERNARD* et MICHEL TRAHANt RÉSUMÉ Cet article vise à tracer un portrait national inédit des politiques institutionnelles d'évaluation de l'enseignement des professeurs d'université au Canada. Pour réaliser cette étude, nous avons consulté trois types de documents officiels: les conventions collectives des universités, les guides de promotion des professeurs et les rapports spécifiques d'évaluation de l'enseignement. Il se dégage de notre étude certaines constatations nationales et régionales. Dans toutes les politiques d'évaluation de l'enseignement des universités canadiennes, on mentionne que l'enseignement est évalué à des fins administratives. Les étudiants sont la source d'information la plus consultée et le questionnaire étudiant est le moyen d'évaluation le plus utilisé. Les pairs sont toutefois une source complémentaire d'information. Les commentaires écrits et l'interview sont aussi des moyens fréquemment cités dans les politiques des universités canadiennes. Les politiques des universités francophones diffèrent sur certains points des politiques des universités anglophones. Les universités de l'Ouest du Canada nous présentent, en regard de leurs caractéristiques, un portrait de leurs politiques d'évaluation de /' enseignement complètement différent de celui des universités de l'Est du Canada. ABSTRACT In our research, we studied Canada's universities institutional policies regarding evaluation, in order to get an overall and unprecedented description of those policies. For each Canadian university, we analysed one or more of the following official documents available: collective agreement, faculty promotion guidelines and official report on the evaluation of teaching. * Agent de développement pédagogique, Service pédagogique, Université de Montréal t P r o f e s s e u r , Faculté des sciences de l'éducation, Université de Montréal Une bourse de doctorat du Conseil de recherches en sciences humaines du Canada a été octroyée pour cette étude. Les auteurs tiennent à remercier les universités canadiennes de leur précieuse collaboration. 52 Huguette Bernard et Michel Trahan Results show that all Canadian universities use teaching evaluation for administrative purposes. Students are the main source of information. The course questionnaire is the most used instrument although peer review, written reports and interviews of faculty are complementary sources often mentioned in Canadian universities policies. Differences in policy are evident between francophone and anglophone institutions as well as between eastern and western universities. Les pratiques d'évaluation de l'enseignement ne datent pas d'aujourd'hui. Doyle (1983), dans son historique sur l'évaluation de l'enseignement remonte jusqu'à 350 avant J.-C. Le XXe siècle montre une évolution assez intéressante des pratiques de l'évaluation de l'enseignement. En 1924, un groupe d'étudiants de Harvard publie le "Confidential Guide to Courses"; probablement le premier répertoire de cours évalués. A la suite de cette initiative, plusieurs universités américaines emboîtent le pas. Mais c'est seulement après la deuxième grande guerre mondiale que les pratiques de l'évaluation de l'enseignement se généralisent à travers le monde, notamment aux Etats-Unis. Pendant les années soixante-dix, les pratiques de l'évaluation de l'enseignement deviennent plus systématiques. Elles poursuivent avant tout un but diagnostic visant l'amélioration de l'enseignement. C'est aussi pendant cette décennie que les premiers ouvrages complets sur l'évaluation de l'enseignement voient le jour. Aux Etats-Unis, les coupures budgétaires des années quatre-vingts provoquent des changements marqués dans le domaine de l'évaluation de l'enseignement. Doyle (1983) en cite quatre. D'abord l'évaluation de l'enseignement à des fins administratives vient remplacer l'évaluation faite à des fins d'amélioration de l'enseignement. En second lieu, on constate que les étudiants ne sont plus la seule source d'information consultée pour juger de l'enseignement d'un professeur. En effet, les chercheurs poussent plus loin leurs investigations et tentent de proposer d'autre sources d'information et d'autres moyens d'évaluation; notamment l'évaluation du matériel d'enseignement par les pairs. En troisième lieu, on remarque que l'attitude des professeurs constitue en soi un autre changement majeur. Leurs résistances à l'évaluation de l'enseignement tendent à diminuer et font place à un climat plus favorable. Finalement, les recherches reconnaissent la complexité de l'acte d'enseigner et, par le fait même, la complexité de l'évaluation de l'enseignement. En conséquence, les méthodes d'évaluation deviennent plus sophistiquées et les éditeurs de revues et d'ouvrages dans le domaine deviennent plus critiques face aux documents à publier. Ces changements, propres à notre époque, ont-ils lieu uniquement aux Etats-Unis? Les universités canadiennes ont-elles développé une approche spécifique face au problème de l'évaluation de l'enseignement? Analyse des politiques d ' é v a l u a t i o n de 53 l ' e n s e i g n e m e n t des universités c a n a d i e n n e s En fait, il existe très peu de recherches canadiennes, et encore moins de documents canadiens français, sur l'évaluation de l'enseignement. Signalons toutefois que certains universitaires au Canada s'intéressent à ce domaine de recherche: Ryan et Hickcox (1980) de l'Ontario Institute for Studies in Education; Richard et Michaud (1982) de l'Université d'Ottawa; Murray (1984, 1983, 1982, 1980) de l'Université Western Ontario; Donald (1986, 1984, 1983, 1982, 1977) de l'Université McGill pour n'en citer que quelques-uns. Cette recherche entend fournir des informations complémentaires sur les quatre facettes suivantes: - un état de la recherche sur les principales composantes d'une politique d'évaluation de l'enseignement; - un portrait global des politiques d'évaluation de l'enseignement universitaire canadien; - un instrument fiable utile aux institutions qui souhaitent élaborer ou analyser leur propre politique d'évaluation de l'enseignement; - un accès à certaines conclusions sur les caractéristiques particulières des universités canadiennes. LES QUESTIONS DE RECHERCHE Nous commençons notre étude en formulant deux questions destinées à préciser le problème de recherche. La première question vise à identifier les principales composantes des politiques d'évaluation de l'enseignement des professeurs d'université au Canada. La seconde vise à identifier certaines caractéristiques particulières des universités canadiennes (nombre d'étudiants et de professeurs, niveau et langue d'enseignement, etc.). La connaissance de ces traits devraient nous aider à donner une image plus précise des politiques institutionnelles d'évaluation de l'enseignement des universités au Canada. En s'inspirant des ouvrages consacrés à l'administration de l'éducation (Tezenas, 1971; Neuman, 1969), nous entendons, par "politique", unensemblede règles écrites, officielles et reconnues par une institution d'enseignement universitaire et qui servent à orienter l'action. Ces règles sont inscrites soit dans les conventions collectives des universités, soit dans les guides de promotion des professeurs, ou encore de façon plus spécifique dans des rapports d'évaluation de l'enseignement. Ce sont d'ailleurs là les trois types de documents que nous considérerons dans notre analyse des politiques institutionnelles d'évaluation de l'enseignement du professeur d'université au Canada. Ces trois types de documents institutionnels peuvent présenter, de façon plus ou moins élaborée, des informations concernant les règles de l'évaluation de l'enseignement pour une institution. Incidemment, une même institution ne dispose généralement pas des trois types de documents. En effet, dans la majorité des universités il existe soit des conventions collectives, soit des guides de promotion du professeur. Rares sont les universités qui ont développé, en plus, des rapports spécifiques d'évaluation de l'enseignement. 54 Huguette Bernard et Michel Trahan Délibérément, nous excluons de notre étude les pratiques d'évaluation de l'enseignement qui ont cours dans les différentes universités canadiennes. Bien sûr, les pratiques d'évaluation de l'enseignement des universités au Canada constituent, en elles-mêmes, un sujet d'étude fort intéressant; ce sujet s'avère cependant fort complexe puisqu'en plus des pratiques formelles, il existe une foule de pratiques individuelles informelles non contrôlables et, de ce fait, très difficiles à cerner dans le cadre d'une étude scientifique. LA RECENSION DES ECRITS Pour répondre à la première question de recherche, nous avons d'abord précisé les principales composantes de l'évaluation de l'enseignement, d'après la littérature. Nous nous sommes particulièrement inspiré de Nevo (1983) qui inventorie et décrit les concepts clés de l'évaluation. Nous avons retenu de son travail cinq principaux aspects (composantes) pour analyser les politiques d'évaluation de l'enseignement des universités canadiennes. Il s'agit: - des buts poursuivis par l'évaluation de l'enseignement; - des activités d'enseignement évaluées; - des sources d'information consultées; - des moyens d'évaluation utilisés; - des personnes qui ont accès aux résultats de l'évaluation. Les buts de l'évaluation de l'enseignement La majorité des auteurs (Doyle, 1983; Murray, 1980; Nadeau, 1977; Glasman et Gmelch, 1976; Dressel, 1976) s'accordent pour dire que l'évaluation de l'enseignement poursuit quatre buts: - fournir un diagnostic et aider à l'amélioration de l'enseignement; - fournir une information de base pour les décisions administratives concernant le personnel, les allocations de ressources, les tâches, etc.; - fournir une information aux étudiants pour les éclairer dans leurs choix de cours et la planification de leur programme d'études; - fournir des données pour la recherche sur l'enseignement, l'apprentissage et l'évaluation de l'enseignement. Les activités d'enseignement évaluées La deuxième composante de l'évaluation de l'enseignement que nous étudierons, c'est l'objet d'évaluation lui-même: l'enseignement. Ainsi nous nous demandons: comment les écrits sur le sujet définissent l'enseignement et en quels termes les politiques d'évaluation de l'enseignement des universités canadiennes parlent de cet objet d'évaluation? Pour Doyle (1983), l'enseignement comprend trois facettes:ie processus, la substance et le résultat. Le processus d'enseignement, c'est l'intervention du professeur auprès de ses étudiants; la substance, c'est le contenu du cours; enfin le résultat, c'est l'apprentissage des étudiants. Analyse des politiques d ' é v a l u a t i o n de 55 l ' e n s e i g n e m e n t des universités c a n a d i e n n e s Par ailleurs, enseigner à l'Université ce n'est pas seulement intervenir en classe, c'est aussi diriger des mémoires et des thèses, superviser des étudiants en stage ou en clinique, jouer le rôle de conseiller pédagogique auprès des étudiants, s'impliquer dans des comités pédagogiques, assumer un rôle de consultant auprès de ses collègues. On ne peut ignorer ces activités lors de l'évaluation de l'enseignement du professeur d'université. Mais il existe peu d'information dans les écrits sur l'évaluation des diverses activités liées à l'enseignement universitaire autres que l'intervention en classe. Certains auteurs (Pascal, 1977; Geis, 1977; Murray, 1980) mentionnent ces diverses activités dans leurs écrits, mais n'ont pas élaboré de système pour les évaluer. D'autres recherches sont nécessaires dans ce domaine si on souhaite en arriver à évaluer de façon exhaustive l'enseignement du professeur, c'est-à-dire si l'on veut tenir compte de la complexité et de la variété de ses tâches. Les sources d'information consultées Nous abordons ici la troisième composante des politiques d'évaluation de l'enseignement: les sources d'information. D'après Doyle (1983), les principales sources d'information à consulter sont les personnes qui ont eu l'occasion d'observer soit le processus, soit le matériel d'enseignement, soit le résultat de l'enseignement. Ces personnes sont le professeur lui-même, les étudiants ou les collègues. Peuvent s'ajouter les directeurs ou les doyens, les spécialistes de l'enseignement ou de l'évaluation de l'enseignement, les assistants de cours ou toute autre personne ayant été impliquée dans un aspect ou l'autre de l'enseignement. Les moyens d'évaluation utilisés Enfin la quatrième composante de l'évaluation de l'enseignement traitée dans les écrits sur le sujet réfère aux moyens d'évaluation. Ceux-ci sont multiples et variés comme l'expliquent différents auteurs: les questionnaires étudiants (Aleamoni, 1981; Nadeau, 1977), les questionnaires d'analyse du matériel d'enseignement (Braskamp et al., 1984; French-Lazovik, 1981; Seldin, 1980), les grilles d'observation en classe (Braskamp et al., 1984; Murray, 1983), les rapports d'enseignement (ACPU, 1986; Carrol, 1981), les interviews et les commentaires écrits. LA METHODOLOGIE La recensión des écrits sur les principales composantes d'une politique d'évaluation de l'enseignement nous a aidés à élaborer une grille d'analyse descriptive des politiques. Les composantes retenues sont celles que nous avons abordées précédemment en tenant compte des éléments qui composent chacune de ces composantes. Ces divers éléments sont consignés dans une grille d'analyse (tableau I), que nous avons élaborée, laquelle servira d'instrument de base à l'étude des politiques et à la consignation des données. Ainsi chaque politique des universités est 56 Huguette Bernard et Michel Trahan Tableau 1 Grille d'analyse des politiques d'évaluation de l'enseignement 1. Buts: o o o 2. Activités d'enseignement: o o o o 3. étudiants collègues directeur, doyen professeur autres (diplômés, experts, etc.) . . Moyens d'évaluation: o o o o o 5. enseignement-cours direction de mémoires et de thèses supervision de stage, de clinique, de laboratoire, etc. autres (conseil pédagogique, etc.) Sources d'information: o o o o o 4. administratif formatif choix de cours questionnaire étudiant questionnaire d'analyse du matériel d'enseignement grille d'observation en classe rapport d'activités d'enseignement autres (commentaires écrits, interview, etc.) Personnes ayant accès aux résultats de l'évaluation: o o o o o professeur évalué collègues directeurs, doyens instances décisionnelles étudiants analysée et l'information, consignée selon la grille d'analyse. Le résultat de cette opération est ensuite retourné aux universités pour fins de validation. L'ensemble des informations retenues servira à dégager le profil global des politiques d'évaluation de l'enseignement des universités au Canada. Le Répertoire des universités canadiennes identifie plus de quatre-vingts Analyse des politiques d'évaluation de 57 l'enseignement des universités canadiennes Figure 1 - P o r t r a i t des p o l i t i q u e s d ' é v a l u a t i o n des u n i v e r s i t é s canadiennes de l'enseignement institutions de niveau universitaire. Pour les fins de notre recherche, nous ne retenons que les institutions offrant une diversité de disciplines d'enseignement et, par le fait même, nous excluons les écoles spécialisées telles l'Ecole des hautes études commerciales et l'Ecole polytechnique de Montréal, toutes deux affiliées à l'Université de Montréal ainsi que l'Ecole de technologie supérieure et l'Ecole nationale d'administration publique, constituantes de l'Université du Québec. Nous excluons aussi les institutions spécialisées telle l'Institut d'études pédagogiques de l'Ontario; les "College", institutions faisant partie de certaines universités ainsi que les universités offrant une enseignement à distance: la Télé- université, constituante de l'Université du Québec et Athabasca University en Alberta. Pour tracer le portrait des politiques d'évaluation de l'enseignement des universités canadiennes, nous avons étudié les documents officiels de 47 institutions universitaires canadiennes. Ces universités représentent la totalité des institutions universitaires canadiennes disposant d'informations écrites traitant de l'évaluation de l'enseignement. Les universités, dont les documents seront étudiés, se répartissent de la façon suivante: onze universités (23%) dans l'Ouest du Canada (Colombie-Britannique, Alberta, Saskatchewan, Manitoba), quatorze (30%) en Ontario, onze (23%) au 58 Huguette Bernard et Michel Trahan Québec et onze universités (23%) dans l'Est du Canada (Nouveau-Brunswick, Nouvelle-Ecosse, Ile-du-Prince-Edouard, Terre-Neuve). LES RESULTATS DE L'ANALYSE NATIONALE ET REGIONALE Pour illustrer les résultats de l'analyse des politiques d'évaluation de l'enseignement, nous avons conçu un diagramme d'allure matricielle (figure 1). En abscisse, se trouve l'énumération des cinq composantes des politiques ainsi que de leurs catégories respectives; en ordonnée, l'énumération des quatre régions du Canada. Au bas du diagramme, une dernière rangée indique les résultats de l'analyse des politiques pour l'ensemble du Canada. Au croisement de chacune des colonnes et des rangées se trouvent les résultats obtenus par les universités des régions concernées. L'échelle en pourcentage (0-100%) est répétée pour chacune des régions du Canada. Au bas du diagramme, une dernière rangée indique les résultats de l'analyse des politiques pour l'ensemble du Canada. Au croisement de chacune des colonnes et des rangées se trouvent les résultats obtenus par les universités des régions concernées. L'échelle en pourcentage (0-100%) est répétée pour chacune des régions du Canada. Les masses tramées grises indiquent visuellement la proportion d'universités qui, dans chaque région, mentionnent l'emploi de l'une ou l'autre des variables. Les masses noires indiquent, quant à elles, la proportion d'un résultat au-dessus de la moyenne canadienne. Le chiffre inscrit au-dessus de ces masses grises ou noires traduit le pourcentage obtenu par les universités d'une région; ceci évidemment, en regard de chaque variable des politiques. Prenons un exemple, si on lit de façon verticale les résultats de la première colonne, à l'extrême gauche du diagramme, à la figure 1, on voit que 100% des universités de toutes les régions du Canada poursuivent un but administratif dans le cadre de l'évaluation de l'enseignement. Un second exemple permettra de mieux saisir la lecture du diagramme; prenons le cas des universités au Québec (2e rangée) en regard de la variable "évaluation formative" (2e colonne): nous voyons que 82% des universités au Québec poursuivent un but formatif. La moyenne canadienne étant de 55% (masse tramée grise), la masse noire représente visuellement l'écart entre les universités au Québec et les autres universités dans la poursuite d'un tel but, soit 27%. L'analyse nationale L'examen de l'ensemble des résultats des politiques canadiennes révèle que: - 100% des universités au Canada poursuivent le but administratif de l'évaluation de l'enseignement; - 100% des universités évaluent l'enseignement-cours comme première activité d'enseignement; - 100% des universités donnent accès aux résultats de l'évaluation au professeur évalué ainsi qu'au directeur ou au doyen. Analyse des politiques d ' é v a l u a t i o n de 59 l ' e n s e i g n e m e n t des universités c a n a d i e n n e s Nous constatons de plus que: - 94% des universités donnent accès aux résultats de l'évaluation aux pairs réunis ou non en comité; - 94% des universités consultent les étudiants comme première source d'information; - 85% des universités utilisent le questionnaire étudiant comme moyen d'évaluation; - 79% des universités consultent leurs pairs comme source complémentaire d'information; - 79% des universités donnent accès aux résultats aux instances décisionnelles. Ainsi, une première série de conclusions se dégage de l'analyse globale des politiques institutionnelles d'évaluation de l'enseignement des universités canadiennes. L'enseignement-cours est évalué par la très grande majorité des universités à des fins administratives, au moyen du questionnaire étudiant. De plus, les pairs sont une source complémentaire d'information. Enfin, le professeur évalué ainsi que le directeur ou le doyen, en plus des pairs et des instances décisionnelles ont accès aux résultats de l'évaluation. Une deuxième série de conclusions peut être tirée de l'analyse des résultats. Près des trois quarts des universités mentionnent évaluer des activités d'enseignement telles que la direction de mémoires et de thèses, le conseil pédagogique, l'élaboration de matériel didactique, etc. De plus, on mentionne avoir recours à des moyens complémentaires d'évaluation, tels l'interview, les commentaires écrits, etc. Une troisième série de conclusions nous amène à dire que près de la moitié des universités canadiennes favorise l'évaluation formative et évalue la supervision d'étudiants en stage, en clinique ou en laboratoire. De plus, on admet que les directeurs ou les doyens ainsi que le professeur évalué sont des sources complémentaires d'information. Enfin, on mentionne que l'évaluation peut se faire au moyen d'un questionnaire d'analyse du matériel d'enseignement. Une quatrième série de conclusions, sur l'ensemble des politiques d'évaluation de l'enseignement des universités au Canada, nous indique que plus du quart des universités sont favorables à l'utilisation d'une grille d'observation en classe et du rapport d'enseignement comme autres moyens d'évaluation et à la consultation de sources externes d'information telles les experts en pédagogie, les étudiants gradués, les professionnels du milieu, etc. Enfin, un nombre très restreint d'universités (11%) sont d'accord pour que l'évaluation serve au choix de cours des étudiants et par le fait même que ceux-ci aient accès aux résultats de l'évaluation (13%). L'analyse régionale L'analyse des politiques par région révèle que les points majeurs de différenciation se situent principalement au niveau du but formatif de l'évaluation; de l'activité d'enseignement en clinique, en stage ou en laboratoire; du professeur, source possible d'information et du moyen très contesté qu'est la grille d'observation en classe. 60 Huguette Bernard et Michel Trahan Les résultats globaux nous ont indiqué précédemment que 55% des universités canadiennes poursuivaient le but formatif de l'évaluation. En fait, notons qu'au Québec, 82% des universités mentionnent dans leur politique l'importance de poursuivre le but formatif afin d'améliorer l'enseignement. Alors que seulement 27% des universités dans l'Ouest ont ce but explicitement inscrit dans leur politique. Par ailleurs, plusieurs de ces universités nous ont fait remarquer, dans leur réponse, que même si ce but formatif n'était pas mentionné dans leur politique il était de toute évidence poursuivi dans la pratique. Certaines universités, comme l'Université British Columbia, se sont même dites choquées de ne pas voir ce but coché dans la grille d'analyse puisque le but administratif est implicitement formatif pour eux. Le deuxième point de divergence entre les politiques des universités se trouve sous l'activité d'enseignement en clinique, en stage ou en laboratoire. En effet, 82% des universités au Québec mentionnent cette activité d'enseignement dans leur politique alors qu'elle est mentionnée par seulement 29% des universités de l'Ontario, 38% des universités de l'Est et 54% des universités de l'Ouest du Canada. Le même phénomène que précédemment se produit alors que les universités nous répondaient que lorsqu'un enseignement en clinique, en stage ou en laboratoire est donné, il est, comme toutes les autres activités d'enseignement, évalué. Seulement, très souvent il n'est pas mentionné dans les documents. Remarquons que, de façon générale, les conventions collectives ou les guides de promotion sont très peu explicites sur les différentes activités d'enseignement qui peuvent être évaluées. Le troisième point de divergence concerne le professeur, source possible d'information au moment de l'évaluation de son enseignement. En effet, 64% des universités au Québec acceptent que le professeur évalué soit consulté alors que 43% des universités en Ontario et seulement 27% des universités dans l'Est et dans l'Ouest du Canada admettent avoir recours au professeur évalué. Enfin, le quatrième point de désaccord entre les régions concerne l'utilisation de la grille d'observation en classe comme moyen d'évaluation de l'enseignement. Si les universités de l'Ouest sont d'accord à 64% pour utiliser ce moyen, très peu d'universités dans les autres régions le mentionnent: 9% au Québec et dans l'Est, 29% en Ontario. Au Québec, l'Université McGill le suggère comme moyen pour évaluer l'organisation de la matière. Toutefois, la politique recommande d'utiliser ce moyen avec précaution. De plus, on mentionne qu'une seule visite ne peut être suffisante pour porter un jugement de valeur. En Ontario, ce sont les universités Queen's, Waterloo, Western et Windsor qui mentionnent ce moyen d'évaluation. LES RESULTATS EN FONCTION DE CERTAINES CARACTERISTIQUES DES UNIVERSITES Dans une deuxième étape, nous avons voulu préciser les images nationale et régionales précédentes en analysant, à nouveau, les politiques d'évaluation de Analyse des politiques d ' é v a l u a t i o n de 61 l ' e n s e i g n e m e n t des universités c a n a d i e n n e s l'enseignement des universités canadiennes, mais en fonction cette fois de certaines caractéristiques particulières et significatives des universités. Cette deuxième analyse nous a permis de vérifier si les politiques d'évaluation de l'enseignement des universités canadiennes diffèrent, sur un plan national et régional, en fonction: ( 1) de la taille de la "population étudiante", (2) de la "langue d'enseignement", (3) du "niveau d'enseignement", (4) de la taille de la "population professorale", (5) du nombre d'inscriptions "plein temps et temps partiel", (6) de "l'âge des institutions" et enfin (7) de la disponibilité des "ressources à l'enseignement" pour les professeurs. Les politiques en fonction de la population étudiante Nous avons démontré précédemment que le premier but poursuivi par l'évaluation de l'enseignement est avant tout le but administratif. Le but formatif, quant à lui, est mentionné dans un peu plus de la moitié des politiques des universités canadiennes. Quelles sont les universités qui poursuivent ce but formatif? Comme il est indiqué, à la figure 2, ce sont principalement les universités comptant entre cinq et vingt mille étudiants et les universités de plus de trente mille étudiants. Rappelons que ces catégories d'universités se trouvent principalement au Québec et en Ontario. Toutes les universités, quelle que soit leur catégorie, mentionnent l'enseignement-cours dans leur politique, comme activité d'enseignement pouvant être évaluée. Par ailleurs, il semble que l'évaluation de la direction de mémoires et de thèses existe très peu dans les universités ayant une faible population étudiante; et pour cause, puisque dans la majorité des cas, ces universités n'offrent pas le troisième cycle et n'en sont qu'à leur début en ce qui concerne le deuxième cycle. C'est le cas, par exemple, des universités de l'Est du Canada dont 72% de leurs universités n'offrent pas le niveau doctorat. On remarque, sur le diagramme de la figure 2, que plus la population étudiante augmente, plus le nombre d'universités évaluant la direction de mémoires et de thèses augmente. C'est le cas des universités comptant plus de 20000 étudiants: 100% de ces universités mentionnent cette activité dans leur politique. La troisième activité d'enseignement, c'est-à-dire l'enseignement en clinique, en stage ou en laboratoire est mentionnée dans toutes les politiques des universités très populeuses (plus de 30 000 étudiants). Par contre, cette activité est mentionnée par seulement 22% des universités comptant entre 20 000 et 30 000 étudiants et par plus de la moitié des universités comptant entre 5 000 et 20000 étudiants. Enfin d'autres activités d'enseignement, l'élaboration de matériel d'enseignement et le conseil pédagogique, sont inscrites dans 80% des politiques des universités très populeuses et dans 78% de celles moins populeuses. 94% des politiques canadiennes mentionnent les étudiants comme première souce d'information consultée lors de l'évaluation de l'enseignement. Il existe très 62 -5 Huguette Bernard et Michel Trahan 91 73 43 000 < 9 23 % 5 10 10 20 001 à 000 28% 001 à 30 0 0 0 ^* ' 44 ï > 60 001 n% CANADA 33 m 19% 36 <4 • « « 56 mum! ^ • W É TBPOI 11 1 1 , 1 M II as 1 3 • 16 100% <31 27 9 44 :>:»:".92 77 34 •">• 61 MM 001 27 1 8 79 MM 19% 20 +30 89 67 62 54 27 000 â 34 36 36 36 76 ,^ S E MN • 67 «M lu*J 62 67 78 0% 100% 36 K m 31 61 •M 2 3 —.99 76 69 36 H|É 67 • f l ' ¡i M M 80 * 60 60 INI 40 MM ^ 20 M M m 0% 100% 77 1 5 89 6 9 MIMV \ " Í 100 33 11 100 ta 49 «2 94 79 47 40 23 65 M 29 23 6S 100 94 100 79 1] Figure 2 - 0% 100% 0% 100 % 0% P o r t r a i t des p o l i t i q u e s d ' é v a l u a t i o n de l ' e n s e i g n e m e n t d e s u n i v e r s i t é s c a n a d i e n n e s en f o n c t i o n de l a p o p u l a t i o n é t u d i a n t e peu de différence entre les diverses catégories d'universités. Par ailleurs, la deuxième source d'information, c'est-à-dire les pairs, est davantage consultée par les institutions plus populeuses que par les universités plus petites alors que c'est l'inverse, lorsqu'il s'agit de consulter les directeurs et les doyens. Plus le nombre d'étudiants est élevé, moins les directeurs et les doyens sont consultés comme source d'information et plus le professeur évalué devient une source importante de consultation. Enfin, les autres sources d'information, telles les étudiants gradués, les spécialistes en pédagogie ou les professionnels du milieu, sont davantage consultées par les universités plus populeuses que par les universités moins populeuses. Le questionnaire étudiant est utilisé dans 85% des universités canadiennes. Il existe très peu de différence entre les diverses catégories d'universités. Le deuxième moyen d'évaluation, qu'est le questionnaire d'analyse du matériel d'enseignement, est très recommandé par les universités de plus de 20000 Analyse des politiques d ' é v a l u a t i o n de 63 l'enseignement des universités c a n a d i e n n e s étudiants (78%) et très peu recommandé par les universités comptant entre 5 000 et 10000 étudiants (11%). La grille d'observation en classe est fortement suggérée par les universités qui ont entre 20000 et 30000 étudiants (67%); elle est pratiquement non utilisée pour les universités qui ont moins de 10 000 étudiants et plus de 30000 étudiants. Le rapport d'évaluation est recommandé par 44% des universités qui ont entre 5 000 et 10000 étudiants et par 40% de celles qui comptent plus de 30000 étudiants; il est cependant très peu recommandé par les universités qui ont entre 20 000 et 30 000 étudiants (11%) et moins de 5 000 étudiants (9%). Les moyens informels d'évaluation, quant à eux, sont mentionnés dans plus de 80% des politiques des universités de plus de 20000 étudiants et dans plus de la moitié des politiques des autres catégories d'institutions. La majorité des universités au Canada donnent accès aux résultats de leur évaluation autant au professeur évalué, qu'à leurs pairs, à leurs directeurs ou à leurs doyens. L'accès aux résultats par les instances décisionnelles fait exception dans certaines universités. En effet, les politiques de près de la moitié des universités à faible population étudiante (5 000 - 10000) ne font aucunement mention de l'accès aux résultats de l'évaluation par les instances décisionnelles. Les politiques en fonction de la langue d'enseignement Les différences entre les institutions sont très marquées pour cette variable. On remarque que 89% des institutions francophones inscrivent dans leur politique le but formatif de l'évaluation, alors que seulement 47% des universités anglophones le font. Les universités bilingues penchent plutôt du côté de ces dernières (figure 3). Pour les activités d'enseignement, les différences sont plus marquées encore. La direction de mémoires et de thèses est mentionnée par 89% des universités francophones, 68% des universités anglophones et 25% des universités bilingues. L'enseignement en stage, en clinique ou en laboratoire est considéré par toutes les universités francophones et par seulement 41% des universités anglophones. Les quatre universités bilingues ne considèrent pas cette activité d'enseignement. Au niveau des sources d'information, les écarts les plus grands existent relativement à la consultation des directeurs ou des doyens et du professeur évalué. Toutes les universités bilingues sont d'avis de consulter les directeurs ou les doyens alors que seulement 56% des universités francophones et 38% des universités anglophones sont de cet avis. La consultation du professeur évalué est indiquée dans les politiques de 78% des universités francophones, 50% des universités bilingues et 29% des universités anglophones. Concernant les moyens d'évaluation suggérés, 38% des universités anglophones sont d'avis d'utiliser la grille d'observation en classe, alors que toutes les autres universités rejettent ce moyen. Par ailleurs, 44% des universités francophones ont recours au rapport d'enseignement alors que seulement 21 % des universités anglophones utiliseraient ce moyen. Les universités bilingues refusent ce moyen d'évaluation. 64 H u g u e t t e B e r n a r d et M i c h e l T r a h a n ANGLAIS 72% BILINGUE 8% CANADA Figure 100 11 u too ta <« 3 - zï 9t 79 ti »0 25 65 18 28 23 68 100 94 100 79 1} I ' o r t r a i t îles p o l i t i q u e s universités canadiennes d ' é v a l u a t i o n de l ' e n s e i g n e m e n t des en f o n c t i o n de l a l a n g u e d ' e n s e i g n e m e n t En ce qui concerne l'accès aux résultats de l'évaluation, il existe très peu de différence entre les universités francophones, anglophones ou bilingues. Mentionnons par ailleurs que le quart de ces dernières acceptent que les étudiants aient accès aux résultats de l'évaluation et que toutes les universités francophones sans exception indiquent donner accès aux résultats aux instances décisionnelles. Les politiques en fonction des autres caractéristiques Le profil des politiques diffère selon que les institutions regroupent principalement des inscriptions à temps partiel ou à plein temps. Le but formatif de l'évaluation est poursuivi essentiellement par les institutions regroupant une majorité d'inscriptions à temps partiel. Ces mêmes institutions mentionnent évaluer pratiquement toutes les activités d'enseignement du professeur. Ces premières conclusions s'expliquent par le fait que ces institutions se retrouvent en majeure partie au Québec. Par ailleurs, concernant les sources d'information consultées et les moyens d'évaluation utilisés, nous arrivons à des conclusions différentes. Les sources d'information sont plus variées dans les universités à temps partiel et les moyens d'évaluation plus diversifiés. Sans doute, l'apport des quelques universités de l'Ouest qui offrent principalement une formation à temps partiel a-t-il contribué à modifier le profil des politiques au niveau de ces deux dernières variables? 65 Analyse des politiques d ' é v a l u a t i o n de l ' e n s e i g n e m e n t des universités c a n a d i e n n e s En considérant les caractéristiques du niveau d'enseignement offert dans les universités canadiennes, nous remarquons des différences entre les institutions sur certains points. Certaines sources d'information et certains moyens d'évaluation sont totalement absents des universités offrant seulement le premier cycle. On se rappellera que les universités de premier cycle se retrouvent en majeure partie dans l'Est du Canada. Dans les politiques de ces institutions, nous ne retrouvons pas de trace ni de la grille d'observation en classe ni du rapport d'évaluation comme moyens possibles d'évaluation. Ces institutions ne semblent pas non plus consulter ni le professeur évalué ni les sources externes d'information. Concernant l'âge des institutions, les différences entre le profil des politiques des universités semblent encore moins évidentes que pour les caractéristiques précédentes. Le but formatif de l'évaluation est davantage absent dans les politiques des universités plus anciennes. La mention de l'évaluation de l'enseignement en stage est pratiquement absente des politiques des universités datant du début du siècle. Chez ces mêmes universités, on ne mentionne pas non plus consulter le professeur évalué à titre de source d'information. Par ailleurs, la consultation de sources externes d'information est pratiquement absente des politiques des institutions plus récentes. Enfin, concernant les moyens d'évaluation consultés, mentionnons que le questionnaire d'analyse du matériel d'enseignement est moins présent dans les politiques des universités plus récentes et que, par contre, la grille d'observation en classe est davantage présente chez les universités datant du début du siècle. Enfin, en considérant la variable disponibilité des ressources à l'enseignement, nous remarquons qu'il existe peu de différence entre les institutions qui offrent de telles ressources et celles qui n'en offrent pas. CONCLUSION Rappelons qu'il existe dans toutes les universités canadiennes des politiques institutionnelles d'évaluation de l'enseignement du professeur. Ajoutons que ces diverses politiques ont certains points en commun: dans toutes les politiques, il est mentionné que l'évaluation se fait à des fins administratives; que les principales personnes concernées ont accès aux résultats de l'évaluation (le professeur, le directeur et le doyen) et que c'est surtout l'enseignement-cours qui est la principale activité d'enseignement évaluée. L'analyse nous révèle de plus que les étudiants sont la source d'information la plus consultée et que le questionnaire est le moyen d'évaluation le plus utilisé. Ajoutons de plus que l'analyse des politiques, en regard de certaines caractéristiques particulières, indique que le profil des politiques varie principalement en fonction de la région, de la population étudiante et de la langue d'enseignement. Enfin mentionnons que la grille d'analyse élaborée aux fins de cette étude constitue un instrument d'analyse institutionnelle permettant aux universités 66 Huguette Bernard et Michel Trahan d'élaborer ou de réviser leur propre politique d'évaluation de l'enseignement. Cette grille, conçue pour le niveau universitaire, pourrait très bien s'adapter à tout autre niveau d'enseignement. Il serait intéressant, au terme de cette étude, d'explorer les diverses pratiques d'évaluation de l'enseignement des institutions universitaires canadiennes. Ce répertoire pourrait éventuellement servir de guide aux universités soucieuses de mettre en pratique leur politique d'évaluation de l'enseignement. NOTE 'Nous remercions le professeur Jacques D e r o m e , de la Faculté d ' a m é n a g e m e n t de l'Université de Montréal, pour son aide dans la conception des diagrammes. REFERENCES Aleamoni, Lawrence M . (1981). "Student Ratings of Instruction". Handbook of Teacher Edited by Jason Millman. California: Sage Publications, 1 1 0 - 1 4 5 . Association des universités et collèges du Canada ( 1 9 8 2 - 1 9 8 3 ) . Répertoire des canadiennes. Evaluation. universités Braskamp, Larry A . , Brandenburg, Dale C . , Ory, John C. (1984). Evaluating Teaching Effectiveness. A pratical Guide. California: Sage Publications, 136 pages. Carrol, Gregory (1981). "Faculty self-evaluation". Handbook of Teacher Evaluation. Edited by Jason Millman. California: Sage Publications, 1 8 0 - 2 0 0 . Donald, Janet G . (1986) "Des principes et des paramètres de l'évaluation de l'enseignement supérieur". Mesure et évaluation en éducation, 8,4,5-30. Donald, Janet G . (1984) "Quality Indices for Faculty Evaluation". Assessment and Evaluation in Higher Education, 9,1,41-52. Donald, Janet G . (1983). "Criteria for Evaluating University Teaching". Proceeding of the Conference on the Evaluation and Improvement of University Teaching: The Canadian Experience. Montebello, Québec, 7 4 - 8 8 . Donald, Janet G . (1982b). "L'évaluation du personnel universitaire". Communication sur l'évaluation du personnel, Colloque du Conseil supérieur de l'éducation. Donald, Janet G . (1982a). " A Critical Appraisal of the State of Evaluation in Higher Education in C a n a d a " . Assessment and Evaluation in Higher Education, 7,2, 1 0 8 - 1 2 6 . Donald, Janet G . , Shore, Bruce M . (1977). "Student Learning and the Evaluation of Teaching". If Teaching is Important... The Evaluation of Instruction in Higher Education. Clarke, Irwin and C o m p a g n y Limited, 4 2 - 7 2 . Doyle, Kenneth O . Jr. (1983). Evaluating Teaching. Toronto: Lexington Books, D . C . Heath and C o m p a n y , 175 pages. Dressel, Paul L . (1976). Handbook of Academic Evaluation. California: Jossey-Bass, 518 pages. French-Lazovik, Grace (1981). "Peer Review: Documentary Evidence in the Evaluation of Teaching". Handbook of Teacher Evaluation. Edited by Jason Millman. California: Sage Publications, 73-89. Glasman, Naftaly S . , G m e l c h , Walter (1976). "Purposes of Evaluation of University Instructors: Definitions, Delineations and Dimensions". The Canadian Journal of Higher Education, 6, 2, 3 7 - 5 5 . Geis, George L. (1977). "Evaluation: Definitions, Problems and Strategies". If Teaching is Important ... The Evaluation of Instruction in Higher Education. Clarke, Irwin and Company Limited, 8-41. 67 Analyse des politiques d'évaluation de l'enseignement des universités canadiennes Murray, Harry G . ( 1984). "The Impact of Formative and Summative Evaluation of Teaching in North American Universities". Assessment and Evaluation in Higher Education, 9, 2, 1 1 7 - 1 3 2 . Murray, Harry G . (1983). "Low-Inference Classroom Teaching Behaviors and Student Ratings of College Teaching Effectiveness". Assessment and Evaluation in Higher Education, 75, 1, 138-149. Murray, Harry G . , N e w b y , W i l l i a m G . (1982). "Faculty Attitudes Toward Evaluation o f T e a c h i n g a t the University of Western Ontario". Assessment and Evaluation in Higher Education, 7, 2, 144-151. Murray, Harry G . (1980). Evaluating University Teaching: A Review of Research. Confederation of University Faculty Association, 64 pages. Ottawa: Ontario Nadeau, Gilles G . (1977). "Student Evaluation of Instruction: The Rating questionnaire". If Teaching is Important ... The Evaluation of Instruction in Higher Education. Clarke, Irwin and C o m p a n y Limited, 7 3 - 1 2 8 . Nevo, David (1983). "The Conceptualization of Educational Evaluation: An analytical Review of the Literatur s." Review of Educational Research, 53, 1, 1 1 7 - 1 2 8 . N e w m a n , W . H . (1969). L'art de la gestion. Paris: Dunod. Pascal, Charles E. (1977). "Evaluating Academic Functions outside the Classroom". If Teaching is Important... The Evaluation of Instruction in Higher Education. Clarke, Irwin and Company Limited, 1 5 9 - 1 7 1 . Richard, M a r c , Michaud, Pierre (1982a). "L'évaluation des enseignants: analyse et critique des lois et règlements en vigueur au Nouveau-Brunswick, au Québec et en Ontario". 26 pages. Richard, Marc, Michaud, Pierre (1982b). "La pratique de l'évaluation des enseignants au NouveauBrunswick, au Québec et en Ontario". Revue des Sciences de l'éducation, VIII, 2, 2 5 5 - 2 7 0 . Ryan, Doris W . , Hickcox, Edward S. (1980). Redefining Teacher Evaluation. An Analysis Practices, Policies and Teacher Attitudes. Toronto: OISE Press, 120 pages. of Shore, Bruce M . , Foster, Stephen F . , Knapper, Christopher K . , Nadeau, Gilles G . , Neil, Neil, Sim, Victor (1986). Dossier d'enseignement. Guide de rédaction et d'utilisation. Edition révisée, traduit par Louise Caron. Association canadienne des professeurs d'universités. Tezenas, J. (1971). Dictionnaire l'organisation. de l'organisation et de la gestion. Paris: Les éditions de