The Canadian Journal of Higher Education, Vol. XIV-3, 1984 La revue canadienne d'enseignement supe'rieur, Vol. XIV-3, 1984 L'évaluation des programmes d'études réorientée par l'utilisation d'un modèle de simulation GILLES PIÉDALUE et PIERRE FEUVRIER* RÉSUMÉ Cet article propose d'abord une définition synthétique et opérationnelle capable d'intégrer les aspects politiques et techniques de l'évaluation institutionnelle des programmes d'études. Il présente ensuite un modèle qui tient compte de la problématique complexe de l'évaluation, modèle dont l'implantation sur ordinateur dynamise tout le processus de son asservissement aux contraintes de l'environnement institutionnel. ABSTRACT This article proposes first a synthetical and operational definition capable of integrating the political and technical aspects of institutional evaluation of academic programs. Second, it presents a model that takes into account the complex problem of evaluation. When the model is used on a computer, it makes the process of his reduction to the requirements of the institutional environment more dynamic. Depuis quelques années, l'évaluation institutionnelle des programmes d'études est devenue un important sujet de préoccupations. Le volume des publications qui s'y rattache en témoigne. Malgré tout, l'évaluation reste un univers flou dans lequel il est difficile de trouver des points de repère. Le besoin d'une définition synthétique et opérationnelle de l'évaluation institutionnelle est toujours présent. De plus, une nécessité s'impose, celle d'organiser la rencontre entre l'espace politique et l'espace technique de l'évaluation. L'ensemble des modalités qui * Les deux auteurs sont chercheurs au Bureau de la recherche institutionnelle de l'Université du Québec à Montréal 60 Gilles Pie'dalue et Pierre Feuvrier conditionnent cette rencontre détermine dans une large mesure le succès de toute entreprise d'évaluation institutionnelle et les tentatives récentes en cette matière montrent, de façon éloquente, que l'existence d'un cadre où puissent se résoudre les problèmes politiques et techniques fait généralement défaut. Lorsqu'ils sont utilisés, les modèles sont habituellement statiques, trop rigides pour répondre aux contraintes fluctuantes de l'évaluation. Ce que nous entendons faire ici, c'est de proposer un modèle d'évaluation, un modèle simple capable de tenir compte de la problématique complexe de l'évaluation, modèle dont l'implantation sur ordinateur dynamise tout le processus de son asservissement à l'environnement institutionnel, lequel asservissement, à la volonté des évaluateurs, reste une étape critique dans toute opération d'évaluation, ce que la plupart des auteurs soulignent (Calvert, 1981; Furumark, 1981; Hymans, 1982; Sizer, 1982). Généralement négligés, les aspects techniques de l'évaluation font ici l'objet d'une attention particulière. Notons par contre les travaux des auteurs suivants: Bélanger (1979); Bélanger et Tremblay (1982); Malouin et Landry (1983). Intégrés dans le modèle, les éléments d'information, les critères, les normes, les ajustements qualitatifs, les pondérations et les cotes forment un ensemble plastique dont tout le fonctionnement mécanique est montré. Enfin, les effets de rétroaction engendrés par l'utilisation du modèle sont énumérés. Les qualités heuristiques du modèle permettent de définir progressivement la nature et la forme de l'activité d'évaluation. Le choix d'un modèle d'évaluation institutionnel détermine les éléments d'information que le système d'information de l'institution devra être en mesure de fournir. La détermination des éléments d'information nécessaires à la décision devrait permettre ultimement l'adéquation entre les besoins d'information et la production du système d'information. L'UNIVERS FLOU DE L'ÉVALUATION Aborder le thème de l'évaluation, c'est entrer dans un monde aux abords imprécis. Dans cet univers flou, les diverses problématiques, les aspects techniques et politiques de l'évaluation s'entremêlent dans un écheveau presque inextricable. L'espace politique correspond à l'ensemble hiérarchisé des responsabilités et des activités en matière d'évaluation. L'espace technique recouvre l'ensemble des éléments d'information, des critères, des normes et des instruments d'évaluation. La rencontre de ces deux espaces passe par l'harmonisation des systèmes de valeurs des responsables de l'évaluation situés aux divers paliers de la structure de décision. Cette rencontre est facilitée par l'utilisation d'un modèle de simulation assisté par ordinateur. L'évaluation institutionnelle des programmes d'études, une définition L'évaluation peut être définie à partir du concept de système appliqué à l'ensemble des éléments constitutifs d'un programme d'études. 1 La figure 1 représente 61 L'évaluation des programmes d'étudesre'oriente'epar l'utilisation d'un modèle de simulation Figure 1 : Le système programme d ' é t u d e , a s p e c t s s u r l e s q u e l s porter 1'évaluation2 doit l e Personnel ( p r o f e s s e u r s , personnel - s u p p o r t ; compétence expérience, attentes) Equipement Les E t u d i a n t s (connaissances, aptitudes attitudes, attentes à l'entrée; caractéristiques socio-économiques) e s p a c e s e t équipement V > Contrôles Le programme conditions 1. O b j e c t i f s du programme s t r u c t u r e du programme règles administratives e t pédagogiques 2 . D i r e c t i v e s pédagogiques e t administratives a c t i v i t é s ( c o n t e n u , méthode pédagogique u t i l i s é e , r è g l e s d'évaluation) Equipement déprécié V Etudi a n t s ( d i p l ô m é s , abandons, é c h e c s ; taux de placement p a r r a p p o r t au t a u x de placement prévu; c o n n a i s sances, aptitudes, attitudes et a t t e n t e s â l a s o r t i e ; impacts s u r le produit national brut et sur le s a l a i r e du diplômé t o u t au long de sa v i e ; e f f e t s s u r l ' e n v i r o n n e m e n t soci al e t c u l t u r e l ) Note; O Taux de d i p l ô m a t i o n d'admission Coûts de f o n c t i o n n e ment e t d ' i n v e s t i s s e ment V Personnel (en p e r f e c t i o n n e m e n t , à l'enseignement et S la r e c h e r c h e , 5 l ' a d m i n i s t r a t i o n , en congé de maladie) contrôle di r e c t i ves marge de manoeuvre schématiquement le système programme d'étude. Le programme apparaît comme un système composé de deux éléments principaux: un bloc de traitement avec ses entrées et ses sorties, et un bloc de pilotage occupé par les responsables du programme. Entrent dans le programme des étudiants, de la main d'oeuvre (personnel d'enseignement, personnel de support) et de l'équipement (sous forme d'espaces d'enseignement et d'équipements divers). Il sort du programme: des étudiants de diverses catégories (diplômés, abandons, échecs), de l'équipement déprécié, un personnel à perfectionner ou à réintroduire. Symbolisé par le bloc de traitement, le programme se compose de l'ensemble des conditions d'admis- 62 Gilles Pie'dalue et Pierre Feuvrier Figure 2: Chaîne de pilotage d'un système programme d'étude, représentation modulaire B.P. B.T. bloc de pilotage Bloc de traitement controle -> • \ directives marge de manoeuvre sion, de sa structure, des règles administratives et pédagogiques, des activités (contenu, méthode pédagogique utilisée, des règles d'évaluation). Le programme est placé sous le contrôle du bloc de pilotage occupé par ses responsables. Ceuxci déterminent les objectifs du programme, adoptent les directives pédagogiques et administratives. Ils examinent, pour leur gouverne, les contrôles fixés au cadre du bloc de traitement. Déterminés par les pilotes, les contrôles peuvent être multiples. Ils correspondent à des éléments d'information tels que le taux de "diplômation", le taux de placement ou les coûts du système. L'évaluation peut être définie comme une activité au même titre que les activités d'enseignement. Rappelons-le, toute activité est pilotée par les responsables du système. Cette définition systémique appliquée aux programmes d'études implique une hiérarchisation des responsabilités par rapport à la programmation. Par le fait même, elle implique une hiérarchisation des activités d'évaluation propres à chaque palier de la structure de décision. La figure 2 montre une chaîne de pilotage d'un système programme d'étude plus complexe. Elle représente trois programmes d'études respectivement contrôlés par un bloc de pilotage. On note que chaque bloc de pilotage possède ses propres contrôles. Ces trois ensembles fondent le palier de décision inférieur. Le palier supérieur est formé du bloc de pilotage qui pointe le bloc de traitement englobant les trois 63 L'évaluation des programmes d'étudesre'oriente'epar l'utilisation d'un modèle de simulation ensembles du palier inférieur. Cette représentation modulaire traduit bien la forme hiéarchisée des responsabilités par rapport à la programmation et à l'évaluation. Les flèches faites d'un trait continu montrent l'origine des directives et pointent le lieu où elles s'appliquent. Par contre, celles faites d'un trait discontinu indiquent l'importance de la marge de manoeuvre-laissée aux ensembles du palier inférieur. Cette représentation illustre le fait que les activités d'évaluation liées au niveau supérieur ne sont pas de même nature que celles reliées au niveau inférieur. Si on associe l'évaluation institutionnelle à une activité du niveau supérieur, il va de soi que les contrôles qui lui correspondent sont différents de ceux associés à une activité d'évaluation du niveau inférieur. L'évaluation institutionnelle devient alors une activité ayant pour but la revue cyclique des programmes d'études permettant d'identifier les programmes en difficultés. Cette évaluation se fait à l'aide d'éléments d'information propres à ce palier de décision (taux de diplômation, taux d'abandon, taux de placement, coûts d'enseignement, etc.). Les activités d'évaluation du palier inférieur peuvent être une réponse aux activités d'évaluation du palier supérieur. Cette évaluation peut se faire à l'aide d'éléments d'information différents, plus qualitatifs peut-être que quantitatifs. L'espace politique de l'évaluation institutionnelle Avant de poser un problème technique, l'évaluation institutionnelle dans les universités pose un problème politique spécifique. La plupart des auteurs, en particulier Romney, L.C., Bogen, G. & Micek, S.S. Arreóla (1979) et Ostergren (1979) soulignent l'importance de cette difficulté. L'harmonisation préalable des systèmes de valeurs des responsables de l'activité d'évaluation conditionne sa réalisation et doit se faire entre les responsables situés aux divers paliers de la structure de décision. Tout, dans l'activité d'évaluation institutionnelle, doit faire l'objet d'une entente minimale entre les responsables des divers paliers: la détermination des objectifs et le choix de l'ensemble des critères, des normes et des instruments d'évaluation. Sans un tel consensus, il y a peu de chance qu'une réponse satisfaisante soit donnée par les responsables du palier inférieur. Au contraire, comme le mentionne Romney (1979), l'évaluation institutionnelle risque de créer plus d'inconvénients que d'avantages pour les décideurs. L'espace technique de l'évaluation institutionnelle L'aspect technique de l'évaluation institutionnelle soulève aussi de sérieuses difficultés. La plus importante réside dans la mise au point d'un instrument efficace, lequel doit permettre l'intégration des éléments d'information, 3 des critères et des normes retenus par les évaluateurs. L'instrument doit avoir la souplesse nécessaire pour permettre son asservissement à la volonté des évaluateurs tout en tenant compte des contraintes de l'objet de l'analyse. Les éléments 64 Gilles Pie'dalue et Pierre Feuvrier d'information, les critères et les normes doivent long du processus d'harmonisation des systèmes que l'instrument se désintègre pour autant. Les qualités recherchées pour un tel outil ont auteurs. Soulignons en particulier Clift (1981) et les six qualités suivantes: pouvoir être modifiés tout au de valeurs des décideurs sans souvent retenu l'attention des Sizer (1979). On s'entend sur 1. possibilité d'intégration de l'ensemble des éléments d'information, des critères et des normes; 2. possibilité de modifier par ajout ou par retrait les éléments d'information, les critères et les normes; 3. possibilité de simulation par la variation des critères et des normes; 4. possibilité d'ajouter de la qualité à la quantité par la pondération des divers éléments; 5. possibilité de mise en rapport constante du programme évalué avec un programme moyen ou théoriquement idéal; 6. possibilité de classement des programmes d'études évalués selon une cote générale. Compte tenu de telles exigences, l'instrument selon nous doit être construit sur le site même de l'évaluation, à la mesure des évaluateurs. Ce choix est déterminé en grande partie par le caractère hétéroclite des instruments disponibles qui sont dans l'ensemble de nature trop particulière ou trop générale pour les besoins de l'évaluation institutionnelle. On est habituellement confronté à des outils très sophistiqués conçus pour l'évaluation d'activités pédagogiques. Souvent, les instruments proposés correspondent à des activités d'évaluation d'un palier de décision beaucoup trop élevé. Les éléments d'information sont alors trop rudimentaires et trop peu nombreux (Mertens, 1979). Toute activité administrative peut être définie comme une activité d'évaluation. L'action d'évaluer crée de l'information à partir des données fournies par le système de gestion. Il n'y a pas d'information sans évaluation. Sans évaluation, il n'y a que des données. On peut même affirmer qu'il y a dégénérescence de la qualité des données qui n'entrent pas dans le cadre d'une activité d'évaluation. Cette propriété des systèmes d'information impose des limites à l'acte d'évaluation. L'absence et/ou la qualité inégale des données conditionnent l'évaluation institutionnelle en limitant la portée de l'instrumentation (Somit, 1979; Hussain, 1977). UN MODÈLE D'ÉVALUATION ASSISTE PAR ORDINATEUR Les progrès récents de la micro-informatique permettent depuis un certain temps l'expérimentation de logiciels de simulation à des fins d'évaluation institutionnelle. Des logiciels du type CALC comme VISICALC ou MULTIPLAN fournissent un moyen efficace pour construire des modèles. Conçu comme un éditeur de tableau interactif, le CALC permet la mise au point d'un modèle dont on peut à loisir faire varier l'ensemble des paramètres. Un modèle d'évaluation fabriqué avec un 65 L'évaluation des programmes d'étudesr e ' o r i e n t e ' epar l'utilisation d ' u n modèle de simulation CALC devient un instrument très malle'able et rend, au processus d'évaluation, tout son aspect dynamique: des éléments d'information peuvent être ajoutés ou retranchés du modèle, les critères et les normes peuvent varier à volonté rendant ainsi compte du travail d'harmonisation des systèmes de valeurs des évaluateurs. Le modèle fournit alors un cadre intégrateur à l'ensemble des éléments d'information, des critères et des normes retenus. A la limite, le modèle ainsi conçu arrête la dérive dans l'univers vague de l'évaluation en permettant, par l'usage intensif du jeu de la simulation, l'harmonisation des systèmes de valeurs et l'intégration des éléments techniques de l'évaluation. Une certaine rencontre entre l'espace politique et l'espace technique de l'évaluation peut se réaliser. En fait l'existence d'un modèle de ce type, aussi rudimentaire soit-il, rend l'évaluation possible. Son élaboration permet la concentration et la vitalisation des sous-produits du système d'information de gestion en définissant l'espace où ils seront utilisés. Notre modèle d'évaluation se présente sous la forme d'une fiche synthèse par programme d'études (voir tableau 1). La fiche synthèse dédiée aux programmes de premier cycle universitaire Le tableau 1 présente la fiche dédiée au comité d'évaluation des programmes de premier cycle. La fiche porte sur un programme fictif. Elle retient en ordonnée onze ensembles d'éléments d'information: 1. 2. 3. 4. bilan migratoire depuis l'ouverture du programme; moyenne académique et sanction graduée (depuis l'ouverture du programme); équivalences et abandons de cours (depuis l'ouverture du programme); notation des étudiants-cours à la dernière session disponible; 5. o r g a n i s a t i o n d e s g r o u p e s - c o u r s à la d e r n i è r e s e s s i o n d i s p o n i b l e ; 6. 7. 8. 9. 10. 11. évoluticm de la clientèle au cours des cinq dernières années; taux de placement des diplômés des trois dernières promotions; taux de satisfaction des diplômés des trois dernières promotions; taux de satisfaction des étudiants inscrits à la dernière session disponible; interdépartementalité du programme; cote générale. Chacun de ces ensembles regroupe les éléments d'information jugés les plus importants par les évaluateurs. Cette liste peut se transformer tout au long du processus de consultation. Nous n'entrerons pas dans la description de chacun des éléments d'information. Nous ne tenterons pas ici de souligner leur importance relative dans le cadre d'une évaluation de programme. Retenons cette liste qu'à titre d'illustration. Le fonctionnement de la fiche En abcisse, la fiche donne les mécanismes permettant: 1. la définition d'un programme idéal ou théorique; 2. la comparaison entre le programme à évaluer et le programme théorique; 3. la pondération et l'ajustement des résultats de la comparaison. TABLEAU 1 : (1 ) (2) Va leurs PROGRAMME numero a la session Sn Fiche d ' é v a l u a t i o n brutes du prog. Pourcentages du prog. observe observe (3) d ' u n programme de p r e m i e r c y c l e (4) (5) (7) (6) Valeurs Pourcentages C o e f f i c i e n t Pourcentages brutes du prog. d'ajustement du prog. du prog. de reference theorique de reference Scores bruts du prog. observe (8) Etoile ment (9) Poids ¡ntragroupes X 1.0 B i l o n m i g r a t o i r e depuis l ' o u v e r t u r e du programme 1,969 26.62 nb. de diplômes 41.30 5.055 nb. d'abandons 4.04 299 nb. d'absents 28.04 nb. i n s c r i t s en Sn. 2,074 100.00 nb. t o t a l des I n s c r i t s 7,397 22,974 32,001 2,035 15,032 72,042 31 .89 44.42 2.82 20.87 100.00 1 .32 -1 .32 -1 .32 9999 37.24 38.71 0.92 25.53 4.830 ' a t t e n t i o n * 0.283 10.671 ' a t t e n t i o n * 0-331 o\ universitaire * 0-30 0.40 0.20 0.10 1.00 (10) (7)*(9) Scores ponderes des elements du prog. observe 1.45 0.11 2.13 0.03 3.73 2.0 Moyenne académique e t sanction graduee depuis l ' o u v e r t u r e du programme moy. acad. du progr. 0.0 a 1.7 1.8 a 2.4 2.5 a 3.0 3.1 a 4.0 total 1,442 2,086 2,276 896 21 .52 31.13 33.97 13.37 14.72 17.36 3.687 " a t t e n t i o n * 13*218 " a t t e n t i o n * 33.81 33.81 18-660 » a t t e n t i o n * 9,543 11,257 22,115 21,919 64,834 loo.oo 17.36 34.11 14.72 34.1 1 0.001 * 0.100 0.075 0.075 0.050 6,700 100.00 acad. base DEC 0.0 a 1.7 1.8 a 2.4 2.5 a 3.0 3.1 a 4.0 total 487 1,095 1,213 498 3,293 14.79 33.25 36.84 15.12 12.77 19.99 34.31 32.93 100.00 12.77 19.99 34.31 32.93 0.366 * 11.004 » a t t e n t i o n * 0.283 • 100.00 3,305 5,173 8,880 8,524 25,882 14.363 » a t t e n t i o n * 0.075 0.075 0.050 acad. base ADULTE 0-0 a 1 '. 7 1.8 a , 2 . 4 2.5 á 3.0 3.1 a 4.0 total 553 470 446 155 1,624 34.05 28.94 27.46 9.54 100.00 2,847 2,399 4,184 4,237 13,667 20.83 17.55 30.61 31 .00 100.00 20.83 17.55 30.61 31 .00 10.598 » a t t e n t i o n * 0.125 8.961 » a t t e n t i o n » 0.467 » 21.524 » a t t e n t i o n » 0.100 0.100 0.100 0.075 1 .00 0.37 0.99 0.00 0.93 0.04 0.83 0.02 0.72 1.32 0.90 0-05 1 .61 7.78 (12) (10)*(11) Poids i ntergroupes 1nter- Scores pondères des groupes du prog. observe g o T ts ex a. c* Os -J TABLEAU 1 ( s u i t e ) 3 f. nombre d ' e q u i v a l e n c e s 0 a 3 6,509 7 a 9 200 4 a 6 10 e t 88.00 4.93 365 plus 2.70 4.37 323 total o o. < O' •ouverture du programme 3 . 0 E q u i v a l e n c e s e t abandons de cours depu 7,397 100.00 60,601 2,594 1,904 6,943 72,042 fr c 84,.12 0 2..64 0 3..60 9..64 100.• 00 0 0 84..12 3..60 2..64 9..64 100..00 1 .125 . • • 0..001 0.125 * 0.125 0..51 3 3..190 • a t t e n t ion* 0.125 0.125 0..14 0.• 06 0..00 0..40 o. S O 5- a. a 3 o. o 3 o 00 nombre de cours abandonnes 0 a 3 7,283 4 a 6 10 e t 1 .28 15 plus 0.20 7,397 71 ,490 99..23 0 458 0..64 0 77 0..11 0 1 7 0..02 0 99.• 23 0..64 0..11 0..02 0..790 0..666 0.• 086 0..039 0.125 0..10 • 0.125 0..08 • 0.125 0.• 01 0.125 O. * 0..80 e 72,042 100..00 18.12 12,596 25..22 19,426 38..89 9.48 2,941 5. 89 3 0.04 1 ,51 8 6,970 100.00 49,949 100..00 18.01 2,139 28..88 0 5.65 660 8..91 0 8..91 5..755 • a t t e n t i o n * « 1 .306 . 0.083 668 9..02 0 9.• 02 0..303 0.083 0.. 11 • 583 7..87 0 0. 106 0.083 o..03 • 0.083 1,263 nb. de B 2,539 nb. de C 2,108 nb* de D 661 nb« de E e+ XE 396 S de notes 100..00 1 a 20 121 21 a 25 38 26 a 30 50 31 a 35 47 1.00 . 36.43 30.24 5.68 10,031 3,437 20.• 08 6.• 88 3..04 0 0 0 0 0 25..22 38..89 20..08 5..89 6..88 7.44 6-99 2..671 • a t t e n t i o n * 0..255 * 6..434 • a t t e n t i o n * 2.• 333 • a t t e n t i o n * 0..225 3..04 28..88 7..87 * 3..046 * a t t e n t I o n * 36 a 40 50 total 100..00 0 38..23 100.00 7,407 38..23 672 0..019 * 11..154 • a t t e n t i o n * 38,940 66.81 309,824 56..22 0 56..22 4..555 • a t t e n t i o n * 41 e t p l u s 366 t o t a l ETC anjifee ; 26,016 7.44 54.46 525 2,832 174,187 7.• 09 0.20 0.20 0.20 0.20 0..53 0..05 1.• 29 0..47 0 7..09 0.10 0..02 1 .00 0 u r s de 5*0 O r g a n i s a t i o n des groupes- cours e la a nb. d ' e t u . par g r . - c o u r s ETC ens. par chai 0..00 100.00 j r s a la sess nb. de A nb.total 0.05 4 total nb.de 98.46 95 7 a 9 2..67 0.10 0.083 0.083 0.50 1 .00 0.• 30 0..48 0..01 0..00 0. 93 2. 28 3- 83 cC a\ oo O Tabi eau 1 : i d'un programme de p r e m i e r c y c l e universitaire (suite) y. w D. 6 . 0 é v o l u t i o n de la c l i e n t è l e au cours des c i n q d e r n i e r e s années nouveaux i n s c r i t s en An-4 r e i n s c r i t s en An-4 i n s c r i p t i o n s t o t a l e s en An-4 nouveaux i n s c r i t s en An-3 727 2,219 24.68 75.32 2,946 100.00 6,007 22,481 78 .91 28,488 20 .89 1.32 25.77 0.063 * 0.20 0 .01 1-32 25.56 0.521 * 0.20 0..10 100..00 737 22-41 5,976 r e i n s c r i t s en An-3 2,551 77.59 22,628 i n s c r i p t i o n s t o t a l e s en An-3 3,288 100*00 28,604 1,0(0 23.03 nouveaux i n s c r i t s en An-2 - 21 .09 3,376 I n s c r i p t i o n s t o t a l e s en An-2 4,386 nouveaux i n s c r i t s en An-1 76-97 26,703 100.00 33,948 935 18-38 6,824 r e i n s c r i t s en An-1 4,153 81-62 29,935 I n s c r i p t i o n s t o t a l e s en An-1 5,088 100-00 36,759 nouveaux i n s c r i t s en An TI C D c 100.• 00 21..34 1-32 26.05 0.474 * 0.20 0..09 1-32 23.03 1.222 * 0.20 0..24 1-32 20-67 1.156 * 0.20 0..23 1.00 r e i n s c r i t s en An-2 7,245 79-. 1 1 0. 69 78..66 100..00 18..56 81 .44 . 100..00 870 16-32 6,147 16..42 r é i n s c r i t s en An 4,461 83.68 31,293 83..58 i n s c r i p t i o n s t o t a l e s en An 5,331 100.00 37,440 100..00 7-0 Taux de placement des diplômes des t r o i s d e r n i e r e s promotions diplômes sondes d'An-3 135 100.00 1,455 diplômes sondes d'An-2 176 100.00 1,614 diplômes d'An-3 p l a c e s 124 91.85 1,299 diplômes d'An-2 p l a c e s 160 90.91 1,423 diplômes sondes d'An-1 238 100.00 1,685 diplômes d'An-1 p l a c e s 216 90.76 1,508 100..00 89..28 100..00 1-32 92.83 0.145 • 0.40 1.32 91-88 0.126 * 0.30 1.32 93.02 0.788 * 0.30 0. 33 0.03 0. 24 1 .00 0.100 0. 04 89..50 0.21 0. 06 88..17 0.300 100..00 3 r: o o. o. < & TABLEAU 1 ( s u i t e ) gT c o. S TO o S2. 3 3 o. c g S" — 8.0 Taux de s a t i s f a c t i o n des diplômes des t r o i s dernieres promotions taux de s a t i s f a c t i o n en An-3 1 a 1.9 2 a 2.9 3 a 4 total taux de s a t i s f a c t i o n en An-2 1 a 1.9 2 a 2.9 3 a 4 total taux de s a t i s f a c t i o n en An-1 1 a 1.9 2 a 2.9 3 a 4 total 9.0 S a t i s f a c t i o n des é t u d i a n t s taux de s a t i s f a c t i o n en Sn 42 31.11 286 90 3 135 66-67 2.22 100-00 998 67 109 0 176 83 148 7 238 1 a 1.9 11.0 cote general e 34.14 0.500 * 8,093 3,966 la session 49.00 0.13 2.67 0.13 0.07 0.13 1 .79 13-398 ' a t t e n t i o n ' -1 .32 28.69 57.91 4.18 4.298 ' a t t e n t i o n * 0.10 0.43 4.363 ' a t t e n t i o n * 0.10 0.44 17.37 21 .358 ' a t t e n t i o n ' 0.10 373 1,139 173 1,685 22.14 67.60 10.27 100.00 -1 .32 -1 .32 1 .32 33.33 33.33 33.33 100.00 34.87 62-18 2-94 100.00 -1 .32 2.42 20.030 ' a t t e n t i o n * 15.45 100.00 63.44 15.09 63.26 1 .32 551 1,024 39 1,614 61.93 0-00 100.00 33.33 33-33 33-33 100.00 10.0 Interdepartemental i t e du programme a t o t a l ETC session 38.07 11.75 100.00 -1 .32 -1.32 -1 -32 1 .32 62.22 13.75 0.663 0.000 * * 9.857 ' a t t e n t i o n * 0.10 0.10 0.10 0.07 2.14 0.00 0.99 1.00 i n s c r i t s a la session Sn 2 a 2.9 3 a 4 total captage des et-c par 1 dept. 1 71 1 ,455 19.66 68-59 -1 .32 1 .32 27.92 27.92 38.75 1.458 ' a t t e n t i o n * 0.33 1.236 0.33 1.458 ' a t t e n t i o n ' * 0.33 0.49 0.49 0.41 1.38 Sn 61,796 39,565 3.727 » a t t e n t i o n * 1 .00 1 .00 3.73 3.73 0.025 0.09 1.000 2.96 70 Gilles Pie'dalue et Pierre Feuvrier Le choix de cette mécanique et des modalités de son application est asservi à la volonté des évaluateurs. La description qui suit pourra sembler trop technique. Mais, faut-il le rappeler, il ne faut pas sous-estimer l'importance des aspects techniques de l'évaluation. L'utilisation d'un instrument trop rudimentaire risque d'accroître tout au plus la complexité des problèmes à re'soudre. Programme observé et programme théorique La fiche est un ensemble structuré d'e'léments d'information. On appelle programme observé l'ensemble des valeurs des e'iéments d'information appartenant à un programme réel de l'université. Un programme théorique sera un ensemble de valeurs significatives attribuées à tous les éléments d'information de la fiche qui ne correspond pas nécessairement avec un programme concret, les valeurs significatives pouvant être trouvées par des procédures plus ou moins systématiques comme il sera décrit plus loin. Evaluer un programme revient à mesurer l'écart entre les valeurs observées dans le programme réel et les valeurs établies dans le programme théorique. Protocole de la comparaison La valeur des éléments d'information est du type pourcentage: pourcentage des abandons, pourcentage des étudiants-cours ayant une note A, pourcentage des diplômés dont le taux de satisfaction est compris entre 1 et 1.9, etc. A partir d'un pourcentage d'individus répondant au critère caractérisant un élément d'information, il est possible de déduire, complément à 100 du premier, u n s e c o n d p o u r c e n t a g e : celui des individus ne r é p o n d a n t pas au dit critère. Ces deux pourcentages définissant la distribution d'effectifs relatifs d'un élément d'information du programme observé. Cet élément d'information, dans le programme théorique, possède une autre distribution. Le chi-deux de ces deux distributions est le score brut de l'élément d'information considéré. Calcul du score brut Soient, pour un élément d'information: a, le pourcentage des individus répondant au critère caractérisant de l'élément d'information dans le programme théorique; 100-a, le pourcentage des individus ne répondant pas au critère de l'élément d'information dans le programme théorique; • x, le pourcentage des individus répondant au critère caractérisant l'élément d'information dans le programme observé; 100-x, le pourcentage des individus ne répondant pas au critère caractérisant l'élément d'information dans le programme observé; S, le score de l'élément d'information; On aura alors (1) (x-a)2+ [ ( 1 0 0 - x ) - (100-a)]2 s = a 100-a ce qui, après développement donne: 71 L'évaluation des programmes d'études re'oriente'e par l'utilisation d'un modèle de simulation (2) S = (x-a)2 100 a * (100-a) équation dans laquelle S est le score brut d'un élément d'information dont la valeur en pourcentage, est x dans le programme observé et a dans le programme théorique. Le score brut dans l'équation (1) se présente sous la forme d'une addition de deux termes positifs, carrés d'une différence (élimination du signe) réduite (élimination des effets de taille). Le score brut tend vers zéro, lorsque le pourcentage observé x s'approche du pourcentage théorique a, il s'accroît lorsqu'il s'éloigne de cette valeur. Plus ce score est élevé, plus la distance est grande entre les deux distributions mises dans la comparaison. Pour a = 20, a = 50 et a = 80, on a représenté dans la figure 3, l'évolution du score brut x d'un élément d'information de la fiche dont la valeur en pourcentage varie de 0 à 100. On remarquera qu'autour de la valeur théorique le développement du score brut est quasi linéaire. Lorsque la valeur théorique est 50, le développement du score brut est parfaitement symétrique et varie de 1 à 100. Pour un pourcentage théorique fixé à 20%, le score d'un élément d'information dont le pourcentage observé est 0% sera 25. Un écart de 20 points en pourcentage produit donc un score brut de 25. Le même écart produit a partir d'un pourcentage théorique de 50%produira un score brut égal a 16. La valeur d'un score brut est tributaire non seulement de l'écart entre le pourcentage observé et le pourcentage théorique, mais aussi de la valeur intrinsèque du pourcentage théorique, autrement dit de sa place sur une échelle graduée de 0 à 100. Une base théorique ayant été choisie une fois pour toute, il est possible de calculer le score brut d'un élément d'information de la fiche dans tous les programmes et d'introduire un ordre dans les résultats de cette opération puisque pour un élément donné de la fiche, le même repère théorique est utilisé. On compare, en utilisant la métrique du chi-deux, les distributions d'un programme observé aux distributions correspondantes d'un programme théorique dont les valeurs, utilisées comme repère, sont significatives. Il reste donc à établir les valeurs du programme théorique. Productions des pourcentages du programme théorique Les valeurs des éléments d'information d'un programme ayant été recueillies, on désire savoir dans quelle mesure ce programme s'éloigne d'un programme théorique aux valeurs significatives. Ce programme est en quelque sorte une abstraction, une sorte d'archétype, un modèle. Programme de référence Pour fabriquer le programme théorique, unique base des comparaisons, on part de ce qu'on appellera un programme de référence correspondant à un programme fictif somme de tous les programmes qui participent. aux comparaisons. La colonne 1 et la colonne 2 de la fiche représentant les résultats du programme à évaluer, les colonnes 3 et 4 les résultats du programme de référence, c'est-à-dire 72 Gilles Pie'dalue et Pierre Feuvrier FIGURE 3 EVOLUTION OU SCORE BRUT D'UN ELEMENT D'INFORMATION Pour un pourcentage theorlque egal a 20 50 et 80 / / fc-SO b"20 100 \ 1 \ \ \ \ • r \ 1 \ \ * \ \ \ / / \ V/ !\ !\ / \ / ! \ / \ \ / h-80 \ / \ \ 0 l \, / V \ \ 10 1 I / ! \ \ l / ( t / 20 30 \ 40 y 50 / / \ t 60 70 80 / / / / 90 100 Pourcentage observe Pour un pourcentage théorique fixé à 20%, le score d'un élément d'information d o n t le pourcentage observé est 0% sera 25. Un e'cart de 20 points en pourcentage produit d o n c un score brut de 25. Le m ê m e écart produit partir d'un pourcentage théorique de 50% produira u n score brut égal à 16. La valeur d'un score brut est tributaire n o n seulement de l'écart entre le pourcentage observé et le pourcentage the'orique, mais aussi de la valeur intrinsèque du pourcentage théorique, autrement dit de sa place sur une échelle graduée de 0 à 100. les résultats de l'ensemble des programmes de la comparaison (ensemble de tous les programmes de l'Université, ou de tous les programmes du 1er cycle, ou de tous les baccalauréats, etc.). On fait subir ensuite aux distributions du programme de référence (colonne 4) certains ajustements appropriés, caractérisés par un coefficient d'ajustement, en colonne 5; les valeurs théoriques des éléments d'information (colonne 6) sont calculés alors à partir des valeurs correspondantes des colonnes 4 et 5. 73 L'évaluation des programmes d'étudesre'oriente'epar l'utilisation d'un modèle de simulation Ajustement des pourcentages de référence Supposons que dans le programme à évaluer la proportion des abandons soit x = 41.30 et que dans le programme mis dans la comparaison cette proportion soit: a = 44.42 alors le score brut de cet élément d'information sera égal à 0.394 (formule 1). Supposons que la proportion d'abandon soit maintenant x = 47.54 et, comme précédemment, a = 44.42, le score brut sera toujours égal à 0.394. Donc pour deux valeurs, symétriques autour de 44.42, on obtient le même score. C'est-à-dire que ces programmes, toutes choses étant égales par ailleurs, obtiennent le même score (0.394) alors que l'un a 41.30% d'abandons et que l'autre en a 47.54%. Ceci est bien entendu lié à la forme quadratique de l'expression algébrique qui fournit le résultat numérique (Fig. 3). Si on n'y prend pas garde, ceci risque de poser des problèmes quant â l'interprétation à donner ultérieurement aux scores bruts. Ce que privilégie la métrique choisie c'est la valeur à atteindre qu'on l'aborde par valeurs inférieures ou par valeurs supérieures: tout écart donne une mesure positive. Si l'évaluateur estime cela juste la question est réglée, mais si l'évaluateur estime, par exemple, anormal que deux programmes, ayant respectivement 41.30% et47.54% d'abandons, aient le même score, il faudra qu'il trouve alors une base dont la valeur soit telle que l'abandon par valeurs inférieures ou par valeurs supérieures n'a plus aucune importance. En reprenant l'exemple des taux d'abandon, l'évaluateur peut estimer souhaitable un taux de 20%, c'est-à-dire qu'un programme qui aurait un taux inférieur à 20% verrait son score brut croître. Mais cette situation serait jugée recevable à ce niveau. Il s'agit donc de trouver pour chaque élément d'information, à partir de sa valeur de référence, une valeur théorique nouvel objet de comparaison qui atténuerait, si besoin est, le phénomène lié à la forme quadratique de l'expression algébrique calculant le score brut. Sur une échelle graduée de 0 à 100, on déplace, en fait, le repère de telle sorte que soit significatif tout écart indépendemment de la manière dont il est produit. Si 20% d'abandon est un pourcentage théorique alors on estime raisonnable de manifester par un même chiffre positif un pourcentage observé de 15% ou de 25%. Mise en place des pourcentages théoriques a) La valeur de référence n'est pas utilisée en tant que telle. On peut en effet décider que, quel que soit le résultat sur l'ensemble des programmes, la valeur théorique devrait être un chiffre donné. Dans cette situation la valeur de référence n'est là qu'à titre d'information; éclaire de sa présence la décision d'attribuer telle ou telle valeur théorique. b) La valeur de référence devient la valeur théorique. Cette situation s'oppose à la précédente. c) La valeur de référence modifiée devient la valeur théorique. Dans cette situation, la distribution théorique de l'élément d'information est une distribu- 74 Gilles Pie'dalue et Pierre Feuvrier tion qui, comparée à la distribution de référence, produit un chi-deux égale à 1.32. Si r t est la valeur de référence; est la valeur théorique. L'énoncé précédent revient à résoudre l'équation du chi-deux appliquée à des structures bipolaires. , o 1 32 = (t - r) K ' 100 * 2 * (100-r) La résolution de l'équation du chi-deux appliquée à des structures bipolaires, donne deux solutions. La valeur théorique égale la valeur de référence plus ou moins un écart. Selon que l'on veut privilégier une valeur plus petite ou plus grande que la valeur de référence, on choisira l'une ou l'autre solution. On remarquera que, dans cette situation, la valeur théorique est liée â la valeur de référence par une expression algébrique. Il aurait été possible de choisir d'autres liens (liaison par un ratio par exemple). Le choix de la métrique du chi-deux, dans ce cas là, est intéressant parce qu'il existe une distribution théorique calculée à partir de laquelle on peut dire quelque chose. On sait en effet que la probabilité pour que le chi-deux d'un échantillon aléatoire à un degré de liberté soit compris entre 0 et 1.32 est 75%. Ce chiffre 1.32 ne renvoit donc qu'à une situation idéale. On pense, bien entendu, à la courbe normale et au traditionnel 68% des échantillons de la population totale dont la moyenne est comprise entre moins un et plus un écart-type autour de la moyenne de la population. On fait référence à ce 68% même si la situation n'es pas "normale". On sait "qu'en gros" 68% des échantillons se trouvent entre moins un et plus un écart-type. Pour un degré de liberté on sait que 75% des échantillons ont un chi-deux compris entre 0 et 1.32, dans la situation idéale. De même que dans certaines situations on privilégiera au lieu de la moyenne, la moyenne plus ou moins son écart-type sans pour autant faire des hypothèses inférentielles (du moins explicitement), de même ici dans certaines circonstances on privilégiera, au lieu de la valeur de référence, cette valeur plus ou moins un écart. Lorsque 1.32 est choisi, on prend comme norme une valeur significative de l'espace idéal sans préjuger en rien de la situation de l'espace concret. Ce choix est fait en dehors de toute hypothèse: on prend, dans l'espace idéal, un repère significatif qui lui est propre, faute d'avoir actuellement des repères pragmatiques significatifs. On retiendra donc que, dans le fait d'avoir lié la valeur théorique à la valeur de référence par une expression du type chi-deux: a) b) c) qu'il n'y a aucune hypothèse inférentielle; qu'on prend dans l'espace idéal les repères qui lui sont propres; qu'on ne désespère pas trouver, à l'usage, des repères pragmatiques significatifs, fruits de l'expérience. 75 L'évaluation des programmes d'étudesre'oriente'epar l'utilisation d'un modèle de simulation La colonne 5: coefficient d'ajustement Dans la colonne 5 on place le coefficient d'ajustement sous la forme d'un chiffre: — Si ce chiffre est nul, alors la valeur théorique est égale à la valeur de — Si ce chiffre est positif, alors la valeur théorique est égale à la référence plus un écart; — Si ce chiffre est négatif, alors la valeur théorique est égale â la référence moins un écart; — Si ce chiffre égale 99999 alors la valeur théorique n'a aucun lien avec la valeur de référence. référence; valeur de valeur de algébrique Lorsque le chiffre désigne qu'il existe une liaison entre le pourcentage théorique et le pourcentage de référence, il est tel que dans l'espace de la distribution théorique du chi-deux, on puisse déduire le pourcentage des échantillons dont la valeur du chi-deux est comprise entre zéro et la valeur absolue du chiffre. La colonne 6: pourcentage théorique Cette colonne reçoit les pourcentages théoriques, produit de l'union des colonnes 4 et 5, à partir desquels seront calculés les scores bruts. La colonne 8: étoilement des éléments d'information La colonne 8 étoile les scores des éléments d'information dont la valeur est supérieure à un certain seuil. On prend, à titre expérimental, pour seuil le 1.32 de la distribution théorique du chi-deux, faute de mieux. Lorsqu'on disposera d'un critère plus "concret" il faudra l'utiliser. En attendant, la situation "idéale" d'un élément d'information est d'appartenir au 75% des échantillons aléatoires de la distribution théorique du chi-deux, échantillons dont le chi-deux est compris entre 0 et 1.32. On pourrait imaginer une situation où l'idéal pour un élément d'information serait d'avoir un score inférieur au score d'un élément d'information témoin. Faute d'avoir ce témoin, la distribution théorique du chi-deux en fera l'office. Ce qui est, après tout, son principal intérêt et ce pourquoi elle fut tabulée. Poids intra et inter groupes, colonnes 9 à 12 La colonne 9 donne un poids à chacun des éléments d'information d'un ensemble. Par exemple dans l'ensemble "Bilan migratoire depuis l'ouverture du programme", le nombre de diplômés reçoit un poids de .30, le nombre d'abandons obtient .40, le nombre d'absents .20 et le nombre des inscrits à la dernière session .10. Notez que ces choix sont hypothétiques et laissés à la discrétion des évaluateurs. Soulignons aussi que par hypothèse la somme des poids des éléments d'information de chacun des ensembles doit toujours donner 1.0. La colonne 10 pondère les scores bruts de la colonne 7 par les poids de la colonne 9. Les scores pondérés correspondent donc au produit des scores bruts par les poids de la colonne 9. On attribue â la colonne 11 un poids à chacun des ensembles d'éléments d'information. La somme des poids doit être égale à 1.0. Les poids peuvent varier d'un ensemble à l'autre. Par exemple, si on accorde .10 au bilan migratoire, on donne .30 à l'évolution de la clientèle, .025 â l'ensemble 76 Gilles Pie'dalue et Pierre Feuvrier 3 et .05 à l'ensemble 5. Comme pour les poids de la colonne 9, ceux de la colonne 11 pourront varier au gré des évaluateurs. Enfin la colonne 12 est le produit de la somme des scores pondérés obtenus pour chaque ensemble d'éléments d'informations par le poids attribué à chaque ensemble d'éléments d'informations. Plus précisément, on multiplie le contenu de la colonne 11 par la somme des scores pondérés de chaque ensemble apparaissant à la colonne 10. La somme des scores de la colonne 12 donne le score final du programme. Ce score final permet de classer les programmes les uns par rapport aux autres. Le score final du programme fictif évalué au tableau 1 est de 2.96. CONCLUSION Assisté par ordinateur, notre modèle peut être asservi facilement à la volonté des évaluateurs. Tout au long de la consultation, il pourra subir toutes les modifications voulues. A la fin du processus, sa forme pourra être très différente de celle de départ. Comme nous l'avons déjà souligné, notre modèle est une réponse aux problêmes techniques et politiques posés par l'activité d'évaluation: il perme de situer toute la problématique de l'évaluation tout en fournissant un cadre susceptible de la résoudre. Il rend à cette activité toute la dynamique qui lui est propre. Notre modèle produit des effets en retour (de rétroaction) sur l'activité d'évaluation elle-même et sur le système d'information en général. Ses qualités plastiques mènent à la limite au renouvellement de sa forme initiale et à la création d'une version finale complètement renouvelée. Une nouvelle définition de l'activité d'évaluation peut même en sortir, les éléments d'information, les critères et les normes retenus au départ ayant été profondément modifiés au cours du processus d'évaluation. L'élaboration et l'adoption de notre modèle ne peut avoir que des effets positifs sur le système d'information de gestion. Inévitablement, les données nécessaires à l'évaluation seront vitalisées. Utilisées, leur qualité et leur fiabilité s'amélioreront. Le développement ou ajustement des procédures propres à fournir les données utiles s'effectuera nécessairement. Enfin, seront assurées l'intégrité et la pérénité du système d'information de gestion ainsi redéfini et réorienté par le processus d'évaluation. NOTES 1. Le concept retenu est celui développe' par Jean Mélèze dans L'Analyse systèmes. Paris, 1972. modulaire des 2. Birch, D.W. et autres. The Development of Performance Indices for the Teaching Function in Higher Education. Paris: Center for Educational Research and Innovation, 1974. 3. Chaque attribut pour lequel une donnée est collecte'e est un élément d ' i n f o r m a t i o n (Hussain, 1977). 4. Le critère est la qualité d'un programme d ' é t u d e que doit m o n t r e r l'élément d ' i n f o r m a tion et la n o r m e , le degré souhaité par les évaluateurs de réalisation d u critère correspondant. Si le taux d'abandon est un élément d ' i n f o r m a t i o n , son critère peut être que sa valeur correspondante soit la plus faible possible et sa n o r m e fixée à 10%. 77 L'évaluation des programmes d'étudesr e ' o r i e n t e ' epar l'utilisation d ' u n modèle de simulation REFERENCES Arreóla, R.A. Strategy for developing a comprehensive faculty evaluation system. of Engineering Education, 1979, 70(3), 239-244. Journal Bélanger, C.H. Managerial and disciplinary constraints applied to faculty staffing. Canadian Journal of Higher Education, 1979, 9 ( 2 ) , 51-62. Bélanger, C.H. et Tremblay, L. A methodological approach to selective cutbacks. Canadian Journal of Higher Education, 1982, 7 2 ( 3 ) , 25-35. Bénard, J. Une approche 1973. économique systématique des coûts universitaires. Paris: IMHE, Birch, D.W. et autres. The Development of Performance Indices for the Teaching Function in Higher Education. Paris: Center for Educational Research and Innovation, 1974. Calvert, J . R . C o m p t e rendu de réunion: l'évaluation de la performance des universités face à l'évolution des besoins. Revue internationale de gestion des établissements d'enseignement supérieur, 1 9 8 1 , 5 ( 3 ) , 267-281. Clarke, A.M. et Birt, L.M. Evaluation reviews in universities: the influence of public policies. Higher Education, 1982, 7 7 ( 1 ) , 1-26. Clift, J.C. Institutional evaluation: questions for consideration. Continuing New Zealand, 1981, 7 5 ( 2 ) , 16-26. F u r u m a r k , A. Institutional self-evaluation in Sweden. International Management in Higher Education, 1981, 5 ( 3 ) , 207-216. Geis, G.L. Evaluation purposes and levels. Canadian Jornal 9 ( 1 ) , 1-14. Journal of Education in Institutional of Higher Education, 1979, Hardy, C. The management of university c u t b a c k s : Politics, Planning and Participation, Canadian Journal of Higher Education, 1984, 7 4 ( 1 ) , 59-70. Harris, N.D.C. et al. Toward internal evaluation: a strategy for coping with change. Resources Bulletin, 1982, 5 ( 1 ) , 6-24. Learning Harris, W.E. et Holdaway, E.A. Systematic review of university programs and units. Canadian Journal of Higher Education, 1983, 7 5 ( 3 ) , 55-76. Hussain, K.M. Systèmes d'information pour la gestion adaptés aux établissements ment supérieur. Paris: OCDE, 1977. d'enseigne- Hymans, C.H. The role of government in institutional performance evaluation. International Journal of Institutional Management in Higher Education, 1982, (5(1), 29-35. Lauzon, M. Système informatisé et intégré de la gestion des études à l'Université Laval. Canadian Journal of Higher Education, 1976, 6 ( 1 ) , 69-88. Leibu, Y. La qualité de l'enseignement universitaire: essai d'approche systématique, Canadian Journal of Higher Education, 1976,(5(3), 1-11. Malouin, J.L. et Landry, M. Les méthodes de modélisation et leur pouvoir de legitimation : étude de deux cas de revision de programmes universitaires. Canadian Journal of Higher Education, 1983, 7 5 ( 1 ) , 33-50. Mélèze, J. L'analyse modulaire des systèmes. Paris, 1972. Mertens, P. Comparative indicators for German universities. International tion Management in Higher Education, 1 9 7 9 , 5 ( 1 ) , 155-168. Ostergren, B. Activity evaluation in higher education. Research Education, 1979, 2, 1-7. Journal of and Development Pascal, C.E. The politics of evaluating teaching. Canadian Journal 1 9 7 9 , 9 ( 1 ) , 17-21. of Higher for InstituHigher Education, R o m n e y , L.C., Bogen, G. et Micek, S.S. Assessing institutional performance; the importance of being careful. International Journal of Institutional Management in Higher Education, 1979, 5 ( 1 ) , 79-89. 78 Gilles Pie'dalue et Pierre Feuvrier Sizer, J. Evaluation de performances re'alise'es par les établissements - vue d'ensemble. Revue internationale de gestion des établissements d'enseignement supérieur, 1979, 5 ( 1 ) , 55-85. Sizer, J. Institutional performance assessment under conditions of changing needs. International Journal of Institutional Management in Higher Education, 1982 6(1), 17-28. Somit, A. Management information systems: neither paradise lost nor paradise gained. International Journal of Institutional Management in Higher Education, 1979, 5 ( 1 ) , 91-94. Bulletin of the International Council For Distance Education What is it? At its world conference in Vancouver in 1982 the International Council for Correspondence Education (founded in 1938) became the International Council for Distance Education in recognition of the diversity of educational methods now used when teacher and learner are separated. The Bulletin of ICDE is the considerably expanded successor to the ICCE Newsletter. Why subscribe to it? • • • It brings you news of developments in distance education worldwide and of upcoming events of interest, It reports on recent research, some of it sponsored by ICDE itself, It includes substantial reviews of books and research reports. Sample articles A T . Vincent, Distance Teaching and the Visually Handicapped O.S. Dewal, The Open School of India George Toliey, The O p e n T e c h Programme Eric Gough, Distance Education: The rationalization of the tertiary sector in Australia David McNeil and Milan Wall, The University of Mid-America: an analytic perspective Donald Miskiman, The Nature of counselling in distance education Borje Holmberg, Distance Education as an academic discipline Subscriptions Individual membership $US 40 Payment enclosed • Library membership $US 35 Please bill • Name: _ Address: Date: Signature: Mail to: B.L. Snowden, ICDE Secretariat, Athabasca University 12352 - 149 St., Edmonton, Alberta, Canada T5V 1G9